CN109412829B - 一种资源配置的预测方法及设备 - Google Patents
一种资源配置的预测方法及设备 Download PDFInfo
- Publication number
- CN109412829B CN109412829B CN201811004607.1A CN201811004607A CN109412829B CN 109412829 B CN109412829 B CN 109412829B CN 201811004607 A CN201811004607 A CN 201811004607A CN 109412829 B CN109412829 B CN 109412829B
- Authority
- CN
- China
- Prior art keywords
- data
- resource
- prediction model
- resource allocation
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013468 resource allocation Methods 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 157
- 238000004519 manufacturing process Methods 0.000 claims abstract description 63
- 238000013135 deep learning Methods 0.000 claims abstract description 50
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 45
- 238000013136 deep learning model Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 description 31
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4063—Device-to-bus coupling
- G06F13/409—Mechanical coupling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5019—Workload prediction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种资源配置的预测方法及设备,用于云服务系统的资源配置预测,提高了资源分配的效率,降低了云服务系统的成本。本申请实施例方法包括:获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据,根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型,当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据,根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
Description
技术领域
本申请涉及云计算领域,尤其涉及一种资源配置的预测方法及设备。
背景技术
随着云计算技术的不断成熟,越来越多的企业搭建云服务系统来支撑自己的业务和服务客户。为满足不断增加的需求,各式各样的服务应运而生。云服务系统需要给每一个服务分配合适的资源,比如虚拟机(Virtual Machine,VM)。然而由于不同企业所需要云服务系统的规模不同,云服务的种类和资源需求也存在差异。云服务系统供应商给云服务设置资源配置主要分为两个部分:第一,供应商在给企业搭建云服务系统上线之前,必须预先给每一个服务每一个组件设置合理的资源配置,使其能够正常运行并满足企业的需求;第二,云服务系统在运行期间,需要根据负载规模的变化,不断对服务组件的资源配置进行调整。
传统云服务供应商在云服务系统上线之前,采用测试迭代的方法为所有服务组件设置合理的资源配置,具体为:首先给云服务系统搭建测试环境,然后给所有云服务一个保守的或基于已有经验的资源配置,接着对整个云服务系统进行压力测试,最后根据测试结果调整各云服务的资源配置,以此循环。
但是,采用以上传统方式设置云服务的资源配置存在如下问题:迭代周期长,无法快速地为新的云服务制定资源配置;对于大型的云服务系统,测试环境难构建;每增加一个新的云服务,需要对整个云服务系统进行测试,浪费大量时间和人力资源;测试环境与生产环境存在差异,测试环境下可行的资源配置在生产环境下不一定可行;对于云服务系统因为规模变化而进行的物理资源伸缩,无法做到很好的预测。以上问题会造成云服务系统在部署和维护过程中,不能精准的进行资源分配和规划,造成云服务系统成本不可控。
发明内容
本申请提供了一种资源配置的预测方法及设备,用于云服务系统的资源配置预测,提高了资源分配的效率,降低了云服务系统的成本。
本申请第一方面提供一种资源配置的预测方法,包括:
获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据;
根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型;
当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据;
根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
通过数据采集器采集云服务系统在生产或类生产环境下的运行数据,生产或类生产环境下的运行数据能够表现出云服务系统在工作时候的真实状况,原始数据具体可以包括各类操作、以及监控日志文件或者数据库文件等,由于目标是需要通过深度学习构建得到资源配置预测模型,那么进行深度学习时,需要从原始数据中提取出用于深度学习框架中的训练数据,根据训练数据进行深度学习就能构建得到资源配置预测模型,如果用户需要使用云服务系统之前,先设置资源需求数据,获取到用户输入的资源需求数据,按照适用于资源配置预测模型原则,根据资源需求数据生成资源配置预测模型的输入数据,由于输入数据是根据资源需求数据生成的,那么资源配置预测模型对输入数据进行处理之后得到的输出数据,输出数据实际上就是云服务系统的资源配置数据。先使用云服务系统的原始数据构建出资源配置预测模型,再使用资源配置预测模型来预测资源需求数据对应的资源配置数据,由于原始数据是云服务系统在生产或类生产环境中的运行数据,那么构建资源配置预测模型相比于传统方式设置云服务的资源配置,无需构建测试环境;每次资源调整时在测试环境下对整个云服务系统进行测试也无需进行了,只需要通过资源配置预测模型预测得到资源配置数据。因此,提高了资源分配的效率,降低了云服务系统的成本。
结合本申请第一方面,第一实施方式中,根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型,包括:
根据原始数据提取得到训练数据,训练数据包括数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项;
对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,深度学习模型为资源配置预测模型;
根据格式化数据进行深度学习训练,构建得到资源配置预测模型。
训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,在深度学习中,每一条训练数据包含数据指标项和标签指标项,由于需要对云服务系统的资源配置进行预测,将训练数据转换为适用于深度学习模型训练所需的格式化数据,使用格式化数据进行深度学习训练,构建得到深度神经网络模型,深度神经网络模型即资源配置预测模型。训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,从而依据训练数据得到的资源配置预测模型是学习了生产环境中资源请求项和云服务系统的资源供给项之间的关系的,资源请求项和云服务系统的资源供给项之间的关系就是资源使用率项。
结合本申请第一方面第一实施方式,第二实施方式中,根据资源需求数据生成资源配置预测模型的输入数据,包括:
根据资源需求数据进行处理,得到资源请求数据及资源使用率数据;
根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值。
云服务系统部署时,需要部署云服务系统的企业无法给出如此庞大的、具体的指标项要求。而用户(例如企业)只会输入一些简单的系统规模和服务要求数据,例如云服务系统需要支撑的账户规模、用户规模、发放和管理虚拟机规模、并发度、部署的服务种类以及云服务系统资源整体使用率等。也就是说,需要根据这些简单的资源需求数据,得到资源配置预测模型的输入数据,而资源配置预测模型的输入数据就是对应资源请求项的资源请求数据,以及对应资源使用率项的资源使用率数据,据根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值。
结合本申请第一方面第二实施方式,第三实施方式中,根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据,包括:
根据输入数据得到资源配置预测模型的资源请求项及资源使用率项的取值;
将资源请求项的取值及资源使用率项的取值,代入资源配置预测模型,计算得到资源供给项的取值;
根据资源供给项的取值,得到云服务系统的资源配置数据。
在得到了资源请求项的取值及资源使用率项的取值之后,利用构建的资源配置预测模型,就能得到资源供给项的取值,资源供给项的取值实际上是云服务系统的服务组件的资源配置,因而,根据资源供给项的取值就能够得到云服务系统的资源配置数据。由于资源配置预测模型是已经根据训练数据训练构建好的,那么需要搭建云服务系统的用户只需要提出简单的资源需求数据,资源需求数据可以包括系统规模和资源要求等,能够按照资源需求数据相应地生成资源请求项和资源使用率项,并使用资源配置预测模型、资源请求项和资源使用率项,对云服务系统的资源配置进行预测,从而得到云服务系统的资源配置数据。
结合本申请第一方面、第一实施方式、第二实施方式或第三实施方式,第四实施方式中,方法还包括:
通过对象存储服务存储原始数据、训练数据及资源配置预测模型的模型参数。
对象存储服务(Object Storage Service,OBS)是云服务系统提供的一个存储服务,能够用于存储各类型的数据,尤其是在获取云服务系统的原始数据之后,存储原始数据至OBS;根据原始数据得到训练数据之后,将训练数据存储至OBS;对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据后,将格式化数据存储至OBS;以及,构建得到资源配置预测模型后,将模型参数存储至OBS。
结合本申请第一方面第四实施方式,第五实施方式中,根据输入数据及资源配置预测模型进行预测之前,还包括:
通过对象存储服务获取资源配置预测模型的模型参数;
根据模型参数加载得到资源配置预测模型。
由于资源配置预测模型的模型参数存储在OBS中,那么在根据输入数据及资源配置预测模型进行预测之前,还需要先通过OBS获取资源配置预测模型的模型参数,根据模型参数加载得到资源配置预测模型。
本申请第二方面提供一种资源配置的预测设备,包括:
获取模块,用于获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据;
模型训练模块,用于根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型;
处理模块,用于当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据;
处理模块,还用于根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
获取模块通过数据采集器采集云服务系统在生产或类生产环境下的运行数据,生产或类生产环境下的运行数据能够表现出云服务系统在工作时候的真实状况,原始数据具体可以包括各类操作、以及监控日志文件或者数据库文件等,由于模型训练模块的目标是需要通过深度学习构建得到资源配置预测模型,那么进行深度学习时,模型训练模块需要从原始数据中提取出用于深度学习框架中的训练数据,根据训练数据进行深度学习就能构建得到资源配置预测模型,如果用户需要使用云服务系统之前,先设置资源需求数据,获取到用户输入的资源需求数据,处理模块按照适用于资源配置预测模型原则,根据资源需求数据生成资源配置预测模型的输入数据,由于输入数据是根据资源需求数据生成的,那么资源配置预测模型对输入数据进行处理之后得到的输出数据,输出数据实际上就是云服务系统的资源配置数据。先使用云服务系统的原始数据构建出资源配置预测模型,再使用资源配置预测模型来预测资源需求数据对应的资源配置数据,由于原始数据是云服务系统在生产或类生产环境中的运行数据,那么构建资源配置预测模型相比于传统方式设置云服务的资源配置,无需构建测试环境;每次资源调整时在测试环境下对整个云服务系统进行测试也无需进行了,只需要通过资源配置预测模型预测得到资源配置数据。因此,提高了资源分配的效率,降低了云服务系统的成本。
结合本申请第二方面,第一实施方式中,
模型训练模块,用于根据原始数据提取得到训练数据,训练数据包括数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项;
模型训练模块,还用于对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,深度学习模型为资源配置预测模型;
模型训练模块,还用于根据格式化数据进行深度学习训练,构建得到资源配置预测模型。
训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,模型训练模块在深度学习中,每一条训练数据包含数据指标项和标签指标项,由于需要对云服务系统的资源配置进行预测,模型训练模块将训练数据转换为适用于深度学习模型训练所需的格式化数据,使用格式化数据进行深度学习训练,构建得到深度神经网络模型,深度神经网络模型即资源配置预测模型。训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,从而依据训练数据得到的资源配置预测模型是学习了生产环境中资源请求项和云服务系统的资源供给项之间的关系的,资源请求项和云服务系统的资源供给项之间的关系就是资源使用率项。
结合本申请第二方面第一实施方式,第二实施方式中,
处理模块,还用于根据资源需求数据进行处理,得到资源请求数据及资源使用率数据;
处理模块,还用于根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值。
云服务系统部署时,需要部署云服务系统的企业无法给出如此庞大的、具体的指标项要求。而用户(例如企业)只会输入一些简单的系统规模和服务要求数据,例如云服务系统需要支撑的账户规模、用户规模、发放和管理虚拟机规模、并发度、部署的服务种类以及云服务系统资源整体使用率等。也就是说,处理模块需要根据这些简单的资源需求数据,得到资源配置预测模型的输入数据,而资源配置预测模型的输入数据就是对应资源请求项的资源请求数据,以及对应资源使用率项的资源使用率数据,据根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值。
结合本申请第二方面第二实施方式,第三实施方式中,
处理模块,还用于根据输入数据得到资源配置预测模型的资源请求项及资源使用率项的取值;
处理模块,还用于将资源请求项的取值及资源使用率项的取值,代入资源配置预测模型,计算得到资源供给项的取值;
处理模块,还用于根据资源供给项的取值,得到云服务系统的资源配置数据。
处理模块在得到了资源请求项的取值及资源使用率项的取值之后,利用构建的资源配置预测模型,就能得到资源供给项的取值,资源供给项的取值实际上是云服务系统的服务组件的资源配置,因而,根据资源供给项的取值就能够得到云服务系统的资源配置数据。由于资源配置预测模型是已经根据训练数据训练构建好的,那么需要搭建云服务系统的用户只需要提出简单的资源需求数据,资源需求数据可以包括系统规模和资源要求等,处理模块能够按照资源需求数据相应地生成资源请求项和资源使用率项,并使用资源配置预测模型、资源请求项和资源使用率项,对云服务系统的资源配置进行预测,从而得到云服务系统的资源配置数据。
结合本申请第二方面、第一实施方式、第二实施方式或第三实施方式,第四实施方式中,资源配置的预测设备还包括:存储模块;
存储模块,用于通过对象存储服务存储原始数据、训练数据及资源配置预测模型的模型参数。
OBS是云服务系统提供的一个存储服务,能够用于存储各类型的数据,尤其是在获取模块获取云服务系统的原始数据之后,存储模块存储原始数据至OBS;模型训练模块根据原始数据得到训练数据之后,存储模块将训练数据存储至OBS;模型训练模块对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据后,存储模块将格式化数据存储至OBS;以及,模型训练模块构建得到资源配置预测模型后,存储模块将模型参数存储至OBS。
结合本申请第二方面第四实施方式,第五实施方式中,
处理模块,还用于通过存储模块的对象存储服务获取资源配置预测模型的模型参数;
处理模块,还用于根据模型参数加载得到资源配置预测模型。
由于资源配置预测模型的模型参数存储在OBS中,那么在根据输入数据及资源配置预测模型进行预测之前,处理模块还需要先通过存储模块的OBS获取资源配置预测模型的模型参数,根据模型参数加载得到资源配置预测模型。
本申请第三方面提供一种服务器,包括:
服务器接口电路,用于获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据;
处理器,用于根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型;
处理器,还用于当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据;
处理器,还用于根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
服务器接口电路通过数据采集器采集云服务系统在生产或类生产环境下的运行数据,生产或类生产环境下的运行数据能够表现出云服务系统在工作时候的真实状况,原始数据具体可以包括各类操作、以及监控日志文件或者数据库文件等,由于处理器的目标是需要通过深度学习构建得到资源配置预测模型,那么进行深度学习时,处理器需要从原始数据中提取出用于深度学习框架中的训练数据,根据训练数据进行深度学习就能构建得到资源配置预测模型,如果用户需要使用云服务系统之前,先设置资源需求数据,获取到用户输入的资源需求数据,处理器按照适用于资源配置预测模型原则,根据资源需求数据生成资源配置预测模型的输入数据,由于输入数据是根据资源需求数据生成的,那么资源配置预测模型对输入数据进行处理之后得到的输出数据,输出数据实际上就是云服务系统的资源配置数据。先使用云服务系统的原始数据构建出资源配置预测模型,再使用资源配置预测模型来预测资源需求数据对应的资源配置数据,由于原始数据是云服务系统在生产或类生产环境中的运行数据,那么构建资源配置预测模型相比于传统方式设置云服务的资源配置,无需构建测试环境;每次资源调整时在测试环境下对整个云服务系统进行测试也无需进行了,只需要通过资源配置预测模型预测得到资源配置数据。因此,提高了资源分配的效率,降低了云服务系统的成本。
本申请第四方面提供一种芯片系统,包括:应用于资源配置的预测设备中,芯片系统包括至少一个处理器,和接口电路,接口电路和至少一个处理器通过线路互联,至少一个处理器执行上述第二方面各设施方式中资源配置的预测设备的操作。
本申请第五方面提供一种计算机可读存储介质,包括:应用于资源配置的预测设备中,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第二方面各设施方式中资源配置的预测设备的操作。
本申请第六方面提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行上述第二方面各设施方式中资源配置的预测设备的操作。
附图说明
图1为本申请提供的资源配置的预测方法的一个实施例流程示意图;
图2为本申请提供的构建资源配置预测模型的流程示意图;
图3为本申请提供的训练数据的构成示意图;
图4为本申请提供的资源配置的预测方法的另一个实施例流程示意图;
图5为本申请提供的资源配置的预测设备的一个实施例结构示意图;
图6为本申请提供的资源配置的预测设备的另一个实施例结构示意图;
图7为本申请提供的服务器的结构示意图;
图8为本申请提供的芯片系统的结构示意图。
具体实施方式
本申请提供了一种资源配置的预测方法及设备,用于云服务系统的资源配置预测,提高资源分配的效率,降低了云服务系统的成本。
本申请中出现的术语“上行”和“下行”,在某些场景用于描述数据/信息传输的方向,比如,“上行”方向为该数据/信息从终端设备向网络侧传输的方向,“下行”方向为该数据/信息从网络侧设备向终端设备传输的方向,“上行”和“下行”仅用于描述方向,该数据/信息传输起止的具体设备都不作限定。
本申请中出现的术语“和/或”,可以是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本申请中字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名,但这些具体的名称并不构成对相关客体的限定,所赋名称可随着场景,语境或者使用习惯等因素而变更,对相关客体的技术含义的理解,应主要从其在技术方案中所体现/执行的功能和技术效果来确定。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
首先简单介绍本申请应用的系统构架或场景。
本申请应用于云服务系统的资源配置。随着云计算技术的不断成熟,越来越多的企业搭建云服务系统来支撑自己的业务和服务客户。为满足不断增加的需求,各式各样的服务应运而生。云服务系统需要给每一个服务分配合适的资源,比如VM。然而由于不同企业所需要云服务系统的规模不同,云服务的种类和资源需求也存在差异。云服务系统供应商给云服务设置资源配置主要分为两个部分:第一,供应商在给企业搭建云服务系统上线之前,必须预先给每一个服务每一个组件设置合理的资源配置,使其能够正常运行并满足企业的需求;第二,云服务系统在运行期间,需要根据负载规模的变化,不断对服务组件的资源配置进行调整。传统云服务供应商在云服务系统上线之前,采用测试迭代的方法为所有服务组件设置合理的资源配置,具体为:首先给云服务系统搭建测试环境,然后给所有云服务一个保守的或基于已有经验的资源配置,接着对整个云服务系统进行压力测试,最后根据测试结果调整各云服务的资源配置,以此循环。
但是以上传统的方式中,迭代周期长,无法快速地为新的云服务制定资源配置;对于大型的云服务系统,测试环境难构建;每增加一个新的云服务,需要对整个云服务系统进行测试,浪费大量时间和人力资源;测试环境与生产环境存在差异,测试环境下可行的资源配置在生产环境下不一定可行;对于云服务系统因为规模变化而进行的物理资源伸缩,无法做到很好的预测。以上问题会造成云服务系统在部署和维护过程中,不能精准的进行资源分配和规划,造成云服务系统成本不可控。
为了解决以上问题,如图1所示,本申请实施例提供了一种资源配置的预测方法,包括:
101、获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据;
本实施例中,云服务系统是由云服务商提供给用户使用云服务的云系统,用户可以是企业,云服务系统除了公有云之外,还适用于其他云系统,例如,私有云、混合云、边缘云、卫星云等。一般可以通过感应器等采集数据的装备作为数据采集器,采集云服务系统在生产或类生产环境下的运行数据,生产或类生产环境下的运行数据能够表现出云服务系统在工作时候的真实状况,原始数据具体可以包括各类操作、以及监控日志文件或者数据库文件等。
102、根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型;
本实施例中,由于目标是需要通过深度学习构建得到资源配置预测模型,那么进行深度学习时,使用原始数据是无法进行的,需要从原始数据中提取出用于深度学习框架中的训练数据,根据训练数据进行深度学习就能构建得到资源配置预测模型。
103、当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据;
本实施例中,在资源配置预测模型已经构建了之后,如果用户需要使用云服务系统之前,先设置资源需求数据,获取到用户输入的资源需求数据,按照适用于资源配置预测模型原则,根据资源需求数据生成资源配置预测模型的输入数据。
104、根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
本实施例中,由于输入数据是根据资源需求数据生成的,那么资源配置预测模型对输入数据进行处理之后得到的输出数据,输出数据实际上就是云服务系统的资源配置数据。
本申请实施例中,先使用云服务系统的原始数据构建出资源配置预测模型,再使用资源配置预测模型来预测资源需求数据对应的资源配置数据,由于原始数据是云服务系统在生产或类生产环境中的运行数据,那么构建资源配置预测模型相比于传统方式设置云服务的资源配置,无需构建测试环境;每次资源调整时在测试环境下对整个云服务系统进行测试也无需进行了,只需要通过资源配置预测模型预测得到资源配置数据。因此,提高了资源分配的效率,降低了云服务系统的成本。
以上图1所示的实施例中,对于资源配置预测模型的构建并未进行具体说明,下面通过具体的实施例进行详细说明。
请参阅图2,基于图1所示的实施例,本申请的一些实施例中,根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型,包括:
201、获取云服务系统的原始数据;
具体参考图1所示的实施例中的步骤101。
202、根据原始数据提取得到训练数据;
本实施例中,训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,具体如图3所示,训练数据的数据指标项和标签指标项分别为,资源供给S(resource Supply)、资源请求D(resource Demand)和资源使用率U(resource Utilization)三种;
其中,资源供给S包括数据中心规格(Datacenter repecification)和服务部署规格(Service rpecification)两种,其中数据中心规格包括管理侧资源规模(Manageresource pool)和租户侧资源规模(Tenant resource pool),管理侧资源规模和租户侧资源规模都包含相应的计算池规格(例如计算节点数、中央处理器(Central ProcessingUnit,CPU)核数、节点赫兹数、内存、磁盘等)、存储池规格(例如存储节点数、总存储空间、可用空间等)和网络池规模(例如交换机数量、网口数等)。服务部署规格包含总体部署规格(Overall Flavor)和各服务1-n部署规格(Service Flavor)。其中各服务部署规格包括该服务所有组件1-m的部署规格(Flavor),每个组件的部署规格包括CPU、内存、磁盘等t类资源(例如,华为云通用型虚机s3.small的部署规格为1个vCPU和1G内存);
资源请求D包括用户规模(Consumer Specification)、各服务资源用量(ServiceResource Allocation)和应用程序编程接口(Application Programming Interface,API)请求量(API Request Specification)三种,其中用户规模包含云服务系统账号数量、用户数量等。各服务资源用量包含租户对各服务的总体资源使用量以及分别对各服务1-n资源需求使用量。比如对计算服务来说,例如华为云弹性云服务器服务(Elastic CloudServer,ECS),其资源需求量包括所有租户请求的虚拟机数量、存储卷数量和网络数量等。API请求量包含各服务中所有p类API的请求数,各服务包含的API类型、数量不同。
资源使用率U用来衡量云服务系统在租户资源请求为D,云服务系统资源供给为S的情形下,各服务的服务资源消耗(Service utilization),同时可以根据各服务的资源消耗,对资源供给S和资源请求D的匹配度进行评价(supply&demand matching Evaluation),其中各服务1-n的资源消耗,包括该服务所有组件1-m对r类资源的使用率,例如CPU使用率、内存使用率、网络带宽使用量等,而各服务的匹配度评价根据资源使用率进行评价,例如,华为云期望虚拟机CPU平均使用率在30%~40%,峰值在50%~60%;内存平均使用率60%~70%,峰值80%~90%等。
在本实施例中,假设训练数据中云服务类型数为n=256,每个服务包含组件类型数为m=32,每个组件部署规格包含的资源类型数为t=16,每个服务包含API类型数为p=1024,每个服务消耗资源类型为r=32。根据上述配置,每一条训练数据总共包含的指标项682849项,每一类指标项包含具体数量如图3所示。另外,本实施例中每条训练数据时间跨度为5分钟,因此通过数据采集器每天可以从一套生产环境中获取24*12=288条训练数据。
203、对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,深度学习模型为资源配置预测模型;
本实施例中,在深度学习中,每一条训练数据包含数据指标项和标签指标项,由于需要对云服务系统的资源配置进行预测,也就是说步骤202提出的训练数据指标项中,资源供给S是标签项,资源请求D和资源使用率U是数据项,因此,需要以训练数据中资源请求D和资源使用率U作为数据项,以资源供给S作为标签项,将训练数据转换为深度学习框架训练所需数据类型,例如谷歌人工智能学习系统Tensorflow的TFRecord类型数据,就可以作为格式化数据。
204、根据格式化数据进行深度学习训练,构建得到资源配置预测模型。
本实施例中,可以采用深度神经网络(Deep Neutral Network,DNN)或卷积神经网络(Convolutional Neutral Network,CNN)等来进行深度学习训练,包括神经网络层数L、每一层神经元数量li(0<i<=L)、代价函数均分误差(Mean Square Error,MSE)、激活函数线性整流函数(Rectified Linear Unit,ReLu)等,使用格式化数据进行深度学习训练,构建得到深度神经网络模型,深度神经网络模型即资源配置预测模型。
本申请实施例中,详细的介绍了资源配置预测模型是如何训练得到的,训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,从而依据训练数据得到的资源配置预测模型是学习了生产环境中资源请求D和云服务系统的资源供给S之间的关系的,资源请求D和云服务系统的资源供给S之间的关系就是资源使用率U。
根据如图2所示的实施例中的描述,在资源配置预测模型构建完成之后,便可以通过资源配置预测模型来进行云服务系统的资源配置的预测,具体的实施通过以下实施例进行说明。
请参阅图4,基于以上图1和图2所示的实施例,本申请实施例提供一种资源配置的预测方法,包括:
401、根据资源需求数据进行处理,得到资源请求数据及资源使用率数据;
本实施例中,依据如图3中所示的指标项,资源请求D和资源使用率U的个数分别为270640和270609项。但是云服务系统部署时,需要部署云服务系统的企业无法给出如此庞大的、具体的指标项要求。而用户(例如企业)只会输入一些简单的系统规模和服务要求数据,例如云服务系统需要支撑的账户规模、用户规模、发放和管理虚拟机规模、并发度、部署的服务种类以及云服务系统资源整体使用率等。也就是说,需要根据这些简单的资源需求数据,得到资源配置预测模型的输入数据,而资源配置预测模型的输入数据就是对应资源请求项的资源请求数据,以及对应资源使用率项的资源使用率数据。
402、根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值;
本实施例中,假设用户输入的资源使用率数据为CPU使用率为60%,内存使用率为70%,则可以得到资源使用率项中所有CPU使用率的取值为60%,内存使用率的取值为70%。而资源使用率项中没有明确的,可以设置为默认值。对于资源请求项中各API请求量,可以根据并发度设置为C档(例如C=10),然后根据用户输入的并发度选择相应档位的API请求量,从而得到资源请求项的取值。
403、将资源请求项的取值及资源使用率项的取值,代入资源配置预测模型,计算得到资源供给项的取值;
本实施例中,在得到了资源请求项的取值及资源使用率项的取值之后,利用图2所示的实施例中构建的资源配置预测模型,就能得到资源供给项的取值。
404、根据资源供给项的取值,得到云服务系统的资源配置数据。
本实施例中,资源供给项的取值实际上是云服务系统的服务组件的资源配置,因而根据资源供给项的取值就能够得到云服务系统的资源配置数据。
本申请实施例中,由于资源配置预测模型是已经根据训练数据训练构建好的,那么需要搭建云服务系统的用户只需要提出简单的资源需求数据,资源需求数据可以包括系统规模和资源要求等,能够按照资源需求数据相应地生成资源请求项和资源使用率项,并使用资源配置预测模型、资源请求项和资源使用率项,对云服务系统的资源配置进行预测,从而得到云服务系统的资源配置数据。
需要说明的是,还可以通过OBS存储原始数据、训练数据及资源配置预测模型的模型参数,那么在根据输入数据及资源配置预测模型进行预测之前,还需要先通过OBS获取资源配置预测模型的模型参数,根据模型参数加载得到资源配置预测模型。
以上实施例描述的是资源配置的预测方法,下面通过实施例对应用该方法的资源配置的预测设备进行说明。
请参阅图5,本申请实施例提供一种资源配置的预测设备,包括:
获取模块501,用于获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据;
模型训练模块502,用于根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型;
处理模块503,用于当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据;
处理模块503,还用于根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
本申请实施例中,获取模块501通过数据采集器采集云服务系统在生产或类生产环境下的运行数据,生产或类生产环境下的运行数据能够表现出云服务系统在工作时候的真实状况,原始数据具体可以包括各类操作、以及监控日志文件或者数据库文件等,由于模型训练模块502的目标是需要通过深度学习构建得到资源配置预测模型,那么进行深度学习时,模型训练模块502需要从原始数据中提取出用于深度学习框架中的训练数据,根据训练数据进行深度学习就能构建得到资源配置预测模型,如果用户需要使用云服务系统之前,先设置资源需求数据,获取到用户输入的资源需求数据,处理模块503按照适用于资源配置预测模型原则,根据资源需求数据生成资源配置预测模型的输入数据,由于输入数据是根据资源需求数据生成的,那么资源配置预测模型对输入数据进行处理之后得到的输出数据,输出数据实际上就是云服务系统的资源配置数据。先使用云服务系统的原始数据构建出资源配置预测模型,再使用资源配置预测模型来预测资源需求数据对应的资源配置数据,由于原始数据是云服务系统在生产或类生产环境中的运行数据,那么构建资源配置预测模型相比于传统方式设置云服务的资源配置,无需构建测试环境;每次资源调整时在测试环境下对整个云服务系统进行测试也无需进行了,只需要通过资源配置预测模型预测得到资源配置数据。因此,提高了资源分配的效率,降低了云服务系统的成本。
可选的,结合图5所示的实施例,本申请的一些实施例中,
模型训练模块502,用于根据原始数据提取得到训练数据,训练数据包括数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项;
模型训练模块502,还用于对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,深度学习模型为资源配置预测模型;
模型训练模块502,还用于根据格式化数据进行深度学习训练,构建得到资源配置预测模型。
本申请实施例中,训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,模型训练模块502在深度学习中,每一条训练数据包含数据指标项和标签指标项,由于需要对云服务系统的资源配置进行预测,模型训练模块502将训练数据转换为适用于深度学习模型训练所需的格式化数据,使用格式化数据进行深度学习训练,构建得到深度神经网络模型,深度神经网络模型即资源配置预测模型。训练数据中包括了数据指标项及标签指标项,数据指标项包括资源请求项及资源使用率项,标签指标项包括资源供给项,从而依据训练数据得到的资源配置预测模型是学习了生产环境中资源请求项和云服务系统的资源供给项之间的关系的,资源请求项和云服务系统的资源供给项之间的关系就是资源使用率项。
可选的,结合图5所示的实施例,本申请的一些实施例中,
处理模块503,还用于根据资源需求数据进行处理,得到资源请求数据及资源使用率数据;
处理模块503,还用于根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值。
本申请实施例中,云服务系统部署时,需要部署云服务系统的企业无法给出如此庞大的、具体的指标项要求。而用户(例如企业)只会输入一些简单的系统规模和服务要求数据,例如云服务系统需要支撑的账户规模、用户规模、发放和管理虚拟机规模、并发度、部署的服务种类以及云服务系统资源整体使用率等。也就是说,处理模块503需要根据这些简单的资源需求数据,得到资源配置预测模型的输入数据,而资源配置预测模型的输入数据就是对应资源请求项的资源请求数据,以及对应资源使用率项的资源使用率数据,据根据资源请求数据及资源使用率数据,确定资源配置预测模型的输入数据,输入数据包括资源配置预测模型的资源请求项及资源使用率项的取值。
可选的,结合图5所示的实施例,本申请的一些实施例中,
处理模块503,还用于根据输入数据得到资源配置预测模型的资源请求项及资源使用率项的取值;
处理模块503,还用于将资源请求项的取值及资源使用率项的取值,代入资源配置预测模型,计算得到资源供给项的取值;
处理模块503,还用于根据资源供给项的取值,得到云服务系统的资源配置数据。
本申请实施例中,处理模块503在得到了资源请求项的取值及资源使用率项的取值之后,利用构建的资源配置预测模型,就能得到资源供给项的取值,资源供给项的取值实际上是云服务系统的服务组件的资源配置,因而,根据资源供给项的取值就能够得到云服务系统的资源配置数据。由于资源配置预测模型是已经根据训练数据训练构建好的,那么需要搭建云服务系统的用户只需要提出简单的资源需求数据,资源需求数据可以包括系统规模和资源要求等,处理模块503能够按照资源需求数据相应地生成资源请求项和资源使用率项,并使用资源配置预测模型、资源请求项和资源使用率项,对云服务系统的资源配置进行预测,从而得到云服务系统的资源配置数据。
可选的,结合图6所示的实施例,本申请的一些实施例中,资源配置的预测设备还包括:存储模块601;
存储模块601,用于通过对象存储服务存储原始数据、训练数据及资源配置预测模型的模型参数。
本申请实施例中,OBS是云服务系统提供的一个存储服务,能够用于存储各类型的数据,尤其是在获取模块501获取云服务系统的原始数据之后,存储模块601存储原始数据至OBS;模型训练模块502根据原始数据得到训练数据之后,存储模块601将训练数据存储至OBS;模型训练模块502对训练数据进行预处理,得到适用于深度学习模型训练的格式化数据后,存储模块601将格式化数据存储至OBS;以及,模型训练模块502构建得到资源配置预测模型后,存储模块601将模型参数存储至OBS。
可选的,结合图6所示的实施例,本申请的一些实施例中,
处理模块503,还用于通过存储模块601的对象存储服务获取资源配置预测模型的模型参数;
处理模块503,还用于根据模型参数加载得到资源配置预测模型。
本申请实施例中,由于资源配置预测模型的模型参数存储在OBS中,那么在根据输入数据及资源配置预测模型进行预测之前,处理模块503还需要先通过存储模块601的OBS获取资源配置预测模型的模型参数,处理模块503根据模型参数加载得到资源配置预测模型。
以上实施例中通过模块化的装置结构的方式对资源配置的预测设备进行了说明,资源配置的预测设备在具体实施时可以是处于云服务系统中的服务器,具体如下:
请参阅图7,本申请实施例提供一种服务器700,包括:
服务器接口电路710,用于获取云服务系统的原始数据,原始数据包括云服务系统在生产或类生产环境中的运行数据;
处理器720,用于根据原始数据得到训练数据,根据训练数据进行深度学习构建得到资源配置预测模型;
处理器720,还用于当获取到用户输入的资源需求数据时,根据资源需求数据生成资源配置预测模型的输入数据;
处理器720,还用于根据输入数据及资源配置预测模型进行预测,得到云服务系统的资源配置数据。
本申请实施例中,服务器接口电路710通过数据采集器采集云服务系统在生产或类生产环境下的运行数据,生产或类生产环境下的运行数据能够表现出云服务系统在工作时候的真实状况,原始数据具体可以包括各类操作、以及监控日志文件或者数据库文件等,由于处理器720的目标是需要通过深度学习构建得到资源配置预测模型,那么进行深度学习时,处理器720需要从原始数据中提取出用于深度学习框架中的训练数据,根据训练数据进行深度学习就能构建得到资源配置预测模型,如果用户需要使用云服务系统之前,先设置资源需求数据,获取到用户输入的资源需求数据,处理器720按照适用于资源配置预测模型原则,根据资源需求数据生成资源配置预测模型的输入数据,由于输入数据是根据资源需求数据生成的,那么资源配置预测模型对输入数据进行处理之后得到的输出数据,输出数据实际上就是云服务系统的资源配置数据。先使用云服务系统的原始数据构建出资源配置预测模型,再使用资源配置预测模型来预测资源需求数据对应的资源配置数据,由于原始数据是云服务系统在生产或类生产环境中的运行数据,那么构建资源配置预测模型相比于传统方式设置云服务的资源配置,无需构建测试环境;每次资源调整时在测试环境下对整个云服务系统进行测试也无需进行了,只需要通过资源配置预测模型预测得到资源配置数据。因此,提高了资源分配的效率,降低了云服务系统的成本。
需要说明的是,服务器700还可以包括存储器730,存储器730用于与处理器720耦合,其保存服务器700必要的程序指令和数据。
存储器730的一部分还可以包括非易失性随机存取存储器(NVRAM)。存储器730存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
通过调用存储器730存储的操作指令(该操作指令可存储在操作系统中),执行相应的操作。处理器720控制服务器700的操作,处理器720还可以称为CPU。存储器730可以包括只读存储器和随机存取存储器,并向处理器720提供指令和数据。存储器730的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中服务器700的各个组件通过总线系统740耦合在一起,其中总线系统740除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统740。
图8是本申请实施例提供的芯片系统800的结构示意图。芯片系统800包括至少一个处理器810和接口电路830,接口电路830和至少一个处理器810通过线路互联。
可选的,如图8所示,在本申请的一些实施方式中,芯片系统800还包括:存储器850;存储器850可以包括只读存储器和随机存取存储器,并向处理器810提供操作指令和数据。存储器850的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中,存储器850存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
在本申请实施例中,通过调用存储器850存储的操作指令(该操作指令可存储在操作系统中),执行相应的操作。
处理器810控制网元设备的操作,处理器810还可以称为CPU。存储器850可以包括只读存储器和随机存取存储器,并向处理器810提供指令和数据。存储器850的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中各个组件通过总线系统820耦合在一起,其中总线系统820除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统820。
上述本申请实施例揭示的方法可以应用于处理器810中,或者由处理器810实现。处理器810可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器810中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器810可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器850,处理器810读取存储器850中的信息,结合其硬件完成上述方法的步骤。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。所述计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行以上实施例所描述的资源配置的预测方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上实施例所描述的资源配置的预测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (13)
1.一种资源配置的预测方法,其特征在于,包括:
获取云服务系统的原始数据,所述原始数据包括所述云服务系统在生产或类生产环境中的运行数据;
根据所述原始数据得到训练数据,根据所述训练数据进行深度学习构建得到资源配置预测模型;
当获取到用户输入的资源需求数据时,根据所述资源需求数据生成所述资源配置预测模型的输入数据;
根据所述输入数据及所述资源配置预测模型进行预测,得到所述云服务系统的资源配置数据;
所述根据所述原始数据得到训练数据,根据所述训练数据进行深度学习构建得到资源配置预测模型,包括:
根据所述原始数据提取得到训练数据,所述训练数据包括数据指标项及标签指标项,所述数据指标项包括资源请求项及资源使用率项,所述标签指标项包括资源供给项;
对所述训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,所述模型为资源配置预测模型;
根据所述格式化数据进行深度学习模型训练,以得到资源配置预测模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述资源需求数据生成所述资源配置预测模型的输入数据,包括:
根据所述资源需求数据进行处理,得到资源请求数据及资源使用率数据;
根据所述资源请求数据及所述资源使用率数据,确定所述资源配置预测模型的输入数据,所述输入数据包括所述资源配置预测模型的资源请求项及资源使用率项的取值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述输入数据及所述资源配置预测模型进行预测,得到所述云服务系统的资源配置数据,包括:
根据所述输入数据得到所述资源配置预测模型的资源请求项及资源使用率项的取值;
将所述资源请求项的取值及所述资源使用率项的取值,代入所述资源配置预测模型,计算得到所述资源供给项的取值;
根据所述资源供给项的取值,得到所述云服务系统的资源配置数据。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
通过对象存储服务存储所述原始数据、所述训练数据及所述资源配置预测模型的模型参数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述输入数据及所述资源配置预测模型进行预测之前,还包括:
通过所述对象存储服务获取所述资源配置预测模型的模型参数;
根据所述模型参数加载得到所述资源配置预测模型。
6.一种资源配置的预测设备,其特征在于,包括:
获取模块,用于获取云服务系统的原始数据,所述原始数据包括所述云服务系统在生产或类生产环境中的运行数据;
模型训练模块,用于根据所述原始数据得到训练数据,根据所述训练数据进行深度学习构建得到资源配置预测模型;
处理模块,用于当获取到用户输入的资源需求数据时,根据所述资源需求数据生成所述资源配置预测模型的输入数据;
所述处理模块,还用于根据所述输入数据及所述资源配置预测模型进行预测,得到所述云服务系统的资源配置数据;
所述模型训练模块,用于根据所述原始数据提取得到训练数据,所述训练数据包括数据指标项及标签指标项,所述数据指标项包括资源请求项及资源使用率项,所述标签指标项包括资源供给项;
所述模型训练模块,还用于对所述训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,所述模型为资源配置预测模型;
所述模型训练模块,还用于根据所述格式化数据进行深度学习模型训练,以得到资源配置预测模型。
7.根据权利要求6所述的设备,其特征在于,
所述处理模块,还用于根据所述资源需求数据进行处理,得到资源请求数据及资源使用率数据;
所述处理模块,还用于根据所述资源请求数据及所述资源使用率数据,确定所述资源配置预测模型的输入数据,所述输入数据包括所述资源配置预测模型的资源请求项及资源使用率项的取值。
8.根据权利要求7所述的设备,其特征在于,
所述处理模块,还用于根据所述输入数据得到所述资源配置预测模型的资源请求项及资源使用率项的取值;
所述处理模块,还用于将所述资源请求项的取值及所述资源使用率项的取值,代入所述资源配置预测模型,计算得到所述资源供给项的取值;
所述处理模块,还用于根据所述资源供给项的取值,得到所述云服务系统的资源配置数据。
9.根据权利要求6-8任一项所述的设备,其特征在于,所述资源配置的预测设备还包括:存储模块;
所述存储模块,用于通过对象存储服务存储所述原始数据、所述训练数据及所述资源配置预测模型的模型参数。
10.根据权利要求9所述的设备,其特征在于,
所述处理模块,还用于通过所述存储模块的所述对象存储服务获取所述资源配置预测模型的模型参数;
所述处理模块,还用于根据所述模型参数加载得到所述资源配置预测模型。
11.一种服务器,其特征在于,包括:
服务器接口电路,用于获取云服务系统的原始数据,所述原始数据包括所述云服务系统在生产或类生产环境中的运行数据;
处理器,用于根据所述原始数据提取得到训练数据,所述训练数据包括数据指标项及标签指标项,所述数据指标项包括资源请求项及资源使用率项,所述标签指标项包括资源供给项;
所述处理器,还用于对所述训练数据进行预处理,得到适用于深度学习模型训练的格式化数据,所述模型为资源配置预测模型;
所述处理器,还用于根据所述格式化数据进行深度学习模型训练,以得到资源配置预测模型;
所述处理器,还用于当获取到用户输入的资源需求数据时,根据所述资源需求数据生成所述资源配置预测模型的输入数据;
所述处理器,还用于根据所述输入数据及所述资源配置预测模型进行预测,得到所述云服务系统的资源配置数据。
12.一种芯片系统,其特征在于,包括:应用于资源配置的预测设备中,所述芯片系统包括至少一个处理器,和接口电路,所述接口电路和所述至少一个处理器通过线路互联,所述至少一个处理器执行权利要求6-10中所述资源配置的预测设备的操作。
13.一种计算机可读存储介质,其特征在于,包括:应用于资源配置的预测设备中,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得所述计算机执行权利要求6-10中所述资源配置的预测设备的操作。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811004607.1A CN109412829B (zh) | 2018-08-30 | 2018-08-30 | 一种资源配置的预测方法及设备 |
EP19855405.7A EP3840295B1 (en) | 2018-08-30 | 2019-06-12 | Resource configuration prediction method and device |
PCT/CN2019/090892 WO2020042721A1 (zh) | 2018-08-30 | 2019-06-12 | 一种资源配置的预测方法及设备 |
US17/186,754 US20210182106A1 (en) | 2018-08-30 | 2021-02-26 | Resource configuration prediction method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811004607.1A CN109412829B (zh) | 2018-08-30 | 2018-08-30 | 一种资源配置的预测方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109412829A CN109412829A (zh) | 2019-03-01 |
CN109412829B true CN109412829B (zh) | 2020-11-17 |
Family
ID=65463759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811004607.1A Active CN109412829B (zh) | 2018-08-30 | 2018-08-30 | 一种资源配置的预测方法及设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210182106A1 (zh) |
EP (1) | EP3840295B1 (zh) |
CN (1) | CN109412829B (zh) |
WO (1) | WO2020042721A1 (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109412829B (zh) * | 2018-08-30 | 2020-11-17 | 华为技术有限公司 | 一种资源配置的预测方法及设备 |
CN110019151B (zh) * | 2019-04-11 | 2024-03-15 | 深圳市腾讯计算机系统有限公司 | 数据库性能调整方法、装置、设备、系统及存储介质 |
WO2020206699A1 (en) * | 2019-04-12 | 2020-10-15 | Microsoft Technology Licensing, Llc | Predicting virtual machine allocation failures on server node clusters |
CN111858015B (zh) * | 2019-04-25 | 2024-01-12 | 中国移动通信集团河北有限公司 | 配置应用程序的运行资源的方法、装置及网关 |
CN110084511B (zh) * | 2019-04-25 | 2021-07-13 | 广东工业大学 | 一种无人机配型方法、装置、设备及可读存储介质 |
CN110297713A (zh) * | 2019-05-22 | 2019-10-01 | 菜鸟智能物流控股有限公司 | 一种云主机的配置管理系统和方法 |
CN110213104B (zh) * | 2019-06-05 | 2022-04-08 | 北京百度网讯科技有限公司 | 容量预测方法及装置 |
CN110198244B (zh) * | 2019-06-19 | 2022-02-18 | 北京百度网讯科技有限公司 | 面向异构云服务的资源配置方法和装置 |
CN112350878A (zh) * | 2019-08-07 | 2021-02-09 | 阿里巴巴集团控股有限公司 | 一种压力测试系统 |
CN112346850B (zh) * | 2019-08-09 | 2024-08-23 | 北京国双科技有限公司 | 一种配置内存的方法及装置 |
CN112346849A (zh) * | 2019-08-09 | 2021-02-09 | 北京国双科技有限公司 | 一种配置cpu的方法及装置 |
CN110837417A (zh) * | 2019-09-24 | 2020-02-25 | 华为技术有限公司 | 一种云系统资源集合的推荐方法、装置及计算设备集群 |
CN110888792A (zh) * | 2020-01-02 | 2020-03-17 | 大汉软件股份有限公司 | 一种节约政务服务器资源和并发性能提升的有效评估方法 |
US11561842B2 (en) * | 2020-01-31 | 2023-01-24 | Hewlett Packard Enterprise Development Lp | Determining and implementing a feasible resource optimization plan for public cloud consumption |
US11663505B2 (en) | 2020-03-10 | 2023-05-30 | International Business Machines Corporation | Estimating performance and required resources from shift-left analysis |
CN111431996B (zh) * | 2020-03-20 | 2022-08-09 | 北京百度网讯科技有限公司 | 用于资源配置的方法、装置、设备和介质 |
CN113472552B (zh) * | 2020-03-30 | 2023-04-25 | 中国移动通信集团浙江有限公司 | 基于深度学习的vim选择方法、装置、计算设备及存储介质 |
CN111610994B (zh) * | 2020-05-20 | 2023-10-20 | 山东汇贸电子口岸有限公司 | 一种云数据中心的部署方法、装置、设备及存储介质 |
JP6943318B1 (ja) * | 2020-06-05 | 2021-09-29 | ダイキン工業株式会社 | プログラム、情報処理方法、及び情報処理装置 |
CN111666197B (zh) * | 2020-06-05 | 2024-05-24 | 北京百度网讯科技有限公司 | 压力测试方法和装置、电子设备以及计算机可读介质 |
US11750471B2 (en) | 2020-06-16 | 2023-09-05 | Siemens Aktiengesellschaft | Method and apparatus for determining resource configuration of cloud service system |
CN112073239B (zh) * | 2020-09-04 | 2022-04-22 | 天津大学 | 一种云计算环境分布式应用性能预测方法 |
CN112085563A (zh) * | 2020-09-04 | 2020-12-15 | 浪潮云信息技术股份公司 | 一种基于cnn的云硬盘资源管理方法 |
CN114240007A (zh) * | 2020-09-09 | 2022-03-25 | 王昆 | 数字资产云服务系统资源配置方法及装置 |
CN112416588B (zh) * | 2020-11-20 | 2022-06-07 | 中国电子科技集团公司第二十九研究所 | 一种基于随机森林算法的资源分配方法 |
CN113760527A (zh) * | 2020-12-21 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 资源控制方法和装置 |
CN112788131B (zh) * | 2020-12-31 | 2024-06-28 | 平安科技(深圳)有限公司 | 基于人工智能生成预警图片的方法、系统以及存储介质 |
CN112883654B (zh) * | 2021-03-24 | 2023-01-31 | 国家超级计算天津中心 | 一种基于数据驱动的模型训练系统 |
WO2022246833A1 (en) * | 2021-05-28 | 2022-12-01 | Huawei Cloud Computing Technologies Co., Ltd. | System, method, and medium for elastic allocation of resources for deep learning jobs |
CN113296951B (zh) * | 2021-05-31 | 2024-08-20 | 阿里巴巴创新公司 | 一种资源配置方案确定方法及设备 |
CN113268350B (zh) * | 2021-06-07 | 2024-01-26 | 上海数禾信息科技有限公司 | 基于云的服务构建的资源分配方法、装置、计算机设备 |
CN113407422B (zh) * | 2021-08-20 | 2021-11-09 | 太平金融科技服务(上海)有限公司深圳分公司 | 数据异常告警处理方法、装置、计算机设备和存储介质 |
CN113791765B (zh) * | 2021-09-15 | 2024-03-08 | 平安科技(深圳)有限公司 | 云服务的资源编排方法、装置、设备及存储介质 |
CN114066061B (zh) * | 2021-11-17 | 2024-06-21 | 广东工业大学 | 基于神经网络模型的资源优化配置方法、装置以及设备 |
CN114283023B (zh) * | 2021-12-29 | 2022-09-27 | 工业云制造(四川)创新中心有限公司 | 一种基于云制造支撑技术的制造管理方法及系统 |
CN115202829B (zh) * | 2022-08-15 | 2023-11-21 | 中国电信股份有限公司 | 虚拟机的功耗预测模型训练方法、功耗预测方法及装置 |
CN117522176B (zh) * | 2024-01-08 | 2024-04-12 | 中国电子科技集团公司第十五研究所 | 基于多智能体系统的多项目资源调度评估系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1936849A (zh) * | 2005-09-19 | 2007-03-28 | 国际商业机器公司 | 资源动态调整方法及设备 |
CN103699440A (zh) * | 2012-09-27 | 2014-04-02 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台系统为任务分配资源的方法和装置 |
CN104714845A (zh) * | 2013-12-17 | 2015-06-17 | 华为技术有限公司 | 资源动态调整方法、装置及多内核操作系统 |
CN107786616A (zh) * | 2016-08-30 | 2018-03-09 | 江苏蓝创聚联数据与应用研究院有限公司 | 基于云端的主机智能监控系统 |
CN108446200A (zh) * | 2018-02-07 | 2018-08-24 | 福建星瑞格软件有限公司 | 基于大数据机器学习的服务器智能运维方法及计算机设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016070352A1 (en) * | 2014-11-05 | 2016-05-12 | Qualcomm Incorporated | Managing resources for cooperative uplink transmission |
US10409789B2 (en) * | 2016-09-16 | 2019-09-10 | Oracle International Corporation | Method and system for adaptively imputing sparse and missing data for predictive models |
EP3516516B1 (en) * | 2016-09-21 | 2022-05-11 | Accenture Global Solutions Limited | Dynamic resource allocation for application containers |
US10310932B2 (en) * | 2017-01-13 | 2019-06-04 | Bank Of America Corporation | Using a concentration risk of a computing resource to define affinity and anti-affinity workloads |
US11048879B2 (en) * | 2017-06-19 | 2021-06-29 | Vettd, Inc. | Systems and methods to determine and utilize semantic relatedness between multiple natural language sources to determine strengths and weaknesses |
US11397887B2 (en) * | 2017-09-26 | 2022-07-26 | Amazon Technologies, Inc. | Dynamic tuning of training parameters for machine learning algorithms |
US11483324B2 (en) * | 2017-11-30 | 2022-10-25 | Shape Security, Inc. | Detection of malicious activity using behavior data |
US10579494B2 (en) * | 2018-01-05 | 2020-03-03 | Nec Corporation | Methods and systems for machine-learning-based resource prediction for resource allocation and anomaly detection |
CN109412829B (zh) * | 2018-08-30 | 2020-11-17 | 华为技术有限公司 | 一种资源配置的预测方法及设备 |
-
2018
- 2018-08-30 CN CN201811004607.1A patent/CN109412829B/zh active Active
-
2019
- 2019-06-12 WO PCT/CN2019/090892 patent/WO2020042721A1/zh unknown
- 2019-06-12 EP EP19855405.7A patent/EP3840295B1/en active Active
-
2021
- 2021-02-26 US US17/186,754 patent/US20210182106A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1936849A (zh) * | 2005-09-19 | 2007-03-28 | 国际商业机器公司 | 资源动态调整方法及设备 |
CN103699440A (zh) * | 2012-09-27 | 2014-04-02 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台系统为任务分配资源的方法和装置 |
CN104714845A (zh) * | 2013-12-17 | 2015-06-17 | 华为技术有限公司 | 资源动态调整方法、装置及多内核操作系统 |
CN107786616A (zh) * | 2016-08-30 | 2018-03-09 | 江苏蓝创聚联数据与应用研究院有限公司 | 基于云端的主机智能监控系统 |
CN108446200A (zh) * | 2018-02-07 | 2018-08-24 | 福建星瑞格软件有限公司 | 基于大数据机器学习的服务器智能运维方法及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109412829A (zh) | 2019-03-01 |
US20210182106A1 (en) | 2021-06-17 |
EP3840295A4 (en) | 2021-08-11 |
EP3840295B1 (en) | 2024-08-07 |
WO2020042721A1 (zh) | 2020-03-05 |
EP3840295A1 (en) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109412829B (zh) | 一种资源配置的预测方法及设备 | |
Dai et al. | Cloud infrastructure resource allocation for big data applications | |
Dantas et al. | Eucalyptus-based private clouds: availability modeling and comparison to the cost of a public cloud | |
CN110290189A (zh) | 一种容器集群管理方法、装置及系统 | |
CN108353090A (zh) | 边缘智能平台和物联网传感器流系统 | |
CN110162471A (zh) | 一种基于容器云的压力测试方法及系统 | |
CN105027108A (zh) | 实例主机配置 | |
Radovanovic et al. | Power modeling for effective datacenter planning and compute management | |
Ullrich et al. | Towards efficient resource management in cloud computing: a survey | |
Rosendo et al. | A methodology to assess the availability of next-generation data centers | |
US11003431B2 (en) | Generating predictive metrics for virtualized deployments | |
CN112448833B (zh) | 一种多管理域的通信方法和装置 | |
US20220179380A1 (en) | Service operation method for energy management for each tenant in multi-tenant environment, and energy management service supply system | |
CN116108740A (zh) | 一种电力设备的建模方法及装置 | |
AU2015101031A4 (en) | System and a method for modelling the performance of information systems | |
CN113742187A (zh) | 应用系统的容量预测方法、装置、设备及存储介质 | |
KR20220166084A (ko) | 계량데이터 통합관리시스템 | |
CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
Rayan et al. | Resource Prediction for Big Data Processing in a Cloud Data Center: A Machine Learning Approach: A Machine Learning Approach | |
CN113467892A (zh) | 分布式集群资源配置方法及其相应的装置、设备、介质 | |
Zeng et al. | Cross-layer SLA management for cloud-hosted big data analytics applications | |
CN112114833A (zh) | 一种确定中间件安装部署的装置和方法 | |
Ahmed et al. | Estimation of cloud node acquisition | |
Liao et al. | Efficient proactive resource allocation for multi-stage cloud-native microservices | |
Li et al. | Advanced metering infrastructure and graphics processing unit technologies in electric distribution networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220208 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Patentee after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TR01 | Transfer of patent right |