CN115952009B - 基于算网融合特征的数据中心推荐方法及装置 - Google Patents
基于算网融合特征的数据中心推荐方法及装置 Download PDFInfo
- Publication number
- CN115952009B CN115952009B CN202310248173.4A CN202310248173A CN115952009B CN 115952009 B CN115952009 B CN 115952009B CN 202310248173 A CN202310248173 A CN 202310248173A CN 115952009 B CN115952009 B CN 115952009B
- Authority
- CN
- China
- Prior art keywords
- calculation
- data center
- network
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种基于算网融合特征的数据中心推荐方法及装置,其中该方法包括:获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;获取每一数据中心的实时算网融合特征;根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。本发明可以帮助用户高效精确地选出优选的数据中心。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于算网融合特征的数据中心推荐方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前,数据中心已经是当今基本的算力提供者,众多企业也都提供了数据中心的算力服务。对于算力的使用者,针对自己的计算任务需求,需要知道使用哪个数据中心可以得到较好的效果(更快、更高效地完成计算任务),才可以从中选择最合适自己的、或性价比较高的算力服务。但是,评估数据中心对于特定任务的计算性能非常困难,复杂度也极高。原因是:首先,数据中心内本身计算能力不好评估,这与数据中心的服务器负载、数据中心内的网络负载、数据中心的组网等等多元异构特征相关。其次,数据中心外的通信成本也难以预估,例如将大量的数据传入传出这种南北向数据中心流量也会影响计算任务的性能。最后,这些特征往往都是动态变化的,这使得评估某数据中心对于特定任务计算性能更加困难。因此,现有技术中,用户无法快速精确地选择出优选的数据中心。
发明内容
本发明实施例提供一种基于算网融合特征的数据中心推荐方法,用以帮助用户高效精确地选出优选的数据中心,该方法包括:
获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;
获取每一数据中心的实时算网融合特征;
根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。
本发明实施例还提供一种基于算网融合特征的数据中心推荐装置,用以帮助用户高效精确地选出优选的数据中心,该装置包括:
用户计算需求收集模块,用于获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;
数据中心实时信息收集模块,用于获取每一数据中心的实时算网融合特征;
智能推荐模块,用于根据当前的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于算网融合特征的数据中心推荐方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于算网融合特征的数据中心推荐方法。
本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述基于算网融合特征的数据中心推荐方法。
本发明实施例中,基于算网融合特征的数据中心推荐方案,工作时,获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;获取每一数据中心的实时算网融合特征;根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。
与现有技术中用户很难快速精确地选适合自己的数据中心的技术方案相比,本发明实施例提供的基于算网融合特征的数据中心推荐方案的有益技术效果是:为用户提供了选择数据中心的评分(即得到每一数据中心的向量化特征)参考,即实现了可以定量地帮助用户选择出优选的数据中心。同时,在利用数据中心推荐模型进行推荐时考虑到了数据中心的实时算网融合特征,以及用户计算需求对应的算网融合特征,考虑到的特征对比现有技术更加贴近应用需求,因此可以获得更加准确的数据中心推荐结果。
综上,本发明实施例提供的基于算网融合特征的数据中心推荐方案可以帮助用户高效精确地选出优选的数据中心。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中基于算网融合特征的数据中心推荐方法的流程示意图;
图2为本发明实施例中训练方法与推理应用示意图;
图3为本发明另一实施例中训练方法与推理应用示意图;
图4为本发明实施例中基于算网融合特征的数据中心推荐装置的结构示意图;
图5为本发明实施例中计算机设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
在介绍本发明实施例之前,首先对本发明实施例涉及的名词进行介绍。
1、CPU:中央处理器。
2、GPU:图形处理器。
3、FLOPS:每秒浮点运算次数。
4、TOPS:处理器运算能力,1TOPS代表处理器每秒钟可进行一万亿次操作。
在现有技术中,[1]基于资源特征的云计算平台计算任务成本预测方法及系统(CN_109743200_A.pdf)提出使用机器学习的方法预测计算成本,但是没有考虑到数据中心当前的算力与网络状态,因此难以准确预测数据中心。[2]一种Spark任务的时长预测方法及装置(CN_110263869_A.pdf)提出使用神经网络模型预测spark计算任务,但是该方法只适用于单一的spark任务,不具备普适性。[3]一种基于异向强化学习的分布式数据中心选择方法(CN_112700269_A.pdf )在选择数据中心时只考虑了网络与计费,没有考虑数据中心的计算性能与计算任务的特征。
可以见得,现有选择数据中心的方法均难以实现上述诉求。算力的使用者难以比较算力服务之间的差别,这对于算力的使用者来说,购买的算力往往类似黑盒,购买与选择十分困难。
面向以往工作的问题与缺陷,本发明实施例提出一种基于算网融合特征的数据中心推荐方案,该方案针对特定的计算任务需求,基于人工智能的智能推荐技术,为算力的使用者推荐数据中心。本发明实施例提出的智能推荐方法,可以同时结合考虑多个提供算力服务的数据中心中的动态实时计算特征(算力实时特征)与网络实时特征,以及结合考虑计算任务的算力需求特征与网络需求特征,进而准确地对数据中心进行推荐。此外,本发明实施例提出了整个算网融合的数据中心智能推荐框架(装置),具有普适性,可以应用与类似的诸多场景。下面对该基于算网融合特征的数据中心推荐方案进行详细介绍。
图1为本发明实施例中基于算网融合特征的数据中心推荐方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤101:获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;
步骤102:获取每一数据中心的实时算网融合特征;
步骤103:根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。
本发明实施例提供的基于算网融合特征的数据中心推荐方法,工作时:获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;获取每一数据中心的实时算网融合特征;根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。
与现有技术中用户很难快速精确地选适合自己的数据中心的技术方案相比,本发明实施例提供的基于算网融合特征的数据中心推荐方案的有益技术效果是:为用户提供了选择数据中心的评分(即得到每一数据中心的向量化特征)参考,即实现了可以定量地帮助用户选择出优选的数据中心。同时,在利用数据中心推荐模型进行推荐时考虑到了数据中心的实时算网融合特征,以及用户计算需求对应的算网融合特征,考虑到的特征对比现有技术更加贴近应用需求,因此可以获得更加准确的数据中心推荐结果。
综上,本发明实施例提供的基于算网融合特征的数据中心推荐方案可以帮助用户高效精确地地选出优选的数据中心。
下面结合图2至图4对该基于算网融合特征的数据中心推荐方法进行详细介绍。
实现本发明实施例提供的基于算网融合特征的数据中心推荐方法的框架可以称为智能推荐框架(如下面实施例提到的基于算网融合特征的数据中心推荐装置),本发明实施例的输入是:多个提供算力服务的数据中心中的动态实时计算特征与网络特征(算力实时特征及网络实时特征,即数据中心的实时算网融合特征)、计算任务的算力需求特征与网络需求特征(即用户计算需求的算网融合特征)。本发明的输出是:数据中心推荐指数的排序分数(向量化特征,即向量化表示)。
本发明实施例提供框架的运行流程可以为:
1. 用户(算力使用者)根据自己的计算任务需求,输入算力与网络需求到用户计算需求收集模块,即上述步骤101。
2. 数据中心实时信息收集模块收集各个数据中心(算力提供者)中实时的算力、网络特征,即上述步骤102。
3. 智能推荐模块收到用户计算需求收集模块与数据中心实时信息收集模块收集到的特征,进而为每个数据中心打分,即上述步骤103。
4. 将各个数据中心的打分回复给用户,供用户选择数据中心,即图4中将推荐结果发给用户(算力使用者)的步骤。
本发明实施例提供的数据中心推荐的整体框架图如图4所示,其中该框架(基于算网融合特征的数据中心推荐装置)包含三个主要模块,介绍如下:
1. 用户计算需求收集模块,该模块用来实现上述步骤101。
该用户计算需求收集模块的作用是收集用户的计算需求,这里需要按照智能推荐模块的实际需求进行收集,可以做成图形界面的形式让用户填写,也可以让用户口述,使用人工或NLU(自然语言理解)的方式进行获取。
2. 数据中心实时信息收集模块,该模块用来实现上述步骤102。
该数据中心实时信息收集模块的作用是实时收集每一个数据中心的动态特征,同样这里按照智能推荐模块的实际需求进行收集,可以根据计算需求进行触发式订阅收集,也可以用周期式订阅收集。
3. 智能推荐模块,该模块用来实现上述步骤103。
该智能推荐模块根据以上两个模块收集过来的特征,进行模型推理,最终输出数据中心的推荐分数排序,返回给客户。该智能推荐模块部署了智能推荐算法,并且要求模块01、02按照智能推荐算法的需求进行信息收集。具体地要求为:
(1)对于用户计算需求收集模块,收集的算力与网络需求的要求为:
算力需求特征:计算任务的FLOPS,TOPS,计算任务类型等等特征。
网络需求特征:训练集的数据量大小,等等特征。
(2)对于数据中心实时信息收集模块,收集的算网融合输入特征的要求为:
算力实时特征:当前数据中心整体计算负载,数据中心的各个节点状态的图表示,等等特征。
网络实时特征:数据中心网络负载,数据中心网路入口负载,数据中心与计算需求方之间的网速、时延,等等特征。
通过上述可知,在一个实施例中,所述实时算网融合特征可以包括:算力实时特征及网络实时特征;所述用户计算需求的算网融合特征可以包括:算力需求特征及网络需求特征。
将上述特征输入到智能推荐算法中,便可以获得各个数据中心的实时算网融合特征的向量表示,以及用户计算需求的算网融合特征的向量表示。最后,对比向量之间的余弦相似度,便可获得数据中心的排序结果,为用户推荐运行效率最快的数据中心。输出的排序结果如下表1所示:
表1:
通过上述可知,在一个实施例中,根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心,可以包括:
将当前用户计算需求的算网融合特征输入用户计算需求的算网融合向量化特征预测神经网络模型,预测得到当前用户计算需求的算网融合向量化特征;
将每一数据中心的实时算网融合特征输入实时算网融合向量化特征预测神经网络模型,预测得到每一数据中心的实时算网融合向量化特征;
对比当前用户计算需求的算网融合向量化特征与实时算网融合向量化特征之间的余弦相似度,得到每一数据中心的向量化特征;根据每一数据中心的向量化特征,获得所有数据中心的排序结果;
根据所有数据中心的排序结果,为当前用户推荐最优数据中心。
为了便于理解本发明如何实施,下面结合附图2至图3,介绍预先建立数据中心推荐模型的步骤。
上述步骤103中可以通过一个智能推荐模块来实现,该模块中的智能推荐算法(预先建立的数据中心推荐模型)可以依赖于双塔模型,而两个塔中的深度神经网络是预先训练好的,下面给出基于深度学习的推荐算法的模型架构,以及其具体训练方法、推理应用,下面进行详细介绍。
1.数据集构造:
为了训练智能推荐算法(数据中心推荐模型),需要构造大量训练数据集。在数据中心日常运行时,各数据中心需要监测数据中心当前的实时算力、网络状态(即数据中心的算力实时特征及网络实时特征),并在负载(算力实时特征可以用算力负载,网络实时特征可以用网络负载)处于特定阈值时,为数据中心提交benchmark计算任务,并收集运行时间。提交的时机与提交的任务如下表2所示:
表2:
其中,算力负载可以使用数据中心整体的CPU占用率与GPU现存占用率衡量。网络负载可以用链路的利用率衡量。
通过以上过程,在计算任务运行的同时获取数据中心的历史日志,便可以得到例如如下表3的信息:
表3:
最后,对于每一个计算任务,随机采样其相关的若干行(例如计算任务1一共有200条记录,那么可以随机采样10次,每次取其中10条),然后将采样的行中计算耗时最小的一条标记为+样本,其余标记为负样本。这样,每一次采样就构成了一个训练的最小单元。对于每个计算任务,进行随机采样若干次,最终便可以构造带有+、-样本的训练数据集。
最终每条数据集的格式可以表示为下表4:
表4:
通过上述可知,在一个实施例中,上述基于算网融合特征的数据中心推荐方法还可以包括:按照如下方法预先构建所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集:
在每一数据中心运行时,监测每一数据中心的算力实时特征及网络实时特征;
在算力实时特征及网络实时特征为不同的预设阈值组合(如上表2所示,可以是各种组合,例如算力负载为5%、网络负载为10%的组合,也可以是算力负载为15%、网络负载为15%的组合,也可以是算力负载为40%、网络负载为30%的组合等等)时,为每一数据中心提交不同的计算任务;
收集在每一计算任务下,每一数据中心在当前算力实时特征、网络实时特征、算力需求特征及网络需求特征下的运行耗时;
对于每一计算任务,随机采样该计算任务中的预设行数,将采样的行中运行耗时最短的一条标记为正样本,其余标记为负样本,得到所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本训练数据集;如表4所示,每一样本数据可以包括数据中心标识,历史算力实时特征,历史网络实时特征,历史算力需求特征,历史网络需求特征及样本标签。
2. 模型架构如图2所示。
3. 训练方法与推理应用:
将上述构造的训练数据集输入双塔模型,如图所示,一个塔(实时算网融合向量化特征预测神经网络,如图2中“数据中心算力实时特征”和“数据中心网络实时特征”对应的“大型深度神经网络”)输入数据中心编号(表示)、算力实时特征、网络实时特征,并进行特征词表示,另一个塔(用户计算需求的算网融合向量化特征预测神经网络,如图2中“算力需求特征”和“网络需求特征”对应的“大型深度神经网络”)输入算力需求特征、网络需求特征,并进行特征表示。双塔模型最后使用对比损失进行训练,根据+、-标签(即正负样本标签)进行随机梯度下降,更新两个塔的模型(用户计算需求的算网融合向量化特征预测神经网络及实时算网融合向量化特征预测神经网络),最终便可以获得两个训练好的模型(实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型)。
最终,按照图2中虚线右侧附图所示,将所有数据中心的实时算网融合特征以及用户计算需求的算网融合特征输入到对应的神经网络中,便可以用于所有数据中心的实时算网融合特征以及用户计算需求的算网融合特征进行向量化,用于排序与推荐。
通过上述可知,在一个实施例中,上述基于算网融合特征的数据中心推荐方法还可以包括:按照如下方法预先训练得到所述数据中心推荐模型:
将数据中心标识,历史算力实时特征及历史网络实时特征输入实时算网融合向量化特征预测神经网络,得到实时算网融合向量化特征;
将历史算力需求特征及历史网络需求特征输入用户计算需求的算网融合向量化特征预测神经网络,得到用户计算需求的算网融合向量化特征;
对比实时算网融合向量化特征与用户计算需求的算网融合向量化特征损失训练所述用户计算需求的算网融合向量化特征预测神经网络及实时算网融合向量化特征预测神经网络;
根据正负样本标签进行随机梯度下降,更新实时算网融合向量化特征预测神经网络及用户计算需求的算网融合向量化特征预测神经网络,最终得到训练好的实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型;所述实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型构成所述数据中心推荐模型。为了便于理解本发明如何实施,下面举个例子说明构建数据集及利用该数据集训练模型的过程。
在本实施例中,一共有3个数据中心接入到推荐系统中。
在训练(预先训练模型的过程)与推理(利用训练好的模型进行实际应用,即进行数据中心推荐的过程)时,实施例采用的特征分别为下表5所示,也可以参见图3:
表5
当训练集构造完毕后,按照如图3进行模型的训练。其中双塔的神经网络使用的可以是10层的全连接神经网络模型(实施例中特征的维度较低,如果特征维度增大,当然也可以用其他模型替代,即可以根据特征的维度来选择神经网络模型类型),即在一个实施例中,所述用户计算需求的算网融合向量化特征预测神经网络模型为10层的全连接神经网络模型,所述实时算网融合向量化特征预测神经网络模型为10层的全连接神经网络模型。如果输入的特征是数值,那么多模嵌入层则是全连接输入,如果输入的特征是图,那么多模嵌入层则为graph embedding,即在一个实施例中,所述数据中心推荐模型可以包括:多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层及多模网络需求嵌入层;如果数据中心推荐模型的输入特征是数值,多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层或多模网络需求嵌入层是全连接输入;如果数据中心推荐模型的输入特征是图,多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层或多模网络需求嵌入层是为图嵌入GraphEmbedding。
具体实施时,当模型训练完毕后,本发明实施例的工作流程(即当模型训练完毕后,利用训练好的模型进行数据中心推荐的过程,上述步骤101至步骤103)如下:
1. 用户根据自己的计算任务需求,输入算力与网络需求到用户计算需求收集模块。
2. 数据中心实时信息收集模块收集各个数据中心中实时的算力、网络特征。
3. 智能推荐模块收到用户计算需求收集模块与数据中心实时信息收集模块收集到的特征,进而为每个数据中心打分。
4. 将各个数据中心的打分回复给用户,供用户选择数据中心。最终便可以为用户选择数据中心提供参考。
综上,本发明实施例提供的基于算网融合特征的数据中心推荐方法中:
1. 整个数据中心智能推荐框架(如图4所示的装置)为业界首创。
2. 使用人工智能技术进行数据中心推荐的算法(步骤103所述的方法),属于首创。
3. 推荐算法考虑了算网融合特征,并且提出了相应的训练数据集构造方法。
综上,本发明实施例提供的基于算网融合特征的数据中心推荐方法的有益技术效果是:
1.为用户提供了选择数据中心的评分(得到每一数据中心的向量化特征)参考,即可以定量地帮助用户选择数据中心,帮助用户更加了解哪个数据中心更加适合自己的计算任务,以前的方法无法做到这一点。
2. 推荐算法考虑到了数据中心的实时算网融合特征,以及用户计算需求的算网融合特征,考虑到的特征对比以往方法更加贴近应用需求,因此可以获得更加准确的推荐结果。
本发明实施例中还提供了一种基于算网融合特征的数据中心推荐装置,如下面的实施例所述。由于该装置解决问题的原理与基于算网融合特征的数据中心推荐方法相似,因此该装置的实施可以参见基于算网融合特征的数据中心推荐方法的实施,重复之处不再赘述。
图4为本发明实施例中基于算网融合特征的数据中心推荐装置的结构示意图,如图4所示,该装置包括:
用户计算需求收集模块01,用于获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;
数据中心实时信息收集模块02,用于获取每一数据中心的实时算网融合特征;
智能推荐模块03,用于根据当前的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成。
在一个实施例中,所述实时算网融合特征可以包括:算力实时特征及网络实时特征;所述用户计算需求的算网融合特征包括:算力需求特征及网络需求特征。
在一个实施例中,上述基于算网融合特征的数据中心推荐装置还可以包括构建单元,用于按照如下方法预先构建所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集:
在每一数据中心运行时,监测每一数据中心的算力实时特征及网络实时特征;
在算力实时特征及网络实时特征为不同的预设阈值组合时,为每一数据中心提交不同的计算任务;
收集在每一计算任务下,每一数据中心在当前算力实时特征、网络实时特征、算力需求特征及网络需求特征下的运行耗时;
对于每一计算任务,随机采样该计算任务中的预设行数,将采样的行中运行耗时最短的一条标记为正样本,其余标记为负样本,得到所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本训练数据集;每一样本数据包括数据中心标识,历史算力实时特征,历史网络实时特征,历史算力需求特征,历史网络需求特征及样本标签。
在一个实施例中,上述基于算网融合特征的数据中心推荐装置还可以包括训练单元,用于按照如下方法预先训练得到所述数据中心推荐模型:
将数据中心标识,历史算力实时特征及历史网络实时特征输入实时算网融合向量化特征预测神经网络,得到实时算网融合向量化特征;
将历史算力需求特征及历史网络需求特征输入用户计算需求的算网融合向量化特征预测神经网络,得到用户计算需求的算网融合向量化特征;
对比实时算网融合向量化特征与用户计算需求的算网融合向量化特征损失训练所述用户计算需求的算网融合向量化特征预测神经网络及实时算网融合向量化特征预测神经网络;
根据正负样本标签进行随机梯度下降,更新实时算网融合向量化特征预测神经网络及用户计算需求的算网融合向量化特征预测神经网络,最终得到训练好的实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型;所述实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型构成所述数据中心推荐模型。
在一个实施例中,所述用户计算需求的算网融合向量化特征预测神经网络模型可以为10层的全连接神经网络模型,所述实时算网融合向量化特征预测神经网络模型可以为10层的全连接神经网络模型。
在一个实施例中,所述数据中心推荐模型可以包括:多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层及多模网络需求嵌入层;如果数据中心推荐模型的输入特征是数值,多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层或多模网络需求嵌入层是全连接输入;如果数据中心推荐模型的输入特征是图,多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层或多模网络需求嵌入层是为图嵌入GraphEmbedding。
在一个实施例中,所述智能推荐模块具体可以用于:
将当前用户计算需求的算网融合特征输入用户计算需求的算网融合向量化特征预测神经网络模型,预测得到当前用户计算需求的算网融合向量化特征;
将每一数据中心的实时算网融合特征输入实时算网融合向量化特征预测神经网络模型,预测得到每一数据中心的实时算网融合向量化特征;
对比当前用户计算需求的算网融合向量化特征与实时算网融合向量化特征之间的余弦相似度,得到每一数据中心的向量化特征;根据每一数据中心的向量化特征,获得所有数据中心的排序结果;
根据所有数据中心的排序结果,为当前用户推荐最优数据中心。
基于前述发明构思,如图5所示,本发明还提出了一种计算机设备500,包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530,所述处理器520执行所述计算机程序530时实现前述基于算网融合特征的数据中心推荐方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于算网融合特征的数据中心推荐方法。
本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述基于算网融合特征的数据中心推荐方法。
与现有技术中用户很难快速精确地选适合自己的数据中心的技术方案相比,本发明实施例提供的基于算网融合特征的数据中心推荐方案的有益技术效果是:为用户提供了选择数据中心的评分(即得到每一数据中心的向量化特征)参考,即实现了可以定量地帮助用户选择出优选的数据中心。同时,在利用数据中心推荐模型进行推荐时考虑到了数据中心的实时算网融合特征,以及用户计算需求对应的算网融合特征,考虑到的特征对比现有技术更加贴近应用需求,因此可以获得更加准确的数据中心推荐结果。
综上,本发明实施例提供的基于算网融合特征的数据中心推荐方案可以帮助用户高效精确地选出优选的数据中心。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于算网融合特征的数据中心推荐方法,其特征在于,包括:
获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;所述用户计算需求的算网融合特征包括:算力需求特征及网络需求特征;
获取每一数据中心的实时算网融合特征;所述实时算网融合特征包括:算力实时特征及网络实时特征;
根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征,每一数据中心的向量化特征根据对比当前用户计算需求的算网融合向量化特征与实时算网融合向量化特征之间的余弦相似度得到;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成;所述优选数据中心为适合用户自己计算任务需求的数据中心;
所述基于算网融合特征的数据中心推荐方法还包括:按照如下方法预先构建所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集:在每一数据中心运行时,监测每一数据中心的算力实时特征及网络实时特征;在算力实时特征及网络实时特征为不同的预设阈值组合时,为每一数据中心提交不同的计算任务,不同的计算任务的模型大小不同、数据集大小不同、任务类型不同;收集在每一计算任务下,每一数据中心在当前算力实时特征、网络实时特征、算力需求特征及网络需求特征下的运行耗时;对于每一计算任务,随机采样该计算任务中的预设行数,将采样的行中运行耗时最短的一条标记为正样本,其余标记为负样本,每一次采样构成了一个训练的最小单元,对于每个计算任务,进行随机采样若干次,最终得到所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本训练数据集;每一样本数据包括数据中心标识,历史算力实时特征,历史网络实时特征,历史算力需求特征,历史网络需求特征及样本标签。
2.如权利要求1所述的方法,其特征在于,还包括:按照如下方法预先训练得到所述数据中心推荐模型:
将数据中心标识,历史算力实时特征及历史网络实时特征输入实时算网融合向量化特征预测神经网络,得到实时算网融合向量化特征;
将历史算力需求特征及历史网络需求特征输入用户计算需求的算网融合向量化特征预测神经网络,得到用户计算需求的算网融合向量化特征;
对比实时算网融合向量化特征与用户计算需求的算网融合向量化特征损失训练所述用户计算需求的算网融合向量化特征预测神经网络及实时算网融合向量化特征预测神经网络;
根据正负样本标签进行随机梯度下降,更新实时算网融合向量化特征预测神经网络及用户计算需求的算网融合向量化特征预测神经网络,最终得到训练好的实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型;所述实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型构成所述数据中心推荐模型。
3.如权利要求2所述的方法,其特征在于,所述用户计算需求的算网融合向量化特征预测神经网络模型为10层的全连接神经网络模型,所述实时算网融合向量化特征预测神经网络模型为10层的全连接神经网络模型。
4.如权利要求2所述的方法,其特征在于,所述数据中心推荐模型包括:多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层及多模网络需求嵌入层;如果数据中心推荐模型的输入特征是数值,多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层或多模网络需求嵌入层是全连接输入;如果数据中心推荐模型的输入特征是图,多模算力特征嵌入层、多模网络特征嵌入层、多模算力需求嵌入层或多模网络需求嵌入层是为图嵌入Graph Embedding。
5.如权利要求2所述的方法,其特征在于,根据当前用户的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征;根据每一数据中心的向量化特征为当前用户推荐优选数据中心,包括:
将当前用户计算需求的算网融合特征输入用户计算需求的算网融合向量化特征预测神经网络模型,预测得到当前用户计算需求的算网融合向量化特征;
将每一数据中心的实时算网融合特征输入实时算网融合向量化特征预测神经网络模型,预测得到每一数据中心的实时算网融合向量化特征;
对比当前用户计算需求的算网融合向量化特征与实时算网融合向量化特征之间的余弦相似度,得到每一数据中心的向量化特征;根据每一数据中心的向量化特征,获得所有数据中心的排序结果;
根据所有数据中心的排序结果,为当前用户推荐最优数据中心。
6.一种基于算网融合特征的数据中心推荐装置,其特征在于,包括:
用户计算需求收集模块,用于获取当前用户根据自己的计算任务需求输入的用户计算需求的算网融合特征;所述用户计算需求的算网融合特征包括:算力需求特征及网络需求特征;
数据中心实时信息收集模块,用于获取每一数据中心的实时算网融合特征;所述实时算网融合特征包括:算力实时特征及网络实时特征;
智能推荐模块,用于根据当前的用户计算需求的算网融合特征,每一数据中心的实时算网融合特征,以及预先建立的数据中心推荐模型,预测得到每一数据中心的向量化特征,每一数据中心的向量化特征根据对比当前用户计算需求的算网融合向量化特征与实时算网融合向量化特征之间的余弦相似度得到;根据每一数据中心的向量化特征为当前用户推荐优选数据中心;所述数据中心推荐模型根据历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集预先训练生成;所述优选数据中心为适合用户自己计算任务需求的数据中心;
所述基于算网融合特征的数据中心推荐装置还包括构建单元,用于按照如下方法预先构建所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本数据集:在每一数据中心运行时,监测每一数据中心的算力实时特征及网络实时特征;在算力实时特征及网络实时特征为不同的预设阈值组合时,为每一数据中心提交不同的计算任务,不同的计算任务的模型大小不同、数据集大小不同、任务类型不同;收集在每一计算任务下,每一数据中心在当前算力实时特征、网络实时特征、算力需求特征及网络需求特征下的运行耗时;对于每一计算任务,随机采样该计算任务中的预设行数,将采样的行中运行耗时最短的一条标记为正样本,其余标记为负样本,每一次采样构成了一个训练的最小单元,对于每个计算任务,进行随机采样若干次,最终得到所述历史用户计算需求的算网融合特征及历史实时算网融合特征样本训练数据集;每一样本数据包括数据中心标识,历史算力实时特征,历史网络实时特征,历史算力需求特征,历史网络需求特征及样本标签。
7.如权利要求6所述的装置,其特征在于,还包括训练单元,用于按照如下方法预先训练得到所述数据中心推荐模型:
将数据中心标识,历史算力实时特征及历史网络实时特征输入实时算网融合向量化特征预测神经网络,得到实时算网融合向量化特征;
将历史算力需求特征及历史网络需求特征输入用户计算需求的算网融合向量化特征预测神经网络,得到用户计算需求的算网融合向量化特征;
对比实时算网融合向量化特征与用户计算需求的算网融合向量化特征损失训练所述用户计算需求的算网融合向量化特征预测神经网络及实时算网融合向量化特征预测神经网络;
根据正负样本标签进行随机梯度下降,更新实时算网融合向量化特征预测神经网络及用户计算需求的算网融合向量化特征预测神经网络,最终得到训练好的实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型;所述实时算网融合向量化特征预测神经网络模型及用户计算需求的算网融合向量化特征预测神经网络模型构成所述数据中心推荐模型。
8.如权利要求7所述的装置,其特征在于,所述智能推荐模块具体用于:
将当前用户计算需求的算网融合特征输入用户计算需求的算网融合向量化特征预测神经网络模型,预测得到当前用户计算需求的算网融合向量化特征;
将每一数据中心的实时算网融合特征输入实时算网融合向量化特征预测神经网络模型,预测得到每一数据中心的实时算网融合向量化特征;
对比当前用户计算需求的算网融合向量化特征与实时算网融合向量化特征之间的余弦相似度,得到每一数据中心的向量化特征;根据每一数据中心的向量化特征,获得所有数据中心的排序结果;
根据所有数据中心的排序结果,为当前用户推荐最优数据中心。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310248173.4A CN115952009B (zh) | 2023-03-15 | 2023-03-15 | 基于算网融合特征的数据中心推荐方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310248173.4A CN115952009B (zh) | 2023-03-15 | 2023-03-15 | 基于算网融合特征的数据中心推荐方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115952009A CN115952009A (zh) | 2023-04-11 |
CN115952009B true CN115952009B (zh) | 2023-06-06 |
Family
ID=85907060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310248173.4A Active CN115952009B (zh) | 2023-03-15 | 2023-03-15 | 基于算网融合特征的数据中心推荐方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115952009B (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111679905B (zh) * | 2020-05-11 | 2022-03-08 | 天津大学 | 算网融合网络模型系统 |
CN112700269A (zh) * | 2020-12-28 | 2021-04-23 | 广东石油化工学院 | 一种基于异向强化学习的分布式数据中心选择方法 |
CN114885308A (zh) * | 2021-02-05 | 2022-08-09 | 维沃移动通信有限公司 | 算力服务方法和设备 |
CN113158027A (zh) * | 2021-03-09 | 2021-07-23 | 厦门盈趣科技股份有限公司 | 一种智能设备推荐方法、系统及智能终端 |
CN114239844A (zh) * | 2021-11-01 | 2022-03-25 | 中国电子科技集团公司第十五研究所 | 算力的计算方法、装置、终端设备和存储介质 |
CN114547475B (zh) * | 2022-04-27 | 2022-07-26 | 中信建投证券股份有限公司 | 一种资源推荐方法、装置及系统 |
CN114861050A (zh) * | 2022-04-27 | 2022-08-05 | 西安建筑科技大学 | 一种基于神经网络的特征融合推荐方法及系统 |
CN115186803A (zh) * | 2022-07-29 | 2022-10-14 | 武汉理工大学 | 一种考虑pue的数据中心算力负荷需求组合预测方法和系统 |
CN115543624A (zh) * | 2022-10-13 | 2022-12-30 | 联通(广东)产业互联网有限公司 | 异构算力编排调度方法、系统、设备及存储介质 |
CN115641173A (zh) * | 2022-10-18 | 2023-01-24 | 云迅智能科技南京有限公司 | 一种应用与算力网络融合方法、系统及电子设备 |
CN115632939B (zh) * | 2022-12-23 | 2023-03-31 | 浩鲸云计算科技股份有限公司 | 一种实现算力网络多目标达成的自动选网选路的方法 |
-
2023
- 2023-03-15 CN CN202310248173.4A patent/CN115952009B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115952009A (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048879B2 (en) | Systems and methods to determine and utilize semantic relatedness between multiple natural language sources to determine strengths and weaknesses | |
CN110837602B (zh) | 基于表示学习和多模态卷积神经网络的用户推荐方法 | |
US20220335304A1 (en) | System and Method for Automated Design Space Determination for Deep Neural Networks | |
CN112633010A (zh) | 基于多头注意力和图卷积网络的方面级情感分析方法及系统 | |
WO2020207393A1 (zh) | 算子运算调度方法和装置 | |
CN114239861A (zh) | 基于多教师联合指导量化的模型压缩方法及系统 | |
CN112434789A (zh) | 一种用于边缘视频分析的分布式神经网络模型划分方法 | |
CN111198550A (zh) | 基于案例推理的云端智能生产优化调度在线决策方法及系统 | |
CN113642700A (zh) | 基于联邦学习和边缘计算的跨平台多模态舆情分析方法 | |
CN115114421A (zh) | 一种问答模型训练方法 | |
CN116108384A (zh) | 一种神经网络架构搜索方法、装置、电子设备及存储介质 | |
WO2022100607A1 (zh) | 一种神经网络结构确定方法及其装置 | |
CN114169506A (zh) | 一种基于工业物联网平台的深度学习边缘计算系统框架 | |
CN115952009B (zh) | 基于算网融合特征的数据中心推荐方法及装置 | |
CN116993185A (zh) | 时间序列预测方法、装置、设备及存储介质 | |
CN116628346A (zh) | 搜索词推荐模型的训练方法及装置 | |
CN116244484A (zh) | 一种面向不平衡数据的联邦跨模态检索方法及系统 | |
CN113835973B (zh) | 一种模型训练方法及相关装置 | |
CN114386436B (zh) | 文本数据的分析方法、模型训练方法、装置及计算机设备 | |
CN114900435A (zh) | 一种连接关系预测方法及相关设备 | |
CN112052386A (zh) | 信息推荐方法、装置和存储介质 | |
CN113159926A (zh) | 贷款业务的还款日期确定方法及装置 | |
CN113535946A (zh) | 基于深度学习的文本鉴别方法、装置、设备及存储介质 | |
CN116933896B (zh) | 一种超参数确定及语义转换方法、装置、设备及介质 | |
CN115880486B (zh) | 一种目标检测网络蒸馏方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |