CN116032757B - 边缘云混跑场景的网络资源优化方法及装置 - Google Patents
边缘云混跑场景的网络资源优化方法及装置 Download PDFInfo
- Publication number
- CN116032757B CN116032757B CN202211624421.2A CN202211624421A CN116032757B CN 116032757 B CN116032757 B CN 116032757B CN 202211624421 A CN202211624421 A CN 202211624421A CN 116032757 B CN116032757 B CN 116032757B
- Authority
- CN
- China
- Prior art keywords
- edge cloud
- flow
- characteristic data
- running
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 title claims abstract description 29
- 230000009471 action Effects 0.000 claims abstract description 29
- 230000002787 reinforcement Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000000203 mixture Substances 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 16
- 238000002156 mixing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 230000007774 longterm Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 10
- 238000005065 mining Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001595 flow curve Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- OKUGPJPKMAEJOE-UHFFFAOYSA-N S-propyl dipropylcarbamothioate Chemical group CCCSC(=O)N(CCC)CCC OKUGPJPKMAEJOE-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种边缘云混跑场景的网络资源优化方法，包括：获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。能提高各个云计算商家的收入，而且能降低混跑场景的故障率，同时能解决混跑场景下的资源动态扩张诉求。
Description
技术领域
本发明属于网络资源优化技术领域，尤其涉及一种边缘云混跑场景的网络资源优化方法、装置、设备及存储介质。
背景技术
随着万物互联时代到来以及5G通信网络普及，互联网数据规模呈现指数级增长。在此背景下，传统的云计算的中心化架构已经无法满足终端用户对于时效、容量、算力的需求。边缘云的超低时延、海量数据、边缘智能等特性促使更多的企业选择边缘云技术方案的原因，也使得边缘云计算在市场中成为构筑在中心云与终端之间的重要组成。
在边缘云场景，普遍在云计算的供应商侧和业务侧存在95计费的业务场景，同时存在着多个业务节点共享一个交换机或者节点带宽的业务场景。在这种场景下，如何能最大化的保障供应商侧与业务侧之间的长期毛利，不仅是各个边缘云商家盈利多少的重要因子，也是各个云计算商家之间竞争的核心要素。
现有的边缘云混跑场景往往采用线性加权的方式去衡量95计费的差异，同时具有以下的缺点：
1、没有考虑到各个业务的95计费时间节点存在差异，也就是混跑场景下的错峰问题，非常容易导致机器95流量较高，从而计费的成本增加。
2、往往只考虑短期的95流量收益，但混跑场景下的流量非常不稳定，往往随着时间、业务来回波动，这样往往会导致短期收益、长期亏损的现象。
3、主任务的系统稳定性问题，往往在混跑场景中，辅任务往往是通过95计费的逻辑复用主任务的带宽资源，但这种场景往往非常容易降低主任务的系统稳定性。
常规的云计算混跑场景技术主要基于动态规划、机器学习或者使用率预测等技术。但各个业务与各个云计算设备之间往往存在较强的异构性与复杂性，所以很难通过一些统计或者常规机器学习的方法来实现最优化的混跑逻辑。
发明内容
为解决上述问题，本发明的目的是提供一种边缘云混跑场景的网络资源优化方法、装置、设备及存储介质，该方法、装置、设备及存储介质能提高各个云计算商家的收入，而且能降低混跑场景的故障率，同时能解决混跑场景下的资源动态扩张诉求。
为实现上述目的，本发明的技术方案为：一种边缘云混跑场景的网络资源优化方法，包括：获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
在本发明的一个实施例中，所述获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量进一步包括：获取第一预设时间段内该边缘云的流量数据并组成序列化数据；基于所述第一预设时间段内的流量数据预测第二预设时间段的流量数据并与第二预设时间段的真实流量数据进行比对；基于第一预设时间段的流量数据、第二预设时间段的真实流量数据以及第二预设时间段的预测流量数据和第二预设时间段的真实流量数据的比对结果进行预测以获取当前预测流量。
在本发明的一个实施例中，所述多目标模型对所述特征数据进行预设处理以获取该边际云的预测参数进一步包括：获取包括任务id、任务属性、时间区间、设备配置在内的特征数据；根据毛利＝(xa+xb)*收入报价*业务扣罚-xc*成本报价*成本扣罚＝xc*(z*收入报价*业务扣罚-成本报价*成本扣罚)公式，输出其中的xc与z；其中，所述多目标模型为MMOE多目标模型，先对特征数据进行基于任务id的embedding处理，再通过MMOE多目标模型生成的多个专家网络进行拼接，最后根据MMOE多目标模型的Gate层和专家网络进行计算乘积运算，最终得到xc和z的预测参数。
在本发明的一个实施例中，所述基于强化学习模型对所述预测参数以及所述预测流量按照预设算法计算该边缘云的最优毛利费用进一步包括：获取所述预测流量和多目标模型输出的预测参数，基于公式：毛利＝(xa+xb)*收入报价*业务扣罚-xc*成本报价*成本扣罚＝xc*(z*收入报价*业务扣罚-成本报价*成本扣罚)计算出最优毛利。
在本发明的一个实施例中，在基于强化学习模型计算该边缘云的最优毛利费用之前还包括：进行如下定义：定义动作为各种组合的混跑业务id；定义奖励y＝收入-成本-损失＝毛利-投诉*投诉成本-系统宕机时间*系统宕机成本；定义切入前状态为各混跑业务在流量预测中的95预测流量、边缘云在流量预测中的95预测流量和特征数据；定义切入后状态为切入混跑业务在流量预测中的95预测流量、边缘云在流量预测中的95预测流量和特征数据。
在本发明的一个实施例中，进行所述定义之后还包括：定义DQN网络，分别通过train_net和target_net神经网络对混跑场景下的长期毛利进行学习；所述train_net和target_net的输入为切入前状态数据，输出为action个节点。
在本发明的一个实施例中，所述混跑场景下的长期毛利进行学习进一步包括：随机抽取200条数据，可以标记成{action1＝[动作数据],reward1＝[奖励数组],state_before1＝[切入前状态数组],state_after1＝[切入后状态数组]}；通过target_net网络，输入state_after1，输出reward2＝[所有动作的奖励数组]；随机一个0到1之间的一个小数，如果这个小数大于0.1(即90％的概率)，进行reward1＝reward1+max(reward2)*factor(factor＝0.9)，否则reward1＝reward1；将{reward1,action1,state_before1}带入train_net进行训练，train_net的输入为state_before1，输出为reward3＝[所有动作的奖励数组]，reward3_action＝reward3*action1，train_net训练过程中，损失函数定义为reward3_action与reward1之间的mse，优化器定义为adam；每50次迭代，train_net的所有参数复制到target_net中；在满足优化条件的情况下，停止迭代；导出train_net网络和target_net网络。
基于相同的构思，本发明还提供一种边缘云混跑场景的网络资源优化装置，包括：流量预测模块，用于获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；特征获取模块，用于获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
基于相同的构思，本发明还提供一种计算机设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现任意一项所述的边缘云混跑场景的网络资源优化方法。
基于相同的构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现所述的边缘云混跑场景的网络资源优化方法。
采用上述技术方案后，与现有技术相比，本发明的有益之处在于：
1、本发明中通过transformer技术，对主业务和辅助任务的95波峰进行预测，更好的挖掘多任务在通过交换机或者节点中混跑。
2、本发明合理的资源调度分配，降低系统发生故障的概率，提升了混跑场景下主任务的稳定性。
3、本发明通过强化学习、多目标等技术充分合理利用95计费规则以及设备的资源，实现云计算厂家的最大化毛利收入。解决95流量随着时间变动较大、训练样本较少的难题，通过虚拟混跑结合实际混跑增加了足够的训练样本，在一定程度上也降低时间变化对最终毛利评估的影响。解决了常规技术无法对混跑场景的各个业务最优收入组合的挖掘难题，通过虚拟混跑对潜在各个业务组合进行探索，最终通过强化学习的试错方法对各个业务组合进行决策。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明，其中：
图1为本发明边缘云混跑场景的网络资源优化方法流程图；
图2为本发明边缘云混跑场景实施例流量图；
图3为本发明基于transformer技术在混跑场景下的mae指标。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
实施例一
请参阅图1，示出了一种边缘云混跑场景的网络资源优化方法，包括：
S100：获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；
S200：获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；
S300：所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；
S400：基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
本发明中通过transformer技术，对主业务和辅助任务的95波峰进行预测，更好的挖掘多任务在通过交换机或者节点中混跑。
在本实施例的一个优选方案中，所述获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量进一步包括：获取第一预设时间段内该边缘云的流量数据并组成序列化数据；基于所述第一预设时间段内的流量数据预测第二预设时间段的流量数据并与第二预设时间段的真实流量数据进行比对；基于第一预设时间段的流量数据、第二预设时间段的真实流量数据以及第二预设时间段的预测流量数据和第二预设时间段的真实流量数据的比对结果进行预测以获取当前预测流量。
举个例子，通过采集各个云节点场景上的各个混跑任务以及设备的每5分钟带宽流量。
参见图2，在设备x上运行业务a与业务b存在三条流量曲线，同时分别对应存在时间点c、a、b三个时间点为流量曲线的日95流量时间节点。在a、b、c三个时间节点上，c点上的流量为设备x的95流量即成本侧流量，a和b点上的流量为业务a和业务b分别对应的收入流量。
以设备x上运行业务a与业务b为例，分别获取各自5分钟的最近30天的流量数据，并组成序列化的数据，例如，设备x在前24天的数据为x1序列[0.1,0.9,......,0.8]，中间5天的数据x2序列[0.9,0.64,0.31,0.91,0.78]，最后一天的数据y[0.34]。
基于transformer算法，通过输入x1和x2对y进行预测，从而学习到时序序列模型。
图3为基于transformer技术在混跑场景下的mae指标(mae指标在0.29，mae指标越低，算法效果越好)，其效果远远超过LSTM等常规时序预测的效果(mae指标在0.48)。
通过transformer算法，可以分别预测到未来一天设备x、业务a与业务b每5分钟粒度层次下的流量数据，再分别通过95流量计算逻辑获得各自的95时间节点与95流量。
在实际计算毛利的时候，用于计算收入的业务流量，即业务a和业务b在时间点a和时间点b的流量xa和xb，往往大于设备x在时间点c的流量xc，即，可以用如下公式表达：xa+xb≥xc，可以定义如下公式z＝(xa+xb)/xc。
在混跑场景中，往往是通过设备侧和业务侧之间的价格差以及混跑场景下的参数z＝(xa+xb)/xc进行盈利，z值越大，代表着整体的毛利利润就越高。
毛利公式，毛利＝(xa+xb)*收入报价*业务扣罚-xc*成本报价*成本扣罚＝xc*(z*收入报价*业务扣罚-成本报价*成本扣罚)。
整个公式中，因为报价、扣罚因子相对固定，因为毛利的大小最终和设备流量xc与z这两个变量有直接关系，但是这两个变量往往会随着节点配置、业务调度、时间周期等因子有着明显的变化。
收集各个混跑任务的数据特征，主要为混跑任务相关的任务id、任务属性、时间区间、设备配置等特征数据。
然而，现实场景当中的混跑因为场景复杂，多个混跑任务之间的组合情况众多，因此比较困难的直接通过现有混跑数据预估到真实的混跑毛利。在此的背景下，提出一种基于多目标深度模型的混跑模拟器，即虚拟混跑。
训练多目标神经网络模型，输入为混跑任务相关的任务id、任务属性、时间区间、设备配置等特征数据，优化目标为公式：毛利＝(xa+xb)*收入报价*业务扣罚-xc*成本报价*成本扣罚＝xc*(z*收入报价*业务扣罚-成本报价*成本扣罚)中的xc与z。
模型采用MMOE的多目标模型，主要先对特征数据进行基于id的embedding处理，再通过MMOE生成的多个专家网络进行拼接，最后根据MMOE的Gate层和专家网络进行计算乘积运算，最终得到xc和z的预测值。其中，所述embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。
通过多目标神经网络模型进行虚拟混跑输出，输入多目标神经网络模型为相对随机采样或者组合生成的任务id、任务属性、时间区间、设备配置等特征数据，多目标神经网络模型的输出为xc和z，通过公式：毛利＝(xa+xb)*收入报价*业务扣罚-xc*成本报价*成本扣罚＝xc*(z*收入报价*业务扣罚-成本报价*成本扣罚)计算出最优毛利。并且，基于这个最优毛利即可确定最优动作，从而实现该边缘云网络资源的优化。
现实场景当中的混跑因为场景复杂，多个混跑任务之间的组合情况众多，即便是常规的神经网络也是相对能学习到短期的收入波动，但很难学习到长期的收入以及混跑本身对业务高可用性带来的风险。
整个模型主要分成强化学习输入、强行学习、强化学习输出三个部分。
定义强化学习的输入，主要包括动作、奖励、切入前状态、切入后状态等的定义，也包括基于虚拟混跑的样本抽样逻辑。
其中，样本主要来源于真实混跑和虚拟混跑。这样做的主要意义在于现实当中的真实混跑数据相对较小，并不能足以支持挖掘出潜在更高混跑逻辑的可能，但通过加入一定比例的虚拟混跑数据，不仅能实现对更高毛利的潜在混跑逻辑的挖掘，还能提升最终强化学习的模型效果。经过实际测试，样本抽样逻辑为：20％抽样真实混跑、80％抽样虚拟混跑，相对其它抽样比例能带来大约0.3％的mae指标评测提升。
特征数据包括任务id、任务属性、时间区间、设备配置以及各个任务的95预测流量和设备的95预测流量。
对边缘云的各个动作定义混跑业务id。
奖励：y＝收入-成本-损失＝毛利-投诉*投诉成本-系统宕机时间*系统宕机成本。
切入前状态：当前混跑业务[a，b]在95预测流量xa和xb、设备在95预测流量xc、(xa+xb)/xc、任务id、任务属性、时间区间、设备配置等特征数据。
切入后状态：切入混跑业务[c,d]在95预测流量xc和xd、设备在中的95预测流量xc、(xc+xd)/xc、任务id、任务属性、时间区间、设备配置等特征数据。
接下来，定义DQN网络(Deep Q-network，深度Q算法)，分别通过train_net和target_net神经网络对混跑场景下的长期毛利进行学习。
train_net和target_net的输入为‘切入前状态’数据，输出则为action个节点，具体结构如下：
模型训练的具体步骤如下：
每次随机抽取200条数据，可以标记成{action1＝[动作数据]，reward1＝[奖励数组],state_before1＝[切入前状态数组],state_after1＝[切入后状态数组]}。
通过target_net网络，输入state_after1，输出reward2＝[所有动作的奖励数组]。
随机一个0到1之间的一个小数，如果这个小数大于0.1(即90％的概率)，进行reward1＝reward1+max(reward2)*factor(factor＝0.9)，否则reward1＝reward1。
{reward1,action1,state_before1}带入train_net进行训练，train_net的输入为state_before1，输出为reward3＝[所有动作的奖励数组]。
reward3_action＝reward3*action1。
train_net训练过程中，损失函数定义为reward3_action与reward1之间的mse，优化器定义为adam。
每50次迭代，train_net的所有参数复制到target_net中。
满足优化条件，停止迭代。
导出train_net网络和target_net网络。
进一步的，基于train_net网络的输入数据，进行输入得到混跑场景下长期最优的混跑任务。
基于本实施例的以上技术方案，不仅能混跑场景下基于95流量计费的一个最优化收入问题，还能解决常规技术手段无法解决的长期收入挖掘等问题。
在本实施例中，所述的动作即为边缘云中的任务。
本发明合理的资源调度分配，降低系统发生故障的概率，提升了混跑场景下主任务的稳定性。
本发明通过强化学习、多目标等技术充分合理利用95计费规则以及设备的资源，实现云计算厂家的最大化毛利收入。解决95流量随着时间变动较大、训练样本较少的难题，通过虚拟混跑结合实际混跑增加了足够的训练样本，在一定程度上也降低时间变化对最终毛利评估的影响。解决了常规技术无法对混跑场景的各个业务最优收入组合的挖掘难题，通过虚拟混跑对潜在各个业务组合进行探索，最终通过强化学习的试错方法对各个业务组合进行决策。
实施例二
基于相同的构思，本发明还提供一种边缘云混跑场景的网络资源优化装置，包括：流量预测模块，用于获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；特征获取模块，用于获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
本发明通过强化学习、多目标等技术充分合理利用95计费规则以及设备的资源，实现云计算厂家的最大化毛利收入。解决95流量随着时间变动较大、训练样本较少的难题，通过虚拟混跑结合实际混跑增加了足够的训练样本，在一定程度上也降低时间变化对最终毛利评估的影响。解决了常规技术无法对混跑场景的各个业务最优收入组合的挖掘难题，通过虚拟混跑对潜在各个业务组合进行探索，最终通过强化学习的试错方法对各个业务组合进行决策。
实施例三
基于相同的构思，本发明还提供一种计算机设备，该计算机设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)(例如，一个或一个以上处理器)和存储器，一个或一个以上存储应用程序或数据的存储介质(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在计算机设备上执行存储介质中的一系列指令操作。
计算机设备还可以包括一个或一个以上电源，一个或一个以上有线或无线网络接口，一个或一个以上输入输出接口，和/或，一个或一个以上操作系统，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。
本领域技术人员可以理解，所述的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件或者组合某些部件，或者不同的部件布置。
所述计算机可读指令被所述处理器执行时，使得所述处理器执行所述计算机可读指令时实现以下步骤：获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
在一个实施例中，提出了一种可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述，具体步骤在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种边缘云混跑场景的网络资源优化方法，其特征在于，包括：
获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；
获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；
所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数；所述预测参数为盈利折损率参数；
基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
2.如权利要求1所述的边缘云混跑场景的网络资源优化方法，其特征在于，所述获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量进一步包括：
获取第一预设时间段内该边缘云的流量数据并组成序列化数据；
基于所述第一预设时间段内的流量数据预测第二预设时间段的流量数据并与第二预设时间段的真实流量数据进行比对；
基于第一预设时间段的流量数据、第二预设时间段的真实流量数据以及第二预设时间段的预测流量数据和第二预设时间段的真实流量数据的比对结果进行预测以获取当前预测流量。
3.如权利要求2所述的边缘云混跑场景的网络资源优化方法，其特征在于，所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数进一步包括：
获取包括任务id、任务属性、时间区间、设备配置在内的特征数据；
根据毛利=（xa+xb）*收入报价*业务扣罚- xc *成本报价*成本扣罚=xc *（z*收入报价*业务扣罚-成本报价*成本扣罚）公式，输出其中的xc与z；其中xa表示业务a在设备x上运行的收入流量，xb表示业务b在设备x上运行的收入流量，xc表示设备x本身运行的成本流量，z表示盈利折损率，z=(xa+xb)/ xc；
其中，所述多目标模型为MMOE多目标模型，先对特征数据进行基于任务id的embedding处理，再通过MMOE多目标模型生成的多个专家网络进行拼接，最后根据MMOE多目标模型的Gate层和专家网络进行计算乘积运算，最终得到 xc和z的预测参数。
4.如权利要求1所述的边缘云混跑场景的网络资源优化方法，其特征在于，所述基于强化学习模型对所述预测参数以及所述预测流量按照预设算法计算该边缘云的最优毛利费用进一步包括：
获取所述预测流量和多目标模型输出的预测参数，基于公式：毛利=（xa+xb）*收入报价*业务扣罚- xc *成本报价*成本扣罚= xc *（z*收入报价*业务扣罚-成本报价*成本扣罚）计算出最优毛利，其中xa表示业务a在设备x上运行的收入流量，xb表示业务b在设备x上运行的收入流量，xc表示设备x本身运行的成本流量，z表示盈利折损率，z=(xa+xb)/ xc。
5.如权利要求4所述的边缘云混跑场景的网络资源优化方法，其特征在于，在基于强化学习模型计算该边缘云的最优毛利费用之前还包括：
进行如下定义：
定义动作为各种组合的混跑业务id；
定义奖励y=收入-成本-损失=毛利-投诉*投诉成本-系统宕机时间*系统宕机成本；
定义切入前状态为各混跑业务在流量预测中的95预测流量、边缘云在流量预测中的95预测流量和特征数据；
定义切入后状态为切入混跑业务在流量预测中的95预测流量、边缘云在流量预测中的95预测流量和特征数据。
6.如权利要求5所述的边缘云混跑场景的网络资源优化方法，其特征在于，进行所述定义之后还包括：
定义DQN网络，分别通过train_net和target_net神经网络对混跑场景下的长期毛利进行学习；
所述train_net和target_net的输入为切入前状态数据，输出为action个节点。
7.如权利要求6所述的边缘云混跑场景的网络资源优化方法，其特征在于， 所述混跑场景下的长期毛利进行学习进一步包括：
随机抽取200条数据，可以标记成{action1=[动作数据],reward1=[奖励数组],state_before1=[切入前状态数组],state_after1=[切入后状态数组]}；
通过target_net网络，输入state_after1，输出reward2=[所有动作的奖励数组]；
随机一个0到1之间的一个小数，如果这个小数大于0.1，进行reward1=reward1+max(reward2)*factor（factor=0.9），否则reward1=reward1；
将{reward1,action1,state_before1}带入train_net进行训练，train_net的输入为state_before1，输出为reward3=[所有动作的奖励数组]，reward3_action = reward3*action1，train_net训练过程中，损失函数定义为reward3_action与reward1之间的mse，优化器定义为adam；
每50次迭代，train_net的所有参数复制到target_net中；
在满足优化条件的情况下，停止迭代；
导出train_net网络和target_net网络。
8.一种边缘云混跑场景的网络资源优化装置，其特征在于，包括：
流量预测模块，用于获取边缘云的特征数据基于transformer算法进行预测以获取当前预测流量；其中，所述特征数据至少包括：任务id、任务属性、时间区间、设备配置；
特征获取模块，用于获取设备实际混跑运行过程中的所述特征数据和预设虚拟混跑的所述特征数据输入多目标模型；
所述多目标模型对所述特征数据进行预设处理以获取该边缘云的预测参数； 所述预测参数为盈利折损率参数；基于强化学习模型对所述预测参数以及所述当前预测流量按照预设算法计算该边缘云的最优毛利费用以及确定该最优毛利费用对应的动作以实现该边缘云的网络资源优化。
9.一种计算机设备，其特征在于，包括：
存储器，所述存储器用于存储处理程序；
处理器，所述处理器执行所述处理程序时实现如权利要求1至权利要求7中任意一项所述的边缘云混跑场景的网络资源优化方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现如权利要求1至权利要求7中任意一项所述的边缘云混跑场景的网络资源优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211624421.2A CN116032757B (zh) | 2022-12-16 | 2022-12-16 | 边缘云混跑场景的网络资源优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211624421.2A CN116032757B (zh) | 2022-12-16 | 2022-12-16 | 边缘云混跑场景的网络资源优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116032757A CN116032757A (zh) | 2023-04-28 |
| CN116032757B true CN116032757B (zh) | 2024-05-10 |
Family
ID=86071506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211624421.2A Active CN116032757B (zh) | 2022-12-16 | 2022-12-16 | 边缘云混跑场景的网络资源优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116032757B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812930A (zh) * | 2014-01-16 | 2014-05-21 | 华为技术有限公司 | 一种资源调度的方法及装置 |
| CN110351348A (zh) * | 2019-06-27 | 2019-10-18 | 广东石油化工学院 | 一种基于dqn的云计算资源调度优化方法 |
| CN111835827A (zh) * | 2020-06-11 | 2020-10-27 | 北京邮电大学 | 物联网边缘计算任务卸载方法及系统 |
| CN111865647A (zh) * | 2019-04-30 | 2020-10-30 | 英特尔公司 | 使用分解的芯片粒进行边缘计算的模块化i/o配置 |
| US10938674B1 (en) * | 2016-07-01 | 2021-03-02 | EMC IP Holding Company LLC | Managing utilization of cloud computing resources |
| CN114143891A (zh) * | 2021-11-30 | 2022-03-04 | 南京工业大学 | 移动边缘网络中基于fdql的多维资源协同优化方法 |
| WO2022139879A1 (en) * | 2020-12-24 | 2022-06-30 | Intel Corporation | Methods, systems, articles of manufacture and apparatus to optimize resources in edge networks |
| CN115022188A (zh) * | 2022-05-27 | 2022-09-06 | 国网经济技术研究院有限公司 | 一种电力边缘云计算网络中的容器放置方法及系统 |
| WO2022217503A1 (zh) * | 2021-04-14 | 2022-10-20 | 深圳大学 | 一种面向云网融合的多接入边缘计算架构 |
| CN115334075A (zh) * | 2022-06-28 | 2022-11-11 | 北京邮电大学 | 面向地铁场景高可靠低时延业务的5g边缘计算方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI620075B (zh) * | 2016-11-23 | 2018-04-01 | 財團法人資訊工業策進會 | 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法 |
| US11132608B2 (en) * | 2019-04-04 | 2021-09-28 | Cisco Technology, Inc. | Learning-based service migration in mobile edge computing |
-
2022
- 2022-12-16 CN CN202211624421.2A patent/CN116032757B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812930A (zh) * | 2014-01-16 | 2014-05-21 | 华为技术有限公司 | 一种资源调度的方法及装置 |
| US10938674B1 (en) * | 2016-07-01 | 2021-03-02 | EMC IP Holding Company LLC | Managing utilization of cloud computing resources |
| CN111865647A (zh) * | 2019-04-30 | 2020-10-30 | 英特尔公司 | 使用分解的芯片粒进行边缘计算的模块化i/o配置 |
| CN110351348A (zh) * | 2019-06-27 | 2019-10-18 | 广东石油化工学院 | 一种基于dqn的云计算资源调度优化方法 |
| CN111835827A (zh) * | 2020-06-11 | 2020-10-27 | 北京邮电大学 | 物联网边缘计算任务卸载方法及系统 |
| WO2022139879A1 (en) * | 2020-12-24 | 2022-06-30 | Intel Corporation | Methods, systems, articles of manufacture and apparatus to optimize resources in edge networks |
| WO2022217503A1 (zh) * | 2021-04-14 | 2022-10-20 | 深圳大学 | 一种面向云网融合的多接入边缘计算架构 |
| CN114143891A (zh) * | 2021-11-30 | 2022-03-04 | 南京工业大学 | 移动边缘网络中基于fdql的多维资源协同优化方法 |
| CN115022188A (zh) * | 2022-05-27 | 2022-09-06 | 国网经济技术研究院有限公司 | 一种电力边缘云计算网络中的容器放置方法及系统 |
| CN115334075A (zh) * | 2022-06-28 | 2022-11-11 | 北京邮电大学 | 面向地铁场景高可靠低时延业务的5g边缘计算方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116032757A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111026549B (zh) | 一种电力信息通信设备自动化测试资源调度方法 | |
| CN114721833B (zh) | 一种基于平台业务类型的智能云端协调方法和装置 | |
| CN112270545A (zh) | 基于迁移样本筛选的金融风险预测方法、装置和电子设备 | |
| CN103778474A (zh) | 资源负载量预测方法、分析预测系统及业务运营监控系统 | |
| CN104331635A (zh) | 电力光纤通信光功率预测的方法 | |
| Wu et al. | A deadline-aware estimation of distribution algorithm for resource scheduling in fog computing systems | |
| CN105373432A (zh) | 一种基于虚拟资源状态预测的云计算资源调度方法 | |
| Chen et al. | Cloud–edge collaboration task scheduling in cloud manufacturing: An attention-based deep reinforcement learning approach | |
| CN112948123A (zh) | 一种基于Spark的网格水文模型分布式计算方法 | |
| CN115543626A (zh) | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 | |
| CN115373836A (zh) | 计算网络、算力度量方法、调度装置及相关产品 | |
| Gao et al. | A deep learning framework with spatial-temporal attention mechanism for cellular traffic prediction | |
| CN107590747A (zh) | 基于综合能源大数据分析的电网资产周转率计算方法 | |
| CN116032757B (zh) | 边缘云混跑场景的网络资源优化方法及装置 | |
| Khadr et al. | GA-based implicit stochastic optimization and RNN-based simulation for deriving multi-objective reservoir hedging rules | |
| CN116911459A (zh) | 适应于虚拟电厂的多输入多输出超短期电力负荷预测方法 | |
| CN116795198A (zh) | 数据中心的能耗优化方法、装置及存储介质 | |
| CN116308578A (zh) | 一种基于深度学习的边缘云设备定价的优化方法及装置 | |
| CN113298120B (zh) | 基于融合模型的用户风险预测方法、系统和计算机设备 | |
| Asan et al. | Analysis of critical factors in energy service contracting using fuzzy cognitive mapping | |
| Nhu et al. | Optimizing resource scaling in network slicing | |
| Zhihan et al. | Complexity problems handled by big data technology | |
| Xing et al. | Load prediction in short-term implementing the multivariate quantile regression | |
| CN114372849A (zh) | 一种互联网资源服务产品推送方法、装置和计算机设备 | |
| CN112766609A (zh) | 一种基于云计算的用电量预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 801, No. 2, Boyun Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, March 2012 Applicant after: Pioneer Cloud Computing (Shanghai) Co.,Ltd. Address before: Room 801, No. 2, Boyun Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, March 2012 Applicant before: PPLABS NETWORK TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |