CN109067583A - 一种基于边缘计算的资源预测方法及系统 - Google Patents

Abstract

本发明提供的基于边缘计算的资源预测方法及系统，在预测对象的转换以及预处理过程，有效的避免的噪声等干扰因素，提高了预测的准确性和鲁棒性，模型的中间层设计融入尽可能多的先验信息，以保证预测值校正和资源预测模型的权重更新的有根据的进行。循环式的正向传播，反向传递，让预测值的误差逐渐减小并收敛，同时，设立相应的判断条件，以保证循环传播和传递过程的有效的进行。

Description

一种基于边缘计算的资源预测方法及系统

技术领域

本发明涉及边缘计算领域，特别涉及一种基于边缘计算的资源预测方法及系统。

背景技术

在互联网时代下，时下应用最多流行的云计算将计算、存储等服务集中化，利用共享数据中心基础设施和规模经济来降低成本。然而在服务的过程中，数据传输的时延等问题逐渐凸显。同时，智能终端的数量呈指数型的增长，云计算已无法匹配海量数据处理，具体变现为带宽受限，高延时，安全性以及能耗。因此靠近数据源头的网络边缘建立集计算，存储和应用的开放平台能就近提供服务，其实时性、安全隐私保护、数据优化、应用智能等需求可得到进一步的提升，故边缘计算的作用域逐渐扩大。

虽然，搭配了分布式的边缘计算之后，通过智能路由等设备和技术，在不同设备之间传输数据可以有效减少网络流量，降低数据中心的负荷。但是，所建立的边缘平台主要集中局域网下的相对性能较低的计算设备，有限的可利用资源将资源的优化利用成为重要考虑的问题之一。同时，资源优化利用的前提在于对迁移任务的资源需求的准确掌握，以便于进行合理的资源分配。

任务的资源需求包含CPU的占用率、内存的需求量、存储空间、带宽等。针对某一请求任务，对其分配的资源和执行时间呈现一定规律，资源预测的目的在于找出这一对应规律，在保障用户服务质量的前提下,最小化资源供给,减少用户开销。通常情况下，首先必须得到测试样本数据，一次测试，包含服务时间及所需预测的资源使用量。其次，通过预处理，数理统计方法进行资源预测模型的抽象和对应规律挖掘。一般情况下，由于资源相互之间的复杂影响关系，很难去得到准确的数学映射关系式，神经网络的出现则很好的解决了这一难题，通过合理的参数设置即可进行数据训练，从而得到相应的训练模型。

运用神经网络或者其他机器学习方法虽然可以避免去衡量资源之间的相互影响，简化预测模型的建立。但同时，神经网络的结构设计直接关系于预测模型的预测精准度。如若设计的不合理，其预测准确度较低，严重影响平台的资源利用率，造成资源浪费。并且，网络设计的合理性取决于输入输出及中间层的相互作用，设计过程带有一定的随机性。所以预测模型的设计难度较大，复杂度高，准确度也不能得到保证。

发明内容

本发明实施例提供了一种基于边缘计算的资源预测方法及系统，旨在解决低准确率和设计过程高复杂度两方面问题，经过相应预处理过程后，转换预测参数，从而可以有效的去避免复杂度，同时，预测参数的转变也让模型的准确度得到提升。

第一方面，本发明提供一种基于边缘计算的资源预测方法，所述方法包括：

获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值；

按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间；

根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布。

作为一种可选的方案，所述资源状态数据包括CPU、RAM实时使用率、所述待处理任务类型、所述待处理任务输入参数的长度、带宽以及执行时间。

作为一种可选的方案，所述获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值，包括：

采用资源消耗的均值作为预测参数；

建立一步预测模型，将所述资源状态数据作为输入进行一步预测得到待处理任务所需的资源预测值。

作为一种可选的方案，所述获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值，包括：

建立输入输出对应映射关系F:(id,α,β,B,l,t_e)→(U_c,U_r,t_e)；传输时间的计算表达为：

其中N_t表示传输噪声，

使用资源预测值为中间层参数，资源预测值y_i计算表述为：

其中，t_end-t_start＝t_e，N_j表示设备CPU和内存的抖动噪声，F_j对应于资源j在执行时间内的变化曲线关系式，当已知任务名称，预测计算表达式转换为：

F_j(t,α,l,id)＝F_j(t,α,λ(l,id))；

其中λ表示计算复杂度函数，采用资源消耗的均值替代资源状态关系式来进行资源值的预测，具体过程为：

其中为单位时间内的资源消耗的均值，为资源预测值，当执行参数转换后，训练输入和输出则转变为在一步预测完成后，需要根据资源预测误差ΔF_j进行校正，则调整后的预测值资源的使用量服从高斯分布 为训练集的资源消耗的均值，最优预测值可给定为：

则资源预测的误差和方差为

Δy_j＝g(t_e)

最后的预测方程为当满足E(ΔF_j)＝0时，则预测值为无偏估计，估计值的期望方差表达如下：

作为一种可选的方案，所述按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间，包括：

完成一步资源预测，利用资源使用量进行预测得到预测执行时间，计算公式为；

t₀＝t_x+t_t+N_t；

其中N_t代表传输噪声，t_x相关于

Δt＝ΔVG(Y)；

其中，为预测时间，Δt为预测时间误差，t_x为实时执行时间，ΔV为校正权重向量。

作为一种可选的方案，所述根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布，包括：

完成一步预测和时间预测，获取时间误差Δt并判断所述时间误差Δt是否在期望值内，若未达到期望值则进行反向传播同时更新预测模型的权重向量，对所述资源预测值进行矫正，所述资源预测值为：

更新过程的计算公式为：

第二方面，本发明提供一种基于边缘计算的资源预测系统，所述系统包括：

第一预测单元，用于获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值；

第二预测单元，用于按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间；

反馈单元，用于根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布。

作为一种可选的方案，所述资源状态数据包括CPU、RAM实时使用率、所述待处理任务类型、所述待处理任务输入参数的长度、带宽以及执行时间。

作为一种可选的方案，所述第一预测单元，具体用于：

采用资源消耗的均值作为预测参数；

建立一步预测模型，将所述资源状态数据作为输入进行一步预测得到待处理任务所需的资源预测值。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的基于边缘计算的资源预测方法及系统，在预测对象的转换以及预处理过程，有效的避免的噪声等干扰因素，提高了预测的准确性和鲁棒性，模型的中间层设计融入尽可能多的先验信息，以保证预测值校正和资源预测模型的权重更新的有根据的进行。循环式的正向传播，反向传递，让预测值的误差逐渐减小并收敛。同时，设立相应的判断条件，以保证循环传播和传递过程的有效的进行。

附图说明

图1是本发明实施例中提供的基于边缘计算的资源预测方法的流程图；

图2是本发明实施例中提供的基于边缘计算的资源预测方法的预测参数转换示意图；

图3是本发明实施例中提供的基于边缘计算的资源预测方法的整体模型流程图；

图4是本发明实施例中提供的基于边缘计算的资源预测方法在不同模型下，CPU预测值对比的示意图；

图5是本发明实施例中提供的基于边缘计算的资源预测方法在不同模型下，RAM预测值对比的示意图；

图6是本发明实施例中提供的基于边缘计算的资源预测方法在不同模型下，资源预测概率分布与真实资源使用量分布对比的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1所示，本发明实施例中提供的基于边缘计算的资源预测方法的一种实施例，所述方法包括：

S101、获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值。

采用资源消耗的均值作为预测参数，建立一步预测模型，将所述资源状态数据作为输入进行一步预测得到待处理任务所需的资源预测值，转换预测参数，资源使用量为执行时间内对资源消耗的积分，但由于硬件本身的抖动特性，导致资源消耗的曲线难以预测，故采用资源消耗的均值作为预测参数。其次，建立一步预测模型，输入为资源状态数据，资源状态数据包括CPU、RAM实时使用率、所述待处理任务类型、所述待处理任务输入参数的长度、带宽以及执行时间。

S102、按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间。

在经过一步预测后，得到待处理任务的所需资源的预测值。之后，建立执行时间预测，具体包含在预测资源的环境下的执行时间与任务的输入参数在客户端与服务端之间的数据传输时间。

S103、根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布。

针对于S101和S102的误差校正，可得到预测执行时间，进而得到预测执行时间的误差值，首先进行自我的模型参数校正。其次，进行误差反馈，具体过程是将时间误差映射到上一步的资源预测模型中，进行一步资源预测模型的参数校正，校正完成后，再次执行时间预测，循环进行。最后，设立反馈阈值，当预测的时间误差达到给定的阈值标准，则跳出反馈循环，进行下一次的训练。

结合图2和3所示，本发明实施例中针对基于边缘计算的资源预测方法的还提供了一种实施例，具体为：

1、整体模型

为了准确地预测执行时间，提出了一种预测方法，即预测模型中，将最重要的因素纳入到执行时间中去，如CPU的当前状态α、RAM的当前状态β、CPU的抖动和内存、网络带宽B、数据L长度等。首先，划分预测模型分为两部分，第一部分是CPU使用和RAM使用预测，第二部分是时间预测，其次，划分总是带来误差累积。因此，建立一个反馈过程来预测校正后。将训练数据与实时数据进行比较。第三，设置阈值作为判断。当预测误差小于阈值时，模型停止反馈过程，并继续下一次训练过程。

其中，X,Y表示输入层和中间层。

其中，t表示输出执行时间，V_j＝[v₁,...,v_j,...,w_m]^T代表权重向量。如果中间层节点y_j和输入层节点x_i相对独立，则所以训练网络不是全通的。随着训练的进行，可以得到相应的执行时间预测误差Δz，用于对y_j的校正和权重向量W_j,V的更新。同时，设置相应阈值η，当满足条件时，停止反馈，终止此次循环，开启下一轮的训练。整个迭代过程如下所示；

其中，k代表迭代次数。

2、一步资源预测

在这过程中，建立输入输出对应映射关系F:(id,α,β,B,l,t_e)→(U_c,U_r,t_e)，t_e表示执行时间。另外t_t表示传输时间，与传输带宽与传输字符长度相关，并假设传输时间与计算节点的状态无关。传输时间的计算可表达为:

其中N_t表示传输噪声，

除了以上的测量值之外，我们还使用了多线程技术，获取实时资源使用数据。另外，在一般的神经网络，预测值可以持续修正。但是隐层输出的测量值是总是未知的，修正总是依赖于其他节点。从而带来隐藏层节点不敏感，网络性能较差。相对于神经网络，本专利提出的预测模型使用预测值为中间层参数，让实时数据有助于纠正每个层的训练结果。y_i预测值计算表述如下：

其中，t_end-t_start＝t_e，N_j表示设备CPU和内存的抖动噪声，F_j则对应于资源j在执行时间内的变化曲线关系式，当已知任务名称，预测计算表达式可转换为：

F_j(t,α,l,id)＝F_j(t,α,λ(l,id))； (6)

其中λ表示计算复杂度函数。当训练开始后，由于设备本身CPU，内存抖动的影响，造成F_j的估计难度加大。所以，采用平均资源使用量替代资源状态关系式来进行资源值的预测，具体过程如图2和式(7)所示。

其中为单位时间内，预测资源的平均使用量，为资源预测值。当执行参数转换后，训练输入和输出则转变为在一步预测完成后，需要根据资源预测误差ΔF_j进行校正，则调整后的预测值另外，资源的使用量服从高斯分布，即 为训练集的单位时间平均资源使用量。所以，最优预测值可给定为：

则资源预测的误差和方差为

最后的预测方程为另外，当满足E(ΔF_j)＝0时，则预测值为无偏估计，估计值的期望方差表达如下

3、时间预测

当模型完成一步资源预测过程后，可以利用资源使用量来预测时间

t₀＝t_x+t_t+N_t； (11)

其中N_t代表传输噪声，t_x相关于

Δt＝ΔVG(Y)； (12)

其中，为预测时间，Δt为预测时间误差，t_x为实时执行时间，ΔV为校正权重向量。

4、反馈过程

当完成一步预测和时间预测后，模型判断误差是否在期望值内，若未达到期望值，则开始进行反馈过程。从上述两预测过程后，可得到预测时间误差Δt，则在一步预测的资源预测值可校正为

经过上述计算，反馈过程开始反向传播，并纠正资源预测值。同时，在校正的过程中，模型自动更新预测模型的权重向量W,V。更新过程如下。

此外，时间预测过程在修正之后会重新再次执行，因此预测时间误差Δt也在实时更新。如果满足Δt>η，η为给定的判断阈值。预测模型会循环执行反馈过程，直至满足条件Δt<η为止。同时，设置反馈次数，当达到最大次数时，过程强制终止。另外，设定最大误差阈值ρ，目的在于防止在迭代过程中，误差的增大，避免了迭代可能造成的发散。

结合图4、5和6所示，通过试验对比，在FPM,NO-FP FPM,BP三种不同模型下，其中NO-FP FPM表示未含反馈过程的训练模型，BP表示BP神经网络模型，图4、5分别给出对CPU，RAM预测值与真实值的对比，图6给出对资源预测的概率分布和真实测量值的对比，本发明已经过实验验证，证明分析方法的可靠有效性。同时根据分析模型，在边缘计算平台下对预测模型进行验证，资源利用率得到提升，证明其可行性。

本发明提供的基于边缘计算的资源预测方法及系统，在预测对象的转换以及预处理过程，有效的避免的噪声等干扰因素，提高了预测的准确性和鲁棒性，模型的中间层设计融入尽可能多的先验信息，以保证预测值校正和资源预测模型的权重更新的有根据的进行。循环式的正向传播，反向传递，让预测值的误差逐渐减小并收敛。同时，设立相应的判断条件，以保证循环传播和传递过程的有效的进行。

需要说明的是，对于边缘计算领域，在基于资源预测的任务迁移系统中均可使用，在一步预测和执行时间预测中，其具体的预测方法可根据实际情况进行相应更改，例如：规律明细则可采用拟合进行，当训练数据量足够大，且映射关系不明显时，可采用神经网络进行替代。另外，模型的输入输出参数可进行相应的调整，根据任务的类型，执行的时间等因素进行增添和删除。具体的，当任务类型重点利用的储存空间，则需要考虑计算节点磁盘的使用情况，磁盘使用量添加为输入参数；当任务类型重点利用的内存空间，CPU或者现有的其他参数内，可对应的调整权重向量对应于此参数的系数，还有阈值的设立，可根据实际情况，设立多个阈值以保证准确性和减小迭代的次数。例如：在两个预测过程中可能带来误差累计，故在资源预测误差中亦可设立阈值，当满足后再进行时间预测，此可以减小训练时间，加快收敛速度。

相应地，本发明对应提供一种基于边缘计算的资源预测系统，用来实现上述提到的基于边缘计算的资源预测方法，所述系统包括：

第一预测单元，用于获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值；

第二预测单元，用于按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间；

反馈单元，用于根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布。

作为一种可选的方案，所述资源状态数据包括CPU、RAM实时使用率、所述待处理任务类型、所述待处理任务输入参数的长度、带宽以及执行时间。

作为一种可选的方案，所述第一预测单元，具体用于：

采用资源消耗的均值作为预测参数；

建立一步预测模型，将所述资源状态数据作为输入进行一步预测得到待处理任务所需的资源预测值。

本发明提供的基于边缘计算的资源预测系统，在预测对象的转换以及预处理过程，有效的避免的噪声等干扰因素，提高了预测的准确性和鲁棒性，模型的中间层设计融入尽可能多的先验信息，以保证预测值校正和资源预测模型的权重更新的有根据的进行。循环式的正向传播，反向传递，让预测值的误差逐渐减小并收敛。同时，设立相应的判断条件，以保证循环传播和传递过程的有效的进行。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明所提供的一种基于边缘计算的资源预测方法及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于边缘计算的资源预测方法，其特征在于，所述方法包括：

获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值；

按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间；

根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布。

2.根据权利要求1所述的基于边缘计算的资源预测方法，其特征在于，所述资源状态数据包括CPU、RAM实时使用率、所述待处理任务类型、所述待处理任务输入参数的长度、带宽以及执行时间。

3.根据权利要求1所述的基于边缘计算的资源预测方法，其特征在于，所述获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值，包括：

采用资源消耗的均值作为预测参数；

建立一步预测模型，将所述资源状态数据作为输入进行一步预测得到待处理任务所需的资源预测值。

4.根据权利要求1所述的基于边缘计算的资源预测方法，其特征在于，所述获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值，包括：

建立输入输出对应映射关系F:(id,α,β,B,l,t_e)→(U_c,U_r,t_e)；传输时间的计算表达为：

其中N_t表示传输噪声，

使用资源预测值为中间层参数，资源预测值y_i计算表述为：

其中，t_end-t_start＝t_e，N_j表示设备CPU和内存的抖动噪声，F_j对应于资源j在执行时间内的变化曲线关系式，当已知任务名称，预测计算表达式转换为：

F_j(t,α,l,id)＝F_j(t,α,λ(l,id))；

其中λ表示计算复杂度函数，采用资源消耗的均值替代资源状态关系式来进行资源值的预测，具体过程为：

其中为单位时间内的资源消耗的均值，为资源预测值，当执行参数转换后，训练输入和输出则转变为在一步预测完成后，需要根据资源预测误差ΔF_j进行校正，则调整后的预测值资源的使用量服从高斯分布 为训练集的资源消耗的均值，最优预测值可给定为：

则资源预测的误差和方差为

Δy_j＝g(t_e)

最后的预测方程为当满足E(ΔF_j)＝0时，则预测值为无偏估计，估计值的期望方差表达如下：

5.根据权利要求4所述的基于边缘计算的资源预测方法，其特征在于，所述按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间，包括：

完成一步资源预测，利用资源使用量进行预测得到预测执行时间，计算公式为；

t₀＝t_x+t_t+N_t；

其中N_t代表传输噪声，t_x相关于

Δt＝ΔVG(Y)；

其中，为预测时间，Δt为预测时间误差，t_x为实时执行时间，ΔV为校正权重向量。

6.根据权利要求5所述的基于边缘计算的资源预测方法，其特征在于，所述根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布，包括：

完成一步预测和时间预测，获取时间误差Δt并判断所述时间误差Δt是否在期望值内，若未达到期望值则进行反向传播同时更新预测模型的权重向量，对所述资源预测值进行矫正，所述资源预测值为：

更新过程的计算公式为：

7.一种基于边缘计算的资源预测系统，其特征在于，所述系统包括：

第一预测单元，用于获取节点的资源状态数据作为输入进行预测得到待处理任务所需的资源预测值；

第二预测单元，用于按照所述资源预测值在给定分配资源的环境下对所述待处理任务的执行时间进行预测得到预测执行时间；

反馈单元，用于根据所述预测执行时间确定时间误差并当所述时间误差符合预设条件时对所述资源预测值进行反馈以使得所述资源预测值的概率分布服从高斯分布。

8.根据权利要求7所述的基于边缘计算的资源预测系统，其特征在于，所述资源状态数据包括CPU、RAM实时使用率、所述待处理任务类型、所述待处理任务输入参数的长度、带宽以及执行时间。

9.根据权利要求7所述的基于边缘计算的资源预测系统，其特征在于，所述第一预测单元，具体用于：

采用资源消耗的均值作为预测参数；

建立一步预测模型，将所述资源状态数据作为输入进行一步预测得到待处理任务所需的资源预测值。