CN111191113B - 一种基于边缘计算环境的数据资源需求预测和调整方法 - Google Patents

Abstract

一种基于边缘计算环境的数据资源需求预测和调整方法，步骤为：步骤1，利用数据资源需求预测模块实现特定场景的资源预测，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；步骤2，利用数据预测算法，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；步骤3，利用损失参数，评估模板准确性，包括改变参数更新模板和废弃模板重新训练；步骤4，利用资源需求预测方法得到的若干个数据资源模板信息，使用相似度思想、专家经验系数、场景偏好系数等内容，对输出的模板资源数据做可信任度划分、场景偏好性调整和专家经验调整的修正；具有提高调整资源的数量和模板的准确度，可很大程度上解决任务处理的延时问题。

Description

一种基于边缘计算环境的数据资源需求预测和调整方法

技术领域

本发明涉及边缘计算虚拟资源配置技术领域，具体涉及一种基于虚拟资源状态的边缘计算资源预测及调整方法。

背景技术

随着信息技术的不断发展，各种物联网设备层出不群，终端设备的不断增加，也带来了数据量的不断增加和数据处理要求的不断提升，以云计算为核心的集中式大数据处理时代，其关键技术已经不能适应高效处理边缘设备产生数据的要求。边缘计算技术应运而生，通过建立边缘端，结合边云协同，构建云端—边缘端—终端三层体系，边缘计算将本应上传到云端计算的数据就近在边缘端分解，避免了数据传输的难题和网络传输的高时延，还有电力、隐私等问题。

边缘计算应用场景极其广泛，在网络信息种类不断发展提升、终端设备数据日新月异、网络传输能力不断提升的当下，从生活的各个方面，凡存在数据生产者和数据消费者的场景，就可以利用边缘计算来简化数据计算流程，优化数据处理方法，提升用户使用体验。由于边缘计算场景存在的灵活性和多变化移动性等特点，如果存在一种能提前预测到场景任务计算所需资源状态的方法，就可以为提前调度作准备，为边缘端数据计算节省相当一部分时间，综合考虑来说是合适的解决思路，可以为用户带来更佳的用户体验。

本发明提出的一种基于LSTM的数据预测及结合损失参数调节模型，利用相似度系数、专家经验参数、场景偏好系数等来调整的数据预测输出方法。

发明内容

为克服上述现有技术的不足，本发明的目的是提供一种基于边缘计算环境的数据资源需求预测和调整方法，具有提高调整资源的数量和模板的准确度，可解决任务处理的延时的特点。

为实现上述目的，本发明采用的技术方案是：一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，包括以下步骤：

步骤1，利用数据资源需求预测模块实现特定场景的资源预测，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；

步骤2，利用数据预测算法，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；

步骤3，利用损失参数，评估模板的准确性，包括改变参数更新模板和废弃模板重新训练；

步骤4，利用资源需求预测方法得到的若干个数据资源模板信息，使用相似度思想、专家经验系数、场景偏好系数等内容，对输出的模板资源数据做可信任度划分、场景偏好性调整和专家经验调整的修正。

所述的数据资源需求预测模块，根据边缘计算所需虚拟资源构建边缘资源度量模型，所需虚拟资源指边缘端正常处理任务时所需的物理和虚拟资源，包括：

计算处理器CPU资源RES_CPU；

图形处理器GPU资源RES_GPU；

边缘端存储资源RES_DISK；

边缘端网络带宽资源RES_BW。

所述的数据资源需求预测模块，针对边缘场景资源的前后延续性和强时间关联性，利用LSTM预测算法，依据待预测资源当前t时刻的资源状态以及该资源前n个时刻的资源状态x(t)，x(t-1)，……，x(t-n+1)，结合训练的LSTM模型，预测该资源未来t+1时刻的资源状况，得到相应场景所需的虚拟资源的下一刻状态m个预测结果，称为信息模板，C₁，C₂，……，C_m；

构建传统的LSTM模型，包含输入层，LSTM神经网络层，全连接层，输出层，每一个隐藏神经单元包括遗忘门(forget gate)、输入门(input gate)、输出门(output gate)，激活函数选择sigmod，对遗忘门进行如下操作

F_t＝sigmod(W_f[h_t-1,y_t]+b_f)

其中，W_f为遗忘门权重，b_f为遗忘门偏移量，将上一神经单元输出门的状态，h_t-1和当前的节点值y_t作为sigmoid函数的输入，F_t表示当前遗忘门的输出。

所述的数据资源需求预测模块，利用损失函数模块，得到损失参数σ，评估预测算法的适用程度，通常情况下，采用下面的损失函数评估模型:

其中，L代表损失函数，Ф(θ)代表惩罚项，

针对边缘计算场景数据的连续性，使用平方损失函数来估计损失，可以采用均方差MSE来估计：

当σ超过一定的值σ_certain时，对模型进行更新，调整模型参数，包括：

1)若σ>0.8,则废弃模型重新训练；

2)若0.8>σ>0.2,调整参数，更新模型；

3)若0.2>σ，继续使用，不改变模型原有状态

利用相似性检验方法，对数据资源需求预测模块得到的数据模板资源做后续适应性调整；

针对边缘场景涉及到的数值型的数据，调整皮尔逊相关系数公式，利用相似性系数来对数据模板的相似性进行度量，对于具有一定相似程度的同一场景不同时刻的资源数据，为了更好的衡量不同数据的相似程度，取数据的绝对值作度量，同时，采取专家经验系数θ_sim，对相似性问题作修正:

其中，为标准差，cov是协方差，

利用相似性算法，计算预测数据模板C₁和实际需求信息C_now的相似度系数ρ，设定相似度ρ大于某个特定值ρ_certain时，数据有价值，可以采用；

按顺序取ρ_i>ρ_certain的N个ρ₁，ρ₂，……，ρ_N与其对应的N个模板信息(C₁，C₂，……，C_n)，这N个模板即为相似度合格的可信任模板。

根据不同的场景，分析预测到的N个模板信息C₁，C₂，……，C_n，将场景划分为偏时间型，偏存储型，偏传输型三种类型，对每一种类型赋予不同的场景偏好系数I，来动态化的调节资源数量；

对于其中要用到的资源数量，根据C₁，C₂，……，C_n不同模板中预测到的资源数量，设定某个模板中特定的资源如下：

对于C₁中的CPU资源记为CPU_C1，C_N中的CPU资源记为CPU_CN，

对于C₁中的GPU资源记为GPU_G1，C_N中的GPU资源记为GPU_GN

对于C₁中的存储资源记为DISK_D1，C_N中的存储资源记为DISK_DN

对于C₁中的网络带宽资源记为BW_BW1，C_N中的网络带宽资源记为BW_BWN

对于确定的场景中，对预测出来N个不同的资源模板，利用上面求出的相似度系数来分配信任关系，综合资源的配给；

1)对于计算处理器CPU资源，最终所需资源记为RES_CPU

2)对于图形处理器GPU资源，最终所需资源记为RES_GPU

3)对于存储资源，最终所需资源记为RES_DISK

4)对于网络带宽资源，最终所需资源记为RES_BW

对场景所需的必要资源做出判断后，利用场景偏好系数分门别类地优化资源信息，这里针对不同的资源数值关系，做出场景种类的判定，如下：

第1，令

令

若PRES_CPU+PRES_GPU>0.7，则场景属于偏时间型场景

第2，令

若PRES_DISK>0.4，则场景属于偏存储型场景

第3，令

若PRES_BW>0.4，则场景属于偏传输型场景

针对不同的场景，设定场景偏好系数I，偏好系数包括I_CPU，I_GPU，I_DISK，I_BW，设定专家经验系数θ_res，所得偏好调整过的资源如下：

RES_I＝RES_CPU·I_GPU+RES_GPU·I_GPU+RES_DISK·I_DISK+RES_BW·I_BW

最后确定的资源为RES_certain＝RES_I+RES_I·θ_res

对于求出的最终资源RES_certain，判断与实际需求C_now的差别，对于缺少的部分资源，根据场景需求，现场调度补充。

与现有技术相比，本发明的有益效果是：

本发明由于采用了特异化双层LSTM提前预测，针对边缘计算场景中的富场景特质，结合用户的历史数据，迭代进行训练，导出相应的m个可用模板，具有预测用户端复杂多变场景资源的优点；同时，利用预测模板更新模板，设置损失参数更新及时调整预测模型，能使预测更实时精确。

本发明由于采用了皮尔逊相似度调整，将预测到的边缘场景资源进行可用性分析，利用相似度系数ρ，筛选场景资源模板，能显著提高预测模板的可用性；

本发明由于采用了专家经验系数θ_sim，场景偏好系数I，对于预测到的资源模板，设定不同的资源种类，分门别类的作场景资源优化，配合专家经验调整，具有预测细致，资源可用性好的优点。

边缘场景处理场景任务需要首先划定不同的资源池，然后才能利用相关虚拟资源对特定场景需求作处理，本发明的预先判断资源状态的方法，可以很大程度上解决任务处理的延时问题，为此边缘场景资源获取问题提供了一种通过数据预测然后适应性调整的解决方法。

附图说明

图1为本发明的场景预测流程图。

图2为本发明的预测模块更新流程图。

图3为本发明的预测模块损失参数调节更新图。

图4为本发明的相似性调整—相似度系数调整流程图。

图5为本发明的相似性调整—场景偏好系数调整流程图。

图6为本发明的整体预测框架图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实例，都属于本发明保护的范围。

本发明提供了一种基于边缘计算环境的数据资源需求预测和调整方法，如图1所示，针对边缘场景场景资源的前后延续性和强时间关联性，利用LSTM预测算法，读取边缘端该资源前n个时刻的资源状态x(t)，x(t-1)，……，x(t-n+1)；

为了消除各变量之间的不同量纲并提高模型训练效率，对每个数据做处理，进行数据归一化，将数据映射到(0,1)区间；

采用双层LSTM的神经网络模型，激活函数采用ReLU激活函数，损失函数用均方差MSE函数，优化器为Adam(自适应矩估计优化算法)，为防止过拟合问题，使用Dropout(丢弃正则化)方法来调整。因为模型训练存在随机性，网络初始参数设定、梯度下降法求解最优参数等不唯一，所以重复训练多次，并取结果的平均值。

将训练好的模型用于边缘计算场景中资源的预测，根据前n各时刻的资源变化，预测该场景未来t+1各时刻的资源状况，得到相应的m各信息模板C₁，C₂，……，C_m；

LSTM算法预测完成后，利用图2所示预测模块更新流程图，之后结合图3损失参数设置关系，判断损失参数σ与σ_certain的大小关系，可对模型进行优化优化：

若σ>0.8,则废弃模型重新训练；

若0.8>σ>0.2,调整参数，更新模型；

若0.2>σ，继续使用，不改变模型原有状态。

在对边缘场景的资源训练出LSTM模型作预测后，由于边缘场景的灵活性与移动性，很难对资源进行一次性准确的定性定量描述，所以利用结果适用性调整模块，对预测的资源模板结果进行微调，可以使预测结果的资源可利用性更好。

利用相似性检验方法，将得到的数据模板资源做后续适应性调整。针对边缘场景涉及到的数值型的数据，调整皮尔逊相关系数公式，利用相似性系数来对数据模板的相似性进行度量,为了更好的衡量不同数据的相似程度，取数据的绝对值作度量，同时，采取专家经验系数θ_sim，对相似性问题作修正,计算预测数据模板c₁和实际需求信息c_now的相似度系数ρ。

参照图4流程，按顺序取ρ_i>ρ_certain的N个ρ₁，ρ₂，……，ρ_N与其对应的N个模板信息(C₁，C₂，……，C_n)，这N个模板即为相似度过关的可信任模板。

另外的，因为场景不同引起的任务处理所需资源也不同，参照图5流程，针对每个特定的场景设定场景偏好，可以更好的对场景资源进行个性化预测。

根据不同的场景分析预测到的资源模板，将场景划分不同的三种类型，对每一种类型赋予不同的场景偏好系数I，来动态化的调节资源数量。

对于其中要用到的资源数量，根据C₁，C₂，……，C_n不同模板中预测到的资源数量，设定某个模板中特定的资源如下：

对于C₁中的CPU资源记为CPU_C1，C_n中的CPU资源记为CPU_CN；

对于C₁中的GPU资源记为GPU_G1，C_n中的GPU资源记为为GPU_GN；

对于C₁中的存储资源记为DISK_D1，C_n中的存储资源记为DISK_DN；

对于C₁中的网络带宽资源记为BW_BW1，C_n中的网络带宽资源记为BW_BWN。

在确定的场景中，对预测出来N个不同的资源模板，由于每个模板的相似性不同，对其的信任关系也需要异化。利用上面求出的相似度系数来分配信任关系，综合资源的配给，可以更好的利用预测结果得到所需信息。

对于计算处理器CPU资源，最终所需资源记为RES_CPU，利用相似度关系分配信息度，将相似性更高的模板利用的更彻底，相似度低一些的占比少一些。

对于图形处理器GPU资源，最终所需资源记为RES_GPU；

对于存储资源，最终所需资源记为RES_DISK；

对于网络带宽资源，最终所需资源记为RES_BW；

对场景所需的必要资源做出判断后，利用场景偏好系数分门别类的优化资源信息。这里针对不同的资源数值关系，做出场景的判定，如下：

令

令

若PRES_CPU+PRES_GPU>0.7，则场景属于偏时间型场景

令

若PRES_DISK>0.4，则场景属于偏存储型场景

令

若PRES_BW>0.4，则场景属于偏传输型场景

针对不同的场景，设定不同的场景偏好系数I，偏好系数包括I_CPU，I_GPU，I_DISK，I_BW，同时设定专家经验系数θ_res，调整资源如下：

RES_I＝RES_CPU·I_CPU+RES_GPU·I_GPU+RES_DISK·I_DISK+RES_BW·I_BW

本例中，对偏时间型场景，设定I_CPU＝1.3，I_GPU＝1.3，I_DISK＝1.2，I_BW＝1.2；

对偏存储型场景，设定I_CPU＝1.2，I_GPU＝1.2，I_DISK＝1.4，I_BW＝1.2；

对偏传输型场景，设定I_CPU＝1.2，I_GPU＝1.2，I_DISK＝1.2，I_BW＝1.4；

另外，设置专家经验系数θ_res＝0.1

最后确定的资源为RES_certain＝RES_I+RES_I·θ_res

对于求出的最终资源RES_certain，判断与实际需求C_now的差别，对于缺少的部分资源，根据场景需求，现场调度补充。

综上所述，参照图6流程，本发明有效解决了边缘计算多场景虚拟资源预测所面临问题，实现了一个资源预测调整的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质。

最后应当说明的是：以上具体实施方式仅用以说明本发明的技术方案而非对其限制，尽管参照上述实例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，利用数据资源需求预测模块实现特定场景的资源预测，所述的数据资源需求预测模块由LSTM模型实现，包括以下步骤：

步骤1，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；

步骤2，利用LSTM模型，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；

步骤3，利用损失参数，对LSTM模型的准确性做区分，包括改变参数更新模板和废弃模板重新训练；

步骤4，利用LSTM模型得到的若干个数据资源模板，使用相似度思想、专家经验系数、场景偏好系数内容，对输出的数据资源模板做可信任度划分、场景偏好性调整和专家经验调整的修正；

利用相似性检验方法，对数据资源需求预测模块得到的数据资源模板做后续适应性调整；

针对边缘场景涉及到的数值型的数据，特异化皮尔逊相关系数公式，利用相似性系数来对数据模板的相似性进行度量，对于同一场景不同时刻的资源数据，为了更好的衡量不同数据的相似程度，取数据的绝对值作度量，同时，采取专家经验系数θ_sim，对相似性问题作修正:

其中，为标准差，cov是协方差，/>为时间状态为t时模板i的资源情况，E为期望，即随机变量平均值，/>为时间状态为t+n时模板i的资源情况，

利用相似性算法，计算预测数据模板Ci和实际需求信息Cnow的相似度系数ρ_i，i＝1,2，……，m；

按顺序取ρi>ρcertain的N个ρ₁，ρ₂，……，ρ_N对应的N个数据模板C₁，C₂，……，C_N，这N个模板即为相似度合格的可信任模板，ρ_i为存在N个模板时，i＝1，2，3，……N时预测数据模板C₁和实际需求信息C_now的相似度系数ρ，C_N为，当按顺序取ρ_i>ρ_certain的N个ρ₁，ρ₂，……，ρ_N时，产生的对应的N个预测数据模板Ci；

根据不同的场景，分析所述N个可信任模板C₁，C₂，……，C_N，将场景划分为偏时间型，偏存储型，偏传输型三种类型，对每一种类型赋予不同的场景偏好系数I，来动态化的调节资源数量；

对于其中要用到的资源数量，根据C₁，C₂，……，C_N不同模板中预测到的资源数量，设定C₁，C₂，……，C_N模板中特定的资源如下：

对于C₁中的CPU资源数量记为CPU_C1，……，C_N中的CPU资源数量记为CPU_CN，

对于C₁中的GPU资源数量记为GPU_G1，……，C_N中的GPU资源数量记为GPU_GN，

对于C₁中的存储资源数量记为DISK_D1，……，C_N中的存储资源数量记为DISK_DN，

对于C₁中的网络带宽资源数量记为BW_BW1，……，C_N中的网络带宽资源数量记为BW_BWN，

对于确定的场景中，对预测出来N个不同的数据资源模板，利用上面求出的相似度系数来分配信任关系，综合资源的配给；

1)对于计算处理器CPU资源，最终所需资源记为RES_CPU

2)对于图形处理器GPU资源，最终所需资源记为RES_GPU

3)对于存储资源，最终所需资源记为RES_DISK

4)对于网络带宽资源，最终所需资源记为RES_BW

对场景所需的必要资源做出判断后，利用场景偏好系数分门别类的优化资源信息，这里针对不同的资源数值关系，做出场景种类的判定，包括：

第1，令

令

若PRES_CPU+PRES_GPU>0.7，则场景属于偏时间型场景

第2，令

若PRES_DISK>0.4，则场景属于偏存储型场景

第3，令

若PRES_BW>0.4，则场景属于偏传输型场景

针对不同的场景，设定场景偏好系数I，偏好系数包括I_CPU，I_GPU，I_DISK，I_BW，设定专家经验系数θ_res，所得偏好调整过的资源如下：

RES_I＝RES_CPU·I_CPU+RES_GPU·I_GPU+RES_DISK·I_DISK+RES_BW·I_BW

最后确定的资源为RES_certain＝RES_I+RES_I·θ_res，对于求出的最终资源RES_certain，判断与实际需求信息C_now的差别，对于缺少的部分资源，根据场景需求，现场调度补充。

2.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，所述的数据资源需求预测模块，根据边缘计算所需虚拟资源构建边缘资源度量模型，所需虚拟资源指边缘端正常处理任务时所需的物理和虚拟资源，包括：

计算处理器CPU资源RES_CPU；

图形处理器GPU资源RES_GPU；

边缘端存储资源RES_DISK；

边缘端网络带宽资源RES_BW。

3.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，所述的数据资源需求预测模块，针对边缘场景资源的前后延续性和强时间关联性，利用LSTM模型，依据待预测资源当前t时刻的资源状态以及该资源前n个时刻的资源状态x(t)，x(t-1)，……，x(t-n+1)，结合训练的LSTM模型，预测该资源未来t+1时刻的资源状况，得到相应场景所需的虚拟资源的下一刻状态m个预测结果，称为数据资源模板，C₁，C₂，……，C_m；

构建传统的LSTM模型，包含输入层，LSTM神经网络层，全连接层，输出层，每一个隐藏神经单元包括遗忘门(forget gate)、输入门(input gate)、输出门(output gate)，激活函数选择sigmod，对遗忘门进行如下操作

F_t＝sigmod(W_f[h_t-1,y_t]+b_f)

其中，W_f为遗忘门权重，b_f为遗忘门偏移量，将上一神经单元输出门的状态h_t-1和当前的节点值y_t作为sigmoid函数的输入，F_t表示当前遗忘门的输出。

4.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，所述的数据资源需求预测模块，利用损失函数模块，得到损失参数σ，评估预测算法的适用程度，采用下面的损失函数评估模型:

其中，L代表损失函数，Ф(θ)代表惩罚项，损失函数评估模型中N为该资源的n个时刻，yi即资源当前值，f(xi；θi)为LSTM模型预测值，其中xi为i时刻的输入，θi是初始参数，按规则随机初始化，λФ(θ)为偏置项，理想状态是0，非理想状态自动计算，不专门置值，

针对边缘计算场景数据的连续性，使用平方损失函数来估计损失，采用均方根差RMSE来估计：

均方根差RMSE中X为当前状态，f(·)为预测状态，m即相应场景所需的虚拟资源的下一刻状态m个预测结果，f(x_i)为预测状态的预测值，

当σ超过一定的值σ_certain时，对模型进行更新，调整模型参数，包括：

1)若σ>0.8,则废弃模型重新训练；

2)若0.8>σ>0.2,调整参数，更新模型；

3)若0.2>σ，继续使用，不改变模型原有状态。