CN111932027A - 一种融合边缘设施的云服务综合调度优化系统及方法 - Google Patents

Abstract

本发明提供了一种融合边缘设施的云服务综合调度优化系统及方法，属于通信技术领域，包括终端设备、与所述终端设备连接的边缘服务器以及分别与所述边缘服务器连接的边缘资源设备和云端服务器。本发明通过模式识别从终端设施上传的任务中提取各类特征为依据进行分类，之后通过运行态数据特征进行强化学习机制修正分类，实现调度，在运行任务时，边缘服务器对边缘资源保持控制和监控，进行资源分配、调度，从而充分利用系统资源，优化系统效率，有效地减少核心网络带宽负荷，提高系统整体资源使用率，提升任务执行效率，并且通过边缘计算设备、技术弥补云计算系统中心化导致的无法满足时延要求的任务。

Description

一种融合边缘设施的云服务综合调度优化系统及方法

技术领域

本发明属于通信技术领域，尤其涉及一种融合边缘设施的云服务综合调度优化系统及方法。

背景技术

随着物联网、5G通信和无线网络等技术的飞速发展，网络边缘接入的设备数量快速增长，网络边缘设备产生的数据也呈现出爆炸式增长的趋势。据思科预测，2020年连接到网络的无线设备数量将超过500亿台，据IDC(Internet Data Center)预测，2020年全球数据总量也将超过40ZB。在这种情形下，以云计算模型为核心的集中式处理方式将无法适应边缘数据爆炸式增长的趋势。

云计算是实行边缘计算的基础构成框架，之后所提出的边缘计算以及机器学习的调度方式都是在云计算有所欠缺的地方进行弥补。云计算的主要技术支撑为虚拟化技术、分布式技术和网络存储技术，虚拟化技术是在云计算环境中部署虚拟化实例的主要手段，通过每个虚拟机在宿主机上允许其OS，与主机共享底层CPU、存储和网络等资源，从而实现实例级的隔离，传统的云平台就是在基础设施服务器以及存储设备等硬件资源的基础上，通过向用户提供虚拟机实现托管化、弹性化的算力服务，云计算的出现解决了传统软件功能丰富的同时需求越来越复杂、对算力要求越来越高而给开发者、公司、企业等带来的问题，通过将硬件设施部署到云端，通过IaaS、PaaS以及SaaS三种不同的基础方式提供给有需求的人群，从而实现提供弹性和按需收费的算力提供服务。通过利用云资源，将计算任务或项目需求部署到云端，可以有效减少对于硬件等固定资产以及其运营成本的开销，这也是云计算日渐兴起的重要原因之一，虽然云计算使IT基础设施的架构空前集中，提升了资源的利用效率。但正在到来的5G通信、物联网、人工智能等技术为代表的新一代信息技术，在催生新的巨大市场机遇的同时，也将使传统云计算面临高并发下的源站压力和带宽压力、以及存储、延迟等方面的挑战。物联网、人工智能等技术的兴起使得未来高并发可能成为常态，对源站造成极大压力，也对带宽和存储提出挑战。

针对实时监控、VR/AR的转播、校园等密集地、边缘CDN进行本地分流的服务提供，可以专门为移动网络提供；通过移动数据网络提供底层信息(如位置)提供室内定位、车联网的数据服务；针对QoS的业务优化，例如通过MEC server对直播的视频流提供视频编排的服务，减少终端设备和核心网络的计算负荷，因为视频流在本地采集之后直接通过MEC处理后提供给接入网从而提供给用户，避免上传到(视频流提供方的)云服务器上进行一次传输，也降低了云服务器的计算压力，同时随着TPU的发展和完善，在边缘计算设施上进行简略的人工智能计算有了可靠的技术基础。随着云平台的拓展，硬件层面上的异构性和使用效率成为了不考虑的问题，由于云平台面临的任务日益复杂，如何高效率得调用可以利用的资源便成为了一个亟待解决的事务。

发明内容

针对现有技术中的上述不足，本发明提供的一种融合边缘设施的云服务综合调度优化系统及方法，解决了现有技术中如何高效率调用可利用资源的问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种融合边缘设施的云服务综合调度优化系统，包括终端设备、与所述终端设备连接的边缘服务器以及分别与所述边缘服务器连接的若干个边缘资源设备和云端服务器；

所述终端设备，用于通过提交任务数据至云端服务器触发边缘服务器的调度行为，并分别提取所述任务数据与补充的任务数据的初始特征向量，并融合提取的初始特征向量得到最终的特征向量；

所述边缘服务器，用于根据最终的特征向量对任务进行分类，并利用DAG调度图对不同的任务类别进行子任务拆分处理，将所述子任务下发至边缘资源设备或上传至云端服务器；

所述边缘资源设备，用于对不同的任务类别进行并行化运算；以及用于收集子任务的运行态特征及消耗量，并融合至提取的初始特征向量中，形成新的特征向量，并存储新的特征向量；

所述云端服务器，用于根据新的特征向量对边缘资源设备的资源用量进行Q-table建模，并利用Q-table模型的行为效益完成对云服务综合调度的优化。

进一步地，所述边缘资源设备包括计算资源单元、存储单元以及监控单元；

所述计算资源单元，用于对不同的任务类别进行并行化运算，以及用于收集子任务的运行态特征以及消耗量，并融合至初始特征向量中，形成新的特征向量；

所述存储单元，用于存储新的特征向量；

所述监控单元，用于监控当前边缘资源设备的资源用量。

基于上述系统，本发明还提供了一种融合边缘设施的云服务综合调度优化方法，包括以下步骤：

S1、通过终端设备提交任务数据至云端服务器触发边缘服务器的调度行为；

S2、利用边缘服务器在数据历史库中对所述任务数据进行检索，判断是否存在相同的任务数据，若是，则预先调用对应的历史调度信息作为补充的任务数据，并进入步骤S3，否则，直接进入步骤S3；

S3、由边缘资源设备在边缘服务器上进行注册，并利用边缘服务器对边缘资源设备进行监控；

S4、分别提取所述任务数据与补充的任务数据的初始特征向量，并融合提取的初始特征向量得到最终的特征向量；

S5、利用机器学习算法对所述最终的特征向量进行聚类分析，并根据分析结果得到不同的任务类别；

S6、利用DAG调度图对所述不同的任务类别进行子任务拆分处理，并将子任务按照分配的方式运行；

S7、预测子任务的消耗量，并利用边缘服务器对子任务的消耗量进行监控和反馈；

S8、根据子任务的消耗量获取子任务的运行态特征，并将子任务的运行态特征以及消耗量融合至提取的初始特征向量中，形成新的特征向量；

S9、根据所述新的特征向量对边缘资源设备的资源用量进行Q-table建模；

S10、判断Q-table模型的行为效益是否低于预设的阈值，若是，则进入步骤S11，否则，结束流程，完成对云服务综合调度的优化；

S11、重新触发边缘服务器的调度，并利用Q-table模型分配任务类别，更新边缘资源设备的资源用量，判断是否有下一个子任务的拆分，若是，则返回步骤S6，否则，结束流程，完成对云服务综合调度的优化。

进一步地，所述步骤S4中任务数据的初始特征向量的表达式如下：

F_i＝{f₁,f₂,....f_n}

其中，F_i表示任务数据的初始特征向量，f_n表示当前特征向量的第n个特征；

所述最终的特征向量的表达式如下：

其中，F_i ^*表示最终的特征向量，F_hi表示补充任务数据的特征向量，embedding(·)表示特征融合，

表示当前特征向量的第m个特征。

再进一步地，所述步骤S5包括以下步骤：

S501、设最终的特征向量为样本点，并随机选择K个样本点作为n个类别的中心点；

S502、将距离μ_j最近的样本点划入μ_j对应的类别中，其中，μ_j表示当前任务由第一次机器学习分配到的类别簇中心；

S503、利用机器学习算法计算得到当前任务节点与每个类别簇中心之间的欧式距离度量；

S504、将所述欧式距离度量中最小的类别簇中心作为当前迭代划分的任务类别；

S505、根据所述任务类别，判断每个任务类别中的样本点是否均重新计算簇中心，若是，则完成聚类分析，并进入步骤S506，否则，返回步骤S501；

S506、根据分析结果判断任务类别是否为第一任务类别，若是，则在边缘服务器上完成终端设备所提交的任务请求，并进入步骤S6，否则，进入步骤S507；

S507、判断任务类别是否为第二任务类别，若是，则结合边缘资源设备进行并行化运算，并进入步骤S6，否则，所述任务类别为第三任务类别，并将任务卸载至云端服务器，并进入步骤S6。

再进一步地，所述步骤S503中欧式距离度量的表达式如下：

其中，

表示欧式距离度量，f_n表示当前特征向量的第n个特征，F_i ^*表示最终特征向量，M_j表示当前任务由机器学习分配到的第j个聚类中心的向量表示，μ_n表示M_j的向量分量。

再进一步地，所述步骤S6包括以下步骤：

S601、根据所述不同的任务类别，利用DAG调度图表示的方法按照一个完整任务中各子任务之间的依赖关系对子任务进行拆分；

S602、将拆分后子任务发送至边缘服务器；

S603、利用边缘服务器将子任务分派至不同的边缘资源设备或其临近的边缘服务器，以及将超过边缘服务器负载的任务发送至云端服务器；

S604、分别利用边缘服务器、临近的边缘服务器以及云端服务器将前后耦合度低的子任务按照拆分并行化的方式进行处理，将前后耦合度高的子任务按照串行化的方式进行处理。

再进一步地，所述步骤S7中子任务的消耗量的表达式如下：

Consum Pred_i＝λConsum(M_j)+(1-λ)Consum(M_K)

其中，Consum Pred_i表示预测的子任务消耗量，M_j表示当前任务由机器学习分配到的第j个聚类中心的向量表示，λ表示当前节点在K-Means表示空间内处于M_j与M_K两个节点之间的相对位置，M_K表示当前任务对应簇中心外欧式度量距离最近的簇中心，Consum(·)表示当前聚类中心对应的资源消耗量。

再进一步地，所述步骤S10中Q-table模型的行为效益的表达式如下：

Q(S,A)←(1-a)Q(S,A)+a(R(S,A)+γmax Q(S',a))

R(S,A)＝||Consum_i-Consum Pred_i||₂

其中，Q(S,A)表示当前状态基于Q-table模型的效益计算函数，a表示学习的速率，R(S,A)表示当前状态下当前行为的效益，γ表示折扣因子，max Q(S',a)表示之前类似状态下选择的效益，Consum Pred_i表示子任务的消耗量，Consum_i表示新的特征向量。

本发明的有益效果是：

(1)本发明提供了一种通过模式识别从终端设施上传的任务中提取各类特征为依据进行分类，之后通过运行态数据特征进行强化学习机制修正分类，实现调度，在运行任务时，边缘服务器对边缘资源保持控制和监控，进行资源分配、调度，从而充分利用系统资源，优化系统效率。本发明通过以上设计可以减少核心网络带宽负荷，提高系统整体资源使用率，提升任务执行效率，并且通过边缘计算设备、技术弥补云计算系统中心化导致的无法满足时延要求的任务。

(2)本发明在终端提交任务的同时，需要保持边缘资源节点在边缘服务器上进行注册，保持边缘服务器对于边缘资源的监控，以便实施调度。

(3)为了能够更好得将提交的任务数据用于进行模型训练和模式识别，需要将之前收集到的信息进行向量化，将原特征继续特征编码进行降维，降低算力消耗，加快前向传播速度，通过聚类对算力消耗、计算资源要求和时延要求类似的任务实施相类的调度策略，从而提升整体的多任务调度效率。

(4)本发明通过聚类分析对任务进行分类，并通过强化学习的方式进行修正分类及调度信息，以及通过任务类别进行DAG调度规划，适配不同资源的平台调度。

附图说明

图1为本发明的系统结构示意图。

图2为本发明的方法流程图。

图3为本实施例中对不同的任务类别进行子任务拆分处理的示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发明中出现的缩略语和关键术语定义进行说明：

Q-table：存储不同行为选择所需要的代价或获得的收益的表格。

Q-learning算法：根据Q-table中存储的代价或获得的收益进行抉择的算法。

VNF：边缘资源节点上的虚拟化单元，用于控制资源用量。

DAG：调度图。

实施例1

如图1所示，本发明提供了一种融合边缘设施的云服务综合调度优化系统，包括终端设备、与所述终端设备连接的边缘服务器以及分别与所述边缘服务器连接的若干个边缘资源设备和云端服务器；终端设备，用于通过提交任务数据至云端服务器触发边缘服务器的调度行为，并分别提取所述任务数据与补充的任务数据的初始特征向量，并融合提取的初始特征向量得到最终的特征向量；边缘服务器，用于根据最终的特征向量对任务进行分类，并利用DAG调度图对不同的任务类别进行子任务拆分处理，将所述子任务下发至边缘资源设备或上传至云端服务器；边缘资源设备，用于对不同的任务类别进行并行化运算；以及用于收集子任务的运行态特征及消耗量，并融合至提取的初始特征向量中，形成新的特征向量，并存储新的特征向量；云端服务器，用于根据新的特征向量对边缘资源设备的资源用量进行Q-table建模，并利用Q-table模型的行为效益完成对云服务综合调度的优化。

本实施例中，边缘资源设备包括计算资源单元、存储单元以及监控单元；计算资源单元，用于对不同的任务类别进行并行化运算；以及用于收集子任务的运行态特征及消耗量，并融合至初始特征向量中，形成新的特征向量，并存储新的特征向量；存储单元，用于存储新的特征向量；监控单元，用于监控当前边缘资源设备的资源用量。

本实施例中，当一个任务提交至云端服务器进行处理时，在终端设备上收集任务相关信息以便提取特征信息后，例如上传任务设备的基本信息等，在一个应用租用服务器设备的时候需要估计其大致的资源用量，如占用的内存上限，以提供至边缘服务器进行模式识别，之后与任务数据、任务代码等一同发送至边缘服务器。同时，边缘服务器需要保持边缘资源设备在服务器上进行注册资源用量和资源类型，比如在边缘设备中可能存在不同的资源提供方，x86或bitstream的类型，具体由服务器的网关模块提供接口API，以实现对全局资源的管理。边缘服务器获取到任务信息之后，调用训练好的机器学习模型对任务利用聚类分析进行分类，分类之后根据任务特性，将任务拆分为多个DAG表示的子任务从而实现并行化，之后为每个子任务分配相应的VNF控制资源用量，最后通过根据DAG对任务进行分派。在任务下放到边缘资源设备之后，资源设备需要每个周期都在边缘服务器上更新资源用量，保持边缘服务器对于系统资源的实时监控，保证对于其他子任务的调度需求。当一个任务结束之后，需要将占用的资源释放并在边缘服务器上注销任务返还资源。

本实施例中，本系统用于刻画不同设备间的网络距离。终端设备将任务数据和获取的设备信息上传到边缘服务器上进行任务分类和分解，之后通过服务器将任务分解成的子任务下放到边缘资源设备进行处理或上传到云端服务器进行处理。具体而言可以将边缘资源大致分为两类计算资源和存储资源，和用于监控当前边缘资源设备资源用量的资源监控模块。在用户有任务需要上传到云端进行时，首先需要在收集任务基础特征，例如任务发起方类型，任务数据规模，任务申请的服务类型等，之后通过embedding压缩向量空间，避免占用过多资源。将任务数据和执行命令上传到边缘服务器之后，具体可以申请的服务应用类型以及对应的资源消耗，在用户端明确任务类型时，提供在特征向量中提供对应的特征参数，例如，在车联网或自动驾驶的传感器数据融合之后需要进行云端服务器处理时，在用户车辆端的网关接口将本地的设备类型、申请的服务类型进行描述，之后在边缘服务器将这些基础信息通过embedding映射为特征向量。

实施例2

如图2所示，基于上述系统，本发明还提供了一种融合边缘设施的云服务综合调度优化方法，其实现方法如下：

S1、通过终端设备提交任务数据至云端服务器，触发边缘服务器的调度行为；

本实施例中，当有终端设备需要提交任务到云端服务器进行处理时，触发边缘服务器的调度行为，终端设备进入提交的任务和任务数据至边缘服务器的状态。

S2、利用边缘服务器在数据历史库中对任务数据进行检索，判断是否存在相同的任务数据，若是，则预先调用对应的历史调度信息作为补充的任务数据，并进入步骤S3，否则，直接进入步骤S3；

本实施例中，在终端进入准备状态之后，终端设备收集任务相关信息为之后进行的特征分析提供更多的数据特征，同时边缘服务器通过步骤S1中提交的信息中历史库中进行检索，如果存在相同的任务，则预先调用对应的历史调度信息作为任务数据补充。

S3、由边缘资源设备在边缘服务器上进行注册，并利用边缘服务器对边缘资源设备进行监控；

本实施例中，在终端提交任务的同时，需要保持边缘资源节点在边缘服务器上进行注册，保持边缘服务器对于边缘资源的监控，以便实施调度。

S4、分别提取所述任务数据与补充的任务数据的初始特征向量，并融合提取的初始特征向量得到最终的特征向量；

本实施例中，为了能够更好得将提交的任务数据用于进行模型训练和模式识别，需要将之前收集到的信息进行向量化，设从实体上提取到的特征数据表示为F_i＝{F₁,F₂...F_j...F_n},T_i为终端设备需要提交至云端进行的第i个任务，F_i表示用于刻画任务T_i的特征向量。在可获取的设备特征较多，特征向量F_i维数较高，边缘计算设施负载较大的情况下，通过加入embedding，将原特征继续特征编码为最终的特征向量

进行降维，降低算力消耗，加快前向传播速度。通过聚类对算力消耗、计算资源要求和时延要求类似的任务实施相类的调度策略，从而提升整体的多任务调度效率，并且通过分配VNF来控制单个任务可获取的资源总量。

S5、利用机器学习算法对最终的特征向量进行聚类分析，并根据分析结果得到不同的任务类别，其实现方法如下：

S501、设最终的特征向量为样本点，并随机选择K个样本点作为n个类别的中心点；

S502、将距离μ_j最近的样本点划入μ_j对应的类别中，其中，μ_j表示当前任务由第一次机器学习分配到的类别簇中心；

S503、利用机器学习算法计算得到当前任务节点与每个类别簇中心之间的欧式距离度量；

S504、将所述欧式距离度量中最小的类别簇中心作为当前迭代划分的任务类别；

S505、根据所述任务类别，判断每个任务类别中的样本点是否均重新计算簇中心，若是，则完成聚类分析，并进入步骤S506，否则，返回步骤S501；

S506、根据分析结果判断任务类别是否为第一任务类别，若是，则在边缘服务器上完成终端设备所提交的任务请求，并进入步骤S6，否则，进入步骤S507；

S507、判断任务类别是否为第二任务类别，若是，则结合边缘资源设备进行并行化运算，并进入步骤S6，否则，所述任务类别为第三任务类别，并将任务卸载至云端服务器，并进入步骤S6。

本实施例中，使用K-Means机器学习方法在无人为标注的数据下，通过任务T_i的特征向量F_i ^*进行聚类分析。在初始化聚类模型是，随机选择出K个样本点F_i ^*作为n个类别的中心点{μ₁,μ₂,...,μ_n}，并将距离μ_j最近的样本点划入μ_j对应的类别，之后根据：

其中，

表示欧式距离度量，f_n表示当前特征向量的第n个特征，F_i ^*表示最终特征向量，M_j表示当前任务由机器学习分配到的第j个聚类中心的向量表示，μ_n表示M_j的向量分量。

本实施例中，将距离度量最小的簇中心作为当前迭代划分的任务类别C_i，反复迭代直至每个类别簇中的样本点重新计算簇中心直至收敛。

S6、利用DAG调度图表示的方法对不同的任务类别进行子任务拆分处理，并将前后耦合度低的子任务进行拆分并行化处理，将前后耦合度高的子任务按照串行化的方式进行处理，其实现方法如下：

S601、根据所述不同的任务类别，利用DAG调度图表示的方法按照一个完整任务中各子任务之间的依赖关系对子任务进行拆分；

S602、将拆分后子任务发送至边缘服务器；

S603、利用边缘服务器将子任务分派至不同的边缘资源设备或其临近的边缘服务器，以及将超过边缘服务器负载的任务发送至云端服务器；

S604、分别利用边缘服务器、临近的边缘服务器以及云端服务器将前后耦合度低的子任务按照拆分并行化的方式进行处理，将前后耦合度高的子任务按照串行化的方式进行处理。

本实施例中，根据任务对于资源的需求总量和种类划分出不同任务的类别，主要可以分为三个类别：第一任务类别(轻量任务)、第二任务类别(适度任务)以及第三任务类别(重度任务)。轻量任务指对资源消耗量较小、结构较为简单的任务，倾向于直接于边缘服务器进行运行，避免进行子任务拆分降低效率。适度任务指对资源消耗有一定需求但是不超过边缘资源节点承载能力对任务，这种类型的任务需要将其进行DAG拆分之后再按照子任务并行化的方式在边缘资源节点上运行。重度任务指根据分类信息判别的所需要的资源超出边缘资源节点总和的任务，由边缘服务器直接推送至云端运行。针对适度类型的任务，将其按照DAG表示的方式进行子任务拆分，并将前后耦合较弱的任务进行拆分并行化，而前后关联较强的子任务，则按照串行化的方式进行调度，具体的耦合强弱由子任务数据间的依赖关系决定，数据间存在宽依赖则认为该任务耦合性强。

本实施例中，在边缘资源设备CPU或TPU等算力设备支撑下，使用K-Means的非监督聚类方法对任务进行分类成为可能。设有n台边缘服务器ES统筹管理m个边缘设备节点ED_i可以为原任务T划分而成的子任务集合{T₁、T₂……T_i}提供边缘计算资源，RS_nT_i表示将子任务T_i分配至边缘服务器ES_m，从而通过最近的边缘服务器来进行调度，而将T＝{T₁、T₂……T_i}的服务组合路径表示为Crs＝{RSnTi}。在对任务进行分解之后，按照尽量并行化的方式将子任务T_i部署到对应的资源节点或VNF上，满足不同子任务的资源需求，同时也限制一些任务的内存、CPU或其他计算资源的使用上限。

本实施例中，图3表示不同的资源服务器所管理的资源节点结构：ES₁边缘服务器上管理了三个边缘资源设备ED₁，ED₂以及ED₃，而在ES₂、ES₃和ES₄三个边缘服务器也可以组成集群协同工作。每个边缘服务器ES_i可以单独接受终端设备上传的任务T，并且将T划分而成的子任务集合{T₁、T₂……T_i}按照划分好的DAG分派到不同的边缘资源节点ED_i上或者临近的边缘服务器ES_j，图中Data Center表示云端服务器的数据中心，用于处理超过边缘服务器负载的任务请求。

S7、利用子任务预测边缘资源设备的资源用量，并利用边缘服务器对子任务的消耗量进行监控和反馈；

本实施例中，DAG表示的子任务通过边缘服务器在边缘资源设备上分配VNF的形式来获取资源，保持边缘服务器对任务消耗量的监控和反馈，将任务拆分为DAG表示的子任务之后，将部分子任务实现按照分配的方式运行，并在边缘服务器上注册任务心跳信息，保持对任务运行状态和负载节点的实时回馈。收敛后按照代价预估公式预测：

Consum Pred_i＝λConsum(M_j)+(1-λ)Consum(M_K)

其中，Consum Pred_i表示预测的子任务消耗量，M_j表示当前任务由机器学习分配到的第j个聚类中心的向量表示，λ表示当前节点在K-Means表示空间内处于M_j与M_K两个节点之间的相对位置，M_K表示当前任务对应簇中心外欧式度量距离最近的簇中心，Consum(·)表示当前聚类中心对应的资源消耗量。

S8、根据子任务的消耗量获取子任务的运行态特征，并将子任务的运行态特征以及消耗量融合至提取的初始特征向量中，形成新的特征向量；

本实施例中，运行完第i组子任务之后，通过收集任务数据运行态特征Fri和实际运行时资源消耗量Consumi，并融合到编码特征F_i之中，组成新的特征向量

S9、根据所述新的特征向量对边缘资源设备的资源用量进行Q-table建模；

S10、判断Q-table模型的行为效益是否低于预设的阈值，若是，则进入步骤S11，否则，结束流程，完成对云服务综合调度的优化；

S11、重新触发边缘服务器的调度，并根据Q-table模型分配任务类别，更新边缘资源设备的资源用量，进行下一个子任务的拆分，并返回步骤S6。

本实施例中，对子任务能够获取的资源设备DAG图进行Q-table建模表示。Q-table有三个列，如表1所示：当前节点的状态Tri表示，和可以采取的两个动作，而每一行代表当前的状态和当前状态下对应可以采取的行动可以获得的效益，所有表中的效益初始值被设置为0。

表1

Q-table每一步动作有两个：(1)继续按照当前DAG调度图进行调度；(2)重新使用K-Means方法进行生成DAG调度图。根据Q-table选择效益最大的动作，获得动作a＝π(TRi)。

本实施例中，整个Q-learning阶段用作子任务运行后的任务规划调整获得，判断是否当前规划合适，如果当前行为效益R(S,A)低于事先设定的阈值，则触发重调度，根据Q-table选择行为效益最高的类别进行。Q-table模型的行为效益的表达式如下：

Q(S,A)←(1-a)Q(S,A)+a(R(S,A)+γmax Q(S',a))

R(S,A)＝||Consum_i-ConsumPred_i||₂

其中，Q(S,A)表示当前状态基于Q-table模型的效益计算函数，a表示学习的速率，R(S,A)表示当前状态下当前行为的效益，γ表示折扣因子，max Q(S',a)表示之前类似状态下选择的效益，Consum Pred_i表示预测的子任务消耗量，Consum_i表示实际运行时的资源消耗量。

本发明通过模式识别从终端设施上传的任务中提取各类特征为依据进行分类，之后通过运行态数据特征进行强化学习机制修正分类，实现调度，在运行任务时，边缘服务器对边缘资源设备保持控制和监控，进行资源分配、调度，本发明通过聚类分析对任务进行分类，以及通过强化学习的方式进行修正分类及调度信息，并通过任务类别进行DAG调度规划，适配不同资源的平台调度。本发明通过以上设计，可以有效地减少核心网络带宽负荷，提高系统整体资源使用率，提升任务执行效率，并且通过边缘计算设备、技术弥补云计算系统中心化导致的无法满足时延要求的任务。

Claims (9)

1.一种融合边缘设施的云服务综合调度优化系统，其特征在于，包括终端设备、与所述终端设备连接的边缘服务器以及分别与所述边缘服务器连接的若干个边缘资源设备和云端服务器；

所述终端设备，用于通过提交任务数据至云端服务器触发边缘服务器的调度行为，并分别提取所述任务数据与补充的任务数据的初始特征向量，并融合提取的初始特征向量得到最终的特征向量；

所述边缘服务器，用于根据最终的特征向量对任务进行分类，并利用DAG调度图对不同的任务类别进行子任务拆分处理，将所述子任务下发至边缘资源设备或上传至云端服务器；

所述边缘资源设备，用于对不同的任务类别进行并行化运算；以及用于收集子任务的运行态特征及消耗量，并融合至提取的初始特征向量中，形成新的特征向量，并存储新的特征向量；

所述云端服务器，用于根据新的特征向量对边缘资源设备的资源用量进行Q-table建模，并利用Q-table模型的行为效益完成对云服务综合调度的优化。

2.根据权利要求1所述的融合边缘设施的云服务综合调度优化系统，其特征在于，所述边缘资源设备包括计算资源单元、存储单元以及监控单元；

所述计算资源单元，用于对不同的任务类别进行并行化运算，以及用于收集子任务的运行态特征以及消耗量，并融合至初始特征向量中，形成新的特征向量；

所述存储单元，用于存储新的特征向量；

所述监控单元，用于监控当前边缘资源设备的资源用量。

3.一种融合边缘设施的云服务综合调度优化方法，其特征在于，包括以下步骤：

S1、通过终端设备提交任务数据至云端服务器触发边缘服务器的调度行为；

S2、利用边缘服务器在数据历史库中对所述任务数据进行检索，判断是否存在相同的任务数据，若是，则预先调用对应的历史调度信息作为补充的任务数据，并进入步骤S3，否则，直接进入步骤S3；

S3、由边缘资源设备在边缘服务器上进行注册，并利用边缘服务器对边缘资源设备进行监控；

S4、分别提取所述任务数据与补充的任务数据的初始特征向量，并融合提取的初始特征向量得到最终的特征向量；

S5、利用机器学习算法对所述最终的特征向量进行聚类分析，并根据分析结果得到不同的任务类别；

S6、利用DAG调度图对所述不同的任务类别进行子任务拆分处理，并将子任务按照不同的分配方式运行；

S7、预测子任务的消耗量，并利用边缘服务器对子任务的消耗量进行监控和反馈；

S8、根据子任务的消耗量获取子任务的运行态特征，并将子任务的运行态特征以及消耗量融合至提取的初始特征向量中，形成新的特征向量；

S9、根据所述新的特征向量对边缘资源设备的资源用量进行Q-table建模；

S10、判断Q-table模型的行为效益是否低于预设的阈值，若是，则进入步骤S11，否则，结束流程，完成对云服务综合调度的优化；

S11、重新触发边缘服务器的调度，并利用Q-table模型分配任务类别，更新边缘资源设备的资源用量，判断是否有下一个子任务的拆分，若是，则返回步骤S6，否则，结束流程，完成对云服务综合调度的优化。

4.根据权利要求3所述的融合边缘设施的云服务综合调度优化方法，其特征在于，所述步骤S4中任务数据的初始特征向量的表达式如下：

F_i＝{f₁,f₂,....f_n}

其中，F_i表示任务数据的初始特征向量，f_n表示当前特征向量的第n个特征；

所述最终的特征向量的表达式如下：

其中，F_i ^*表示最终的特征向量，F_hi表示补充任务数据的特征向量，embedding(·)表示特征融合，

表示当前特征向量的第m个特征。

5.根据权利要求3所述的融合边缘设施的云服务综合调度优化方法，其特征在于，所述步骤S5包括以下步骤：

S501、设最终的特征向量为样本点，并随机选择K个样本点作为n个类别的中心点；

S502、将距离μ_j最近的样本点划入μ_j对应的类别中，其中，μ_j表示当前任务由第一次机器学习分配到的类别簇中心；

S503、利用机器学习算法计算得到当前任务节点与每个类别簇中心之间的欧式距离度量；

S504、将所述欧式距离度量中最小的类别簇中心作为当前迭代划分的任务类别；

S505、根据所述任务类别，判断每个任务类别中的样本点是否均重新计算簇中心，若是，则完成聚类分析，并进入步骤S506，否则，返回步骤S501；

S506、根据分析结果判断任务类别是否为第一任务类别，若是，则在边缘服务器上完成终端设备所提交的任务请求，并进入步骤S6，否则，进入步骤S507；

S507、判断任务类别是否为第二任务类别，若是，则结合边缘资源设备进行并行化运算，并进入步骤S6，否则，所述任务类别为第三任务类别，并将任务卸载至云端服务器，并进入步骤S6。

6.根据权利要求5所述的融合边缘设施的云服务综合调度优化方法，其特征在于，所述步骤S503中欧式距离度量的表达式如下：

其中，Dist(F_i ^*,M_j)表示欧式距离度量，f_n表示当前特征向量的第n个特征，F_i ^*表示最终特征向量，M_j表示当前任务由机器学习分配到的第j个聚类中心的向量表示，μ_n表示M_j的向量分量。

7.根据权利要求3所述的融合边缘设施的云服务综合调度优化方法，其特征在于，所述步骤S6包括以下步骤：

S601、根据所述不同的任务类别，利用DAG调度图表示的方法按照一个完整任务中各子任务之间的依赖关系对子任务进行拆分；

S602、将拆分后子任务发送至边缘服务器；

S603、利用边缘服务器将子任务分派至不同的边缘资源设备或其临近的边缘服务器，以及将超过边缘服务器负载的任务发送至云端服务器；

S604、分别利用边缘服务器、临近的边缘服务器以及云端服务器将前后耦合度低的子任务按照拆分并行化的方式进行处理，将前后耦合度高的子任务按照串行化的方式进行处理。

8.根据权利要求3所述的融合边缘设施的云服务综合调度优化方法，其特征在于，所述步骤S7中预测子任务消耗量的表达式如下：

Consum Pred_i＝λConsum(M_j)+(1-λ)Consum(M_K)

其中，Consum Pred_i表示预测的子任务消耗量，M_j表示当前任务由机器学习分配到的第j个聚类中心的向量表示，λ表示当前节点在K-Means表示空间内处于M_j与M_K两个节点之间的相对位置，M_K表示当前任务对应簇中心外欧式度量距离最近的簇中心，Consum(·)表示当前聚类中心对应的资源消耗量。

9.根据权利要求3所述的融合边缘设施的云服务综合调度优化方法，其特征在于，所述步骤S10中Q-table模型的行为效益的表达式如下：

Q(S,A)←(1-a)Q(S,A)+a(R(S,A)+γmax Q(S',a))

R(S,A)＝||Consum_i-Consum Pred_i||₂

其中，Q(S,A)表示当前状态基于Q-table模型的效益计算函数，a表示学习的速率，R(S,A)表示当前状态下当前行为的效益，γ表示折扣因子，max Q(S',a)表示之前类似状态下选择的效益，Consum Pred_i表示预测的子任务消耗量，Consum_i表示实际运行时的资源消耗量。

Images