CN111181773A - 面向异构边云协同智能系统的多组件应用的延迟预测方法 - Google Patents

Abstract

本发明公开了面向异构边云协同智能系统的多组件应用的延迟预测方法，本发明提供了一种延迟敏感的多跳应用如何精确刻画每个组件的延迟和精确建模问题一个高可用的解决方案，选择延迟敏感的不同应用，基于对不同的应用刻划不同的流程，对数据集选取不同的机器学习方法和/或深度学习算法进行训练，并搭建基于容器的测试平台，生成边云协同的放置方案，将获取的数据放入数据库中，进行特征提取和预处理生成新的数据集，在延迟预测算法中进行训练，最终得到组件延迟的预测样本。给多条应用的延迟精确刻画提供了一个可靠的方案。

Description

面向异构边云协同智能系统的多组件应用的延迟预测方法

技术领域

本发明属于智能制造领域，具体涉及一种面向异构边云协同智能系统的多组件应用的延迟预测方法。

背景技术

目前，基于云计算的制造系统资源管理和任务调度已经有很多研究。智能制造的边缘计算资源管理和任务调度尚处于起步阶段。面对智能工厂流水线设备故障检测和状态分析中雾计算的延时敏感和高并发特性，有基于容器的任务调度算法，它将工业物联网数据分为高优先级和低优先级请求(高优先级请求是需要快速调度的紧急/紧急请求)，并采用两优先级排队模型调度任务。然而，这些只是针对单个组件应用程序的调度，在实际的智能制造场景中，应用程序通常由多个组件组成。针对多个组件的延迟，有人提出了一种改进的遗传算法方案，通过一种新的三层决策：考虑移动性和通信因素的油厂维修应用的任务卸载、路径规划和接入点选择，使资源消耗最小化。但延迟只考虑计算时间，没有考虑传输和排队时间。虽然有人给出了考虑用户位置和网络能力动态特性的多组件应用程序放置问题的混合整数线性规划模型，并给出了可证明的性能边界。但是，它们只考虑资源消耗，云上实时视觉应用的编排策略，并设计了一种考虑资源多样性的时延感知任务调度器。而不考虑应用程序延迟，这不适合对延迟敏感的服务最新的研究中对多个组件提出了一种异构边缘了充分考虑计算排队时间，采用n阶多项式曲线对计算时间进行建模。但不考虑通信的排队时间。总之，目前对延迟计算方法的研究还不完善。只考虑通信时间、计算时间和排队时间中的一项或多项，或根据排队理论计算排队时间。然而排队论无法精确建模多跳应用。

发明内容

本发明的目的在于克服上述不足，提供一种面向异构边云协同智能系统的多组件应用的延迟预测方法，该方法实现可一键部署并获取与系统中的设备和微服务相关的延迟样本，并对多跳应用的延迟精确建模。

为了达到上述目的，本发明包括以下步骤：

步骤一，选取若干公开数据集，对同一数据集采用不同的机器学习法和/或深度学习法进行训练之后，将训练结果再放入Adaboost中获得每个数据集的训练模型；

步骤二，将每个数据集的训练模型的流程进行容器化封装，生成微服务的放置方案，将微服务分别放置于操作系统架构和性能不同的边云设备中运行，获取结果；

步骤三，对获得结果进行分析特征提取之后，放入延迟预测算法中，来预测每个组件的延迟。

对数据集进行机器学习法进行训练的方法如下：

对数据集中的数据进行降维，采用对应的机器学习方法分别对数据集进行训练，得到的预测结果合并形成新的数据集，将新的数据集放入调参工具中，获得最优结果和训练模型，将最优结果和训练模型放入Adaboost进行训练，获得训练模型；

对数据集进行深度学习法进行训练的方法如下：

对数据集通过建立LSTM网络来对数据集进行训练，获得训练模型；

对数据集采用机器学习方法和深度学习方法进行训练的方法如下：

对数据集分别采用深度学习法cnn和机器学习法svm进行训练，对于训练结果采用集成学习法进行训练，获得训练模型。

步骤二中，对每个数据集的训练模型的流程进行容器化封装时，微服务间采用轻量级发布/订阅信息传输协议MQTT进行信息交互，微服务除了数据传输外，还传输每个数据包的订阅和发布时间。

步骤二中，将微服务分别放置于操作系统架构和性能不同的边云设备中运行的具体方法如下：

通过GNU Make工具来组织网络配置、远程执行程序和远程结果收集的过程来自动运行放置计划，对于收集到的结果按照应用中微服务所处在边还是云，来配置应该启动在云上还是边上的数据库，对于自动监控工具CRF，选择一个设备作为主节点，剩余设备为从节点，在主节点启动之后，会自动将镜像分发至从节点，然后启动监控容器，并输出网址。

步骤二中，将微服务分别放置于操作系统架构和性能不同的边云设备中运行的放置方案的生成方式如下：

首先提取容器运行过程中cpu、内存、上行带宽、下行带宽和存储信息，同时获取不同应用在不同的数据量下，延迟的变化趋势，分析每一个容器在运行中的最大内存、带宽，然后设置容器的资源限制，由延迟的变化趋势，提出新的放置方案，将不同的应用程序进行混合，然后生成放置方案。

对获得结果进行分析特征提取的方法如下：

根据应用中微服务的上游组件数目的不同，对应用进行划分，然后选取微服务的若干特征和上游组件的若干特征，共同组成特征提取的数据集，并剔除异常数据，将边云的数据根据应用上游组件的数目进行合并，合并之后完成提取。

步骤三中，通过延迟预测算法预测每个组件的延迟的具体方法如下：

将分析特征提取之后的数据分割为训练集和测试集，并将数据转换为xgboost自带的读取格式，使用hyperopt自带的函数定义参数空间，创建模型工厂与分数获取器，同时保存模型，调用hyperopt进行自动调参，同时通过返回值获取最佳模型的结果。

与现有技术相比，本发明提供了一种延迟敏感的多跳应用如何精确刻画每个组件的延迟和精确建模问题一个高可用的解决方案，选择延迟敏感的不同应用，基于对不同的应用刻划不同的流程，对数据集选取不同的机器学习方法和/或深度学习算法进行训练，并搭建基于容器的测试平台，生成边云协同的放置方案，将获取的数据放入数据库中，进行特征提取和预处理生成新的数据集，在延迟预测算法中进行训练，最终得到组件延迟的预测样本。给多条应用的延迟精确刻画提供了一个可靠的方案。

附图说明

图1为本发明的系结构图；

图2为本发明中软件工具版本图；

图3为本发明中三个应用的DAG图；

图4为本发明中CRF所获得的容器信息图；

图5为本发明中应用的资源及服务需求图；

图6为基于xgboost的延迟预测方法和Queue的对比图。

具体实施方式

下面结合附图对本发明作进一步说明。

参考图1，考虑到多条应用的延迟难以精确刻画，并且在延迟计算方面没有好的方法，所以提出基于机器学习的方法来预测每个组件的延迟，并开发了自动化工具CRF和LSF，一键部署并获取与系统中的设备和微服务相关的延迟样本，并通过可视化的界面来查询统计容器运行过程中的资源变化。具体步骤包括：

步骤一，选取阿里云、笔记本电脑、miniserver、Jetson Nano、Raspberry pi五个cpu以及内存性能不同的设备，统一部署实验环境，分别安装了docker、docker-compose、mqtt和ntp；

步骤二，选取三个延迟敏感的公开数据集采用不同的机器学习和深度学习算法进行训练，并将训练结果进行集成学习；

步骤三，将三个应用训练的整个流程封装至docker容器中，形成微服务。

步骤四，分别生成每个微服务在设备上的放置方案，并生成微服务的启动文件，分发至各个设备；

步骤五，设计自动化工具LSF，让其自动运行所有放置方案，并用自动化工具CRF来监控程序运行过程中容器的资源变化；

步骤六，分析容器运行过程中的资源变化和应用的延迟，在满足需求的情况下，重新生成新的放置计划和配置文件；

步骤七，使用自动化工具LSF自动运行新的放置计划，收集数据；

步骤八，对于收集到的数据，进行预处理和特征提取。

步骤九，对处理之后的数据，放入基于xgboost的延迟预测算算法中进行训练，从而得到延迟的预测结果。

不同设备的不同操作系统具有高度的异构性，所以选取5个cpu和内存性能不同的设备，其中这些设备的操作系统架构分为ARM和x86。这些设备满足边缘系统架构的本质。

步骤一的具体操作为：统一安装docker、docker-compose和mqtt并安装ntp建立设备间的时钟同步。

步骤二的具体操作为：

2.1对于SECOM数据集而言，首先对数据进行降维，之后采用xgboost、svm、knn这三种机器学习方法，分别对数据集进行训练，将得到的预测结果合并形成新的数据集，然后然后放入调参工具Hyperopt-sklearn中，获得最优结果和训练模型，最后将最优结果和训练模型放Adaboost进行训练，获得训练模型。并将整个应用流程命名为fault detection。

2.2对于urbofan Engine Degradation数据集，通过建立LSTM网络来对数据集进行训练，获得训练模型。并将整个应用流程命名为Remaining useful life prediction。

2.3对于WM-811K数据集，分别采用深度学习算法cnn和机器学习算法svm对数据集进行训练，对于训练结果再用集成学习进行训练。并将整个应用流程命名为defectdetection。

步骤三的具体操作为：在进行容器化的过程中，首先将程序运行过程所用到的python包。将其写成dockerfile文件，然后构建docker镜像。然后容器化的时候，微服务间采用轻量级发布/订阅信息传输协议MQTT进行信息交互，微服务除了数据传输外，还传输每个数据包的订阅和发布时间。对于三个应用最后收集到的结果，包括数据库和包的名字，将其放在mongo数据库中。由于整个过程是边云协同，所以在边云都配置了Mongo数据库，Mongo数据库也是结合docker来使用的。

步骤四的具体操作为：首先将三个应用的数据源放置在树莓派上。同时将defectdetection的svm固定在设备Jetson Nano上，将fault detection的xgboost固定在设备miniserver上。三个应用剩下的微服务，分别放置于不同的设备.分别生成三个应用的放置方案，然后将放置方案分发至各个设备。

步骤五的具体操作为：对于LSF工具，我们通过GNU Make工具来组织网络配置、远程执行程序、远程结果收集等过程来自动运行放置计划，对于收集到的结果按照应用中ensemble这个微服务所处在边还是云，来配置应该启动在云上还是边上的数据库。对于自动监控工具CRF，选择一个设备作为主节点，剩余设备为从节点。在主节点启动之后，会自动将镜像分发至从节点，然后启动监控容器，并输出网址。打开网址之后，可以看到容器在运行过程中的各种信息。这些信息以各种图标、表格和地图的形式可视化展示。

步骤六的具体操作为：首先提取容器运行过程中cpu、内存、上行带宽、下行带宽和存储等信息，同时获取三个应用在不同的数据量下，延迟的变化趋势。分析每一个容器在运行中的最大内存、带宽，然后设置容器的资源限制。由延迟的变化趋势，提出新的放置方案，将三个应用程序进行混合，然后生成放置方案。

步骤七的具体操作为：在执行新的放置方案时，

采取让三个应用程序同时运行的方法，分别收集三个应用程序的数据。

步骤八，的具体过程如下：

8.1由于三个应用中微服务的上游数目并不都是一样的，所以根据上游数目的不同，将其划分为三类：上游数目为1，上游数目为2，上游数目为3。然后选取微服务的20个共有的特征，和上游组件的8个特征，共同组成特征提取的数据集。然后将ensemble的延迟l_v作为特征提取的标签。其中延迟的计算公式为:

l_v＝Com_v-Source_pub

8.2在获得数据集和标签之后，由于在实验过程中，因为网络异常和设备故障，导致部分数据是异常数据，需要剔除。对数据进行预处理剔除延迟超过30000的数据和数据库中数据量不满100的数据。

8.3在剔除异常数据之后，将云和上的数据根据上游数目的不同，进行合并，合并之后，形成6个文件，即根据上游数目的不同，分别对应三个数据集和标签。

步骤九的具体过程如下

9.1读取数据。

9.2将数据分割为训练集和测试集，同时为了加快速度和减少内存，将数据转换为xgboost自带的读取格式；

9.3使用hyperopt自带的函数定义参数空间；

9.4创建模型工厂与分数获取器，同时保存模型；

9.5调用hyperopt进行自动调参，同时通过返回值获取最佳模型的结果。

参考图2，在边云中配置不同的实验坏境，并将其容器化，系统中基于系统架构的不同，在边缘端构建镜像时也有所不同。微服务之间采用mqtt进行通讯，并在边云配置Mongo数据库，Mongo数据库也是结合docker来使用的；

参考图3，对三个应用而言，可以看到三个应用的流程，将数据源固定在树莓派上，同时将defect detection的微服务svm固定在设备Jetson Nano上，将fault detection的为微服务xgboost固定在设备miniserver上，其余的微服务等待配置。固定微服务的位置，是为了实现服务的限制；

参考图4，设计自动化工具LSF和CRF，通过GNU Make工具来组织网络配置、远程执行程序。使整个实验流程全部自动化运行，并自动检测容器运行过程中的资源信息，将结果基于浏览器以各种图标、表格和地图的形式可视化展示。可以在浏览器中动态的进行选择展示哪些部分，并下载这些信息，还可以看到容器资源的简单分析。

参考图5，显示了容器运行过程中的资源变化和应用的延迟，基于这些分析，可以在满足这些条件下，重新生成放置计划。

参考图6，显示了基与xgboost的延迟预测算法和Queue在数据数量为10～80时预测延迟的RMSE值和得到的真实延迟。首先，对基与xgboost的延迟预测算法中三种模型的纵向比较表明:

随着数据包数量的增加，三种模型的RMSE值基本稳定，说明了基于机器学习的xgboost算法的可扩展性。

Claims (7)

1.面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，包括以下步骤：

步骤一，选取若干公开数据集，对同一数据集采用不同的机器学习法和/或深度学习法进行训练之后，将训练结果再放入Adaboost中获得每个数据集的训练模型；

步骤二，将每个数据集的训练模型的流程进行容器化封装，生成微服务的放置方案，将微服务分别放置于操作系统架构和性能不同的边云设备中运行，获取结果；

步骤三，对获得结果进行分析特征提取之后，放入延迟预测算法中，来预测每个组件的延迟。

2.根据权利要求1所述的面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，对数据集进行机器学习法进行训练的方法如下：

对数据集中的数据进行降维，采用对应的机器学习方法分别对数据集进行训练，得到的预测结果合并形成新的数据集，将新的数据集放入调参工具中，获得最优结果和训练模型，将最优结果和训练模型放入Adaboost进行训练，获得训练模型；

对数据集进行深度学习法进行训练的方法如下：

对数据集通过建立LSTM网络来对数据集进行训练，获得训练模型；

对数据集采用机器学习方法和深度学习方法进行训练的方法如下：

对数据集分别采用深度学习法cnn和机器学习法svm进行训练，对于训练结果采用集成学习法进行训练，获得训练模型。

3.根据权利要求1所述的面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，步骤二中，对每个数据集的训练模型的流程进行容器化封装时，微服务间采用轻量级发布/订阅信息传输协议MQTT进行信息交互，微服务除了数据传输外，还传输每个数据包的订阅和发布时间。

4.根据权利要求1所述的面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，步骤二中，将微服务分别放置于操作系统架构和性能不同的边云设备中运行的具体方法如下：

通过GNU Make工具来组织网络配置、远程执行程序和远程结果收集的过程来自动运行放置计划，对于收集到的结果按照应用中微服务所处在边还是云，来配置应该启动在云上还是边上的数据库，对于自动监控工具CRF，选择一个设备作为主节点，剩余设备为从节点，在主节点启动之后，会自动将镜像分发至从节点，然后启动监控容器，并输出网址。

5.根据权利要求1所述的面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，步骤二中，将微服务分别放置于操作系统架构和性能不同的边云设备中运行的放置方案的生成方式如下：

首先提取容器运行过程中cpu、内存、上行带宽、下行带宽和存储信息，同时获取不同应用在不同的数据量下，延迟的变化趋势，分析每一个容器在运行中的最大内存、带宽，然后设置容器的资源限制，由延迟的变化趋势，提出新的放置方案，将不同的应用程序进行混合，然后生成放置方案。

6.根据权利要求1所述的面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，对获得结果进行分析特征提取的方法如下：

根据应用中微服务的上游组件数目的不同，对应用进行划分，然后选取微服务的若干特征和上游组件的若干特征，共同组成特征提取的数据集，并剔除异常数据，将边云的数据根据应用上游组件的数目进行合并，合并之后完成提取。

7.根据权利要求1所述的面向异构边云协同智能系统的多组件应用的延迟预测方法，其特征在于，步骤三中，通过延迟预测算法预测每个组件的延迟的具体方法如下：

将分析特征提取之后的数据分割为训练集和测试集，并将数据转换为xgboost自带的读取格式，使用hyperopt自带的函数定义参数空间，创建模型工厂与分数获取器，同时保存模型，调用hyperopt进行自动调参，同时通过返回值获取最佳模型的结果。

Images