CN112272231B - 一种面向智能制造场景的边云协同服务编排方法 - Google Patents

一种面向智能制造场景的边云协同服务编排方法 Download PDF

Info

Publication number
CN112272231B
CN112272231B CN202011150129.2A CN202011150129A CN112272231B CN 112272231 B CN112272231 B CN 112272231B CN 202011150129 A CN202011150129 A CN 202011150129A CN 112272231 B CN112272231 B CN 112272231B
Authority
CN
China
Prior art keywords
delay
micro
service
application
fea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011150129.2A
Other languages
English (en)
Other versions
CN112272231A (zh
Inventor
杨树森
赵鹏
王艺蒙
李俊儒
任雪斌
赵聪
王路辉
韩青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Cumulus Technology Co ltd
Original Assignee
Hangzhou Cumulus Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Cumulus Technology Co ltd filed Critical Hangzhou Cumulus Technology Co ltd
Priority to CN202011150129.2A priority Critical patent/CN112272231B/zh
Publication of CN112272231A publication Critical patent/CN112272231A/zh
Application granted granted Critical
Publication of CN112272231B publication Critical patent/CN112272231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种面向智能制造场景的边云协同服务编排方法，本发明通过搭建测试平台获取多组件应用的延迟样本，深入分析多跳延迟特点，设计基于机器学习的延迟预测方法LPML，基于上游数目的不同，得到不同回归模型，并提出延迟感知的边云协同编排算法LaECP。并且通过实验结果表明，LPML的延迟预测标准RMSE比基于排队论的数学模型低10倍；基于LPML的LaECP算法所得系统总延迟比基于排队论的LaECP算法快30倍。解决了多跳应用的延迟难精确刻画问题和在应用延迟约束下，如何使所有应用延迟之和最小化的问题。

Description

一种面向智能制造场景的边云协同服务编排方法
技术领域
本发明属于智能制造领域，具体涉及一种面向智能制造场景的边云协同服务编排方法。
背景技术
随着电子电气技术，信息技术和先进制造技术的快速发展，制造企业的生产方式正在从数字化向智能化转变。万物互联的工业4.0时代已经到来！智能终端和各类传感器产生的数据正以指数级爆发增长。在这种情况下，考虑到网络带宽和延迟限制导致的性能限制，云计算不再是支持这些智能工厂应用程序的适当平台。边缘计算应运而生，它将计算移向网络边缘以减少响应延迟，同时避免了边缘到核心的网络带宽限制。最小化延迟是边缘计算系统的热门研究课题，尤其在工业4.0场景下，整个工厂系统数据流的实时性，直接影响系统的生产效率和正常运行。资源编排是确保应用实时的重要视角。如何编排这些异构资源以满足智能工厂应用的延迟约束是当前亟待解决的问题。针对边缘计算的资源编排已有多方面的工作然而这些工作集中于优化编排策略，忽略了精确刻画服务延迟对于编排结果的重要性。延迟主要由通信和计算两方面组成，当前的数学模型方法无法对延迟(尤其多跳延迟)精确建模，主要原因如下：(1)通信和计算过程都可能出现排队，而排队论无法建模多跳延迟；(2)通信时间不只简单的与通信量和带宽相关，还与链路的可靠性、链路总通信量等信息有密切关联；(3)同样地，微服务的需求/设备的总量也不能精确刻画计算时间，设备性能，CPU利用率，消息中心数据量也是影响计算时间的重要因素。
发明内容
本发明的目的在于克服上述不足，提供一种面向智能制造场景的边云协同服务编排方法，解决了多跳应用的延迟难精确刻画和在应用延迟约束下，如何使所有应用延迟之和最小化。
为了达到上述目的，本发明包括以下步骤：
一种面向智能制造场景的边云协同服务编排方法，包括以下步骤：
步骤1，搭建基于容器的测试平台，然后对应用的流程进行容器化封装；
步骤2，通过分析应用的流程，生成微服务的放置方案；
步骤3，通过工具CRF(容器资源获取)和工具LSF(获取样本延迟)来获取多跳应用在不同编排方案下的延迟样本；
步骤4，对延迟样本进行分析，并送入基于机器学习的延迟预测算法LPML中得到回归模型，并预测设备上的微服务延迟；
步骤5，将微服务优先放在边缘设备上以减少延迟，其他放至云端减少延迟，完成边云协同服务编排。
进一步的，步骤1中，对应用的流程进行容器化封装时，是将每个应用的微服务封装在docker(一个开源的应用容器引擎)容器中，微服务间采用轻量级发布/订阅信息传输协议MQTT进行信息交互。
进一步的，步骤3中，工具CRF(容器资源获取)用于自动获取测试平台中每个容器在在运行过程中的资源需求；工具LSF(获取样本延迟)用于使多跳应用自动运行内置的所有放置方案，并从中获取多跳应用的延迟样本。
进一步的，步骤4中，分析每个延迟样本，并从中提取当前微服务及微服务上游的所有特征，将延迟样本分为训练集和测试集，并送入基于机器学习的延迟预测算法LPML中得到回归模型，再通过以下公式来预测微服务的延时lv；
lv＝XGBoost|u|(Feav,Feau,Feak,Feauk)
其中，Feav代表微服务v的特征，Feau代表微服务v的上游微服务u的特征，Feak代表微服务v所在设备k的特征，Feauk代表微服务u所在设备uk的特征。
进一步的，根据微服务上游数目的不同，延迟的计算方法也不同；
当微服务v的延迟为lv,则上游数目为1的延迟计算公式为：
Figure BDA0002740924980000031
设微服务v的上游为u，上游的延迟为lu,则上游数目为2或3的延迟计算公式为：
Figure BDA0002740924980000032
其中，
Figure BDA0002740924980000033
代表微服务v的处理完成时间，
Figure BDA0002740924980000034
代表数据源的发送时间，lu代表上游微服务的延迟，
Figure BDA0002740924980000035
表示微服务u到微服务v的传输事件，
Figure BDA0002740924980000036
代表微服务v的处理时间。
进一步的，步骤5中，对微服务进行广度优先搜索，并对微服务进行广度排序，遍历每个微服务，并确定同时满足延迟、位置和资源需求，且延迟最低的设备，确保设备中放置的微服务资源需求的总和小于或等于资源容量，以及确保微服务不放置在多个设备之上。
进一步的，步骤5中，如果边缘设备资源不足或者前一个微服务被放置在云上，则将当前的微服务放置在云上。
与现有技术相比，本发明有以下技术效果：
本发明通过搭建测试平台获取多组件应用的延迟样本，深入分析多跳延迟特点，设计基于机器学习的延迟预测方法LPML，基于上游数目的不同，得到不同回归模型，并提出延迟感知的边云协同编排算法LaECP。并且通过实验结果表明，LPML的延迟预测标准RMSE比基于排队论的数学模型低10倍；基于LPML的LaECP算法所得系统总延迟比基于排队论的LaECP算法快30倍。解决了多跳应用的延迟难精确刻画问题和在应用延迟约束下，如何使所有应用延迟之和最小化的问题。
附图说明
图1为面向智能制造的多层异构网络体系结构图；
图2为基于容器的边云协作的服务编排体系结构图；
图3为三个延迟敏感服务的处理工作流的DAG模型图；
图4为xgboost1特征重要性排序图；
图5为xgboost2特征重要性排序图；
图6为xgboost3特征重要性排序图；
图7三个延迟敏感应用在不同数据量下的延迟图；
图8为LaECP的性能图；
图9为延迟预测方法LPML和Queue的对比图。
具体实施方式
下面结合附图对本发明做进一步说明。
参考图1和图2，智能工厂的系统架构本质是一种特殊的分布式系统，其核心特征是多层、资源受限和高度异构。如何编排这些异构资源以满足智能工厂应用的延迟约束是当前亟待解决的问题。为解决多跳应用的延迟难精确刻画问题，我们以半导体智能工厂系统中三个延迟敏感的应用为例，着手搭建了基于容器的测试平台，从而获取多跳应用在不同编排方案下的延迟样本，通过对延迟特点的分析，设计基于机器学习的延迟预测方法LPML，并提出延迟感知的边云协同编排算法LaECP。具体包括以下步骤：
1)首先搭建端边云三层测试平台Semi-HeteroEdge以支持3个延迟敏感的应用；
2)将每个应用的微服务封装在docker容器中，微服务间采用轻量级发布/订阅信息传
输协议MQTT进行信息交互；
3)开发自动化工具CRF，让其自动获取Semi-HeteroEdge测试平台每个容器在在运行过程中的资源需求。并基于浏览器可视化的展示这些信息；
4)开发工具LSF，让其自动跑1596组各应用组件的放置方案，并从中获取组件的延迟样本；
5)通过对数据进行预处理、分析和特征提取，提出了基于机器学习方法xgboost的延迟预测算法LPML，以弥补数学模型的不准确性；
6)分析每个微服务中每条数据的延迟，从两个方面提取当前微服务v及其上游u的19个特征；
7)然后将19个特征样本分为训练集和测试集，并将其输入延迟预测算法中得到训练模型。得到了上游数分别为1、2、3的三种回归模型。并通过以下公式来获得预测设备k上的微服务v的延迟：
lv＝XGBoost|u|(Feav,Feau,Feak,Feauk)
8)提出基于时延感知的边缘云协同编排算法LaECP。将微服务尽可能地放在边缘设备上以减少延迟。在edge设备资源不足的情况下，将微服务转移到云端。而微服务一旦被放到云上，其后续的微服务也会被放到云上，以减少边缘到云的往返时间。
参考图3，这幅图记录了三个延迟敏感服务的处理工作流的DAG模型，其中蓝色表示放在末端，绿色表示放在边缘，黄色表示放在云上，红色表示等待编排。对于三个应用而言，采用了不同的机器学习方法进行训练，并且进行了集成学习，组件跳数超过了排队论的范围，并且工作流更加复杂和多样；
参考图4至图7，可以看出，uplatency和data totalcount是这三种模型最重要的特征。根据公式
Figure BDA0002740924980000051
微服务的等待时间等于uplatency加上通信和计算时间，所以uplatency起着决定性的作用。从图7可以看出，随着数据量的增加，三种应用程序的等待时间呈线性增加。这是因为随着数据数量的增加，在通信和计算过程中出现了排队，等待时间也相应增加。因此，数据数量对延迟有很大的影响。
参考图8，显示了不同totalcount下三种布局算法的总时延，我们可以发现:
(1)基于LMPL的LaECP时延最低，约为纯云方案的30倍，进一步验证了LMPL的有效性。
(2)两种LaECP方案的时延均小于其他比较算法，验证了LaECP的有效性。
(3)纯云方案的延迟并不是所有方案中最低的，说明端云协同放置算法的结果并不总是有效的，需要设计更高效的放置算法。
参考图9，显示了LPML和Queue在数据数量为10～80时预测延迟的RMSE值和得到的真实延迟。首先，对LPML的三种模型的纵向比较表明:
(1)随着数据包数量的增加，三种模型的RMSE值基本稳定，说明了LPML的可扩展性。
(2)在三种模型中，XGBoost1的RMSE值最大，其次是XGBoost2和XGBoost3。

Claims (4)

1.一种面向智能制造场景的边云协同服务编排方法，其特征在于，包括以下步骤：
步骤1，搭建基于容器的测试平台，然后对应用的流程 进行容器化封装；
步骤2，通过分析应用的流程，生成微服务的放置方案；
步骤3，通过工具容器资源获取CRF和工具获取样本延迟LSF来获取多跳应用在不同编排方案下的延迟样本；
步骤4，对延迟样本进行分析，并送入基于机器学习的延迟预测算法LPML中得到回归模型，并预测设备上的微服务延迟；
步骤4中，分析每个延迟样本，并从中提取当前微服务及微服务上游的所有特征，将延迟样本分为训练集和测试集，并送入基于机器学习的延迟预测算法LPML中得到回归模型，再通过以下公式来预测微服务的延时lv；
lv＝XGBoost|u|(Feav,Feau,Feak,Feauk)
其中，Feav代表微服务v的特征，Feau代表微服务v的上游微服务u的特征，Feak代表微服务v所在设备k的特征，Feauk代表微服务u所在设备uk的特征；
根据微服务上游数目的不同，延迟的计算方法也不同；
当微服务v的延迟为lv,则上游数目为1的延迟计算公式为：
Figure FDA0003568627050000011
设微服务v的上游为u，上游的延迟为lu,则上游数目为2或3的延迟计算公式为：
Figure FDA0003568627050000012
其中，
Figure FDA0003568627050000013
代表微服务v的处理完成时间，
Figure FDA0003568627050000014
代表数据源的发送时间，lu代表上游微服务的延迟，
Figure FDA0003568627050000015
表示微服务u到微服务v的传输事件，
Figure FDA0003568627050000016
代表微服务v的处理时间；
步骤5，将微服务优先放在边缘设备上以减少延迟，其他放至云端减少延迟，完成边云协同服务编排；
步骤5中，如果边缘设备资源不足或者前一个微服务被放置在云上，则将当前的微服务放置在云上。
2.根据权利要求1所述的一种面向智能制造场景的边云协同服务编排方法，其特征在于，步骤1中，对应用的流程进行容器化封装时，是将每个应用的微服务封装在一个开源的应用容器引擎docker容器中，微服务间采用轻量级发布/订阅信息传输协议MQTT进行信息交互。
3.根据权利要求1所述的一种面向智能制造场景的边云协同服务编排方法，其特征在于，步骤3中，工具容器资源获取CRF用于自动获取测试平台中每个容器在运行过程中的资源需求；工具获取样本延迟LSF用于使多跳应用自动运行内置的所有放置方案，并从中获取多跳应用的延迟样本。
4.根据权利要求1所述的一种面向智能制造场景的边云协同服务编排方法，其特征在于，步骤5中，对微服务进行广度优先搜索，并对微服务进行广度排序，遍历每个微服务，并确定同时满足延迟、位置和资源需求，且延迟最低的设备，确保设备中放置的微服务资源需求的总和小于或等于资源容量，以及确保微服务不放置在多个设备之上。
CN202011150129.2A 2020-10-23 2020-10-23 一种面向智能制造场景的边云协同服务编排方法 Active CN112272231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011150129.2A CN112272231B (zh) 2020-10-23 2020-10-23 一种面向智能制造场景的边云协同服务编排方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011150129.2A CN112272231B (zh) 2020-10-23 2020-10-23 一种面向智能制造场景的边云协同服务编排方法

Publications (2)

Publication Number Publication Date
CN112272231A CN112272231A (zh) 2021-01-26
CN112272231B true CN112272231B (zh) 2022-05-13

Family

ID=74342686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011150129.2A Active CN112272231B (zh) 2020-10-23 2020-10-23 一种面向智能制造场景的边云协同服务编排方法

Country Status (1)

Country Link
CN (1) CN112272231B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401055B (zh) * 2023-04-07 2023-10-03 天津大学 面向资源效率优化的服务器无感知计算工作流编排方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463434A (zh) * 2017-08-11 2017-12-12 恒丰银行股份有限公司 一种分布式任务处理方法与设备
CN108664378A (zh) * 2018-05-10 2018-10-16 西安电子科技大学 一种微服务最短执行时间的优化方法
CN109873856A (zh) * 2018-12-18 2019-06-11 深圳先进技术研究院 一种基于规则进化的边云协同方法
CN110365787A (zh) * 2019-07-19 2019-10-22 南京工业大学 一种应用容器并基于微服务框架的边缘计算最优化布局方法
CN110430266A (zh) * 2019-08-06 2019-11-08 腾讯科技（深圳）有限公司 一种边云协同数据传输方法、装置、设备及存储介质
CN110601994A (zh) * 2019-10-14 2019-12-20 南京航空航天大学 云环境下微服务链感知的负载均衡方法
CN110740194A (zh) * 2019-11-18 2020-01-31 南京航空航天大学 基于云边融合的微服务组合方法及应用
CN111181773A (zh) * 2019-12-13 2020-05-19 西安交通大学 面向异构边云协同智能系统的多组件应用的延迟预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878342B2 (en) * 2017-03-30 2020-12-29 Intel Corporation Cloud assisted machine learning
US10659526B2 (en) * 2018-01-03 2020-05-19 Verizon Patent And Licensing Inc. Edge compute systems and methods
US11108849B2 (en) * 2018-12-03 2021-08-31 At&T Intellectual Property I, L.P. Global internet of things (IOT) quality of service (QOS) realization through collaborative edge gateways

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463434A (zh) * 2017-08-11 2017-12-12 恒丰银行股份有限公司 一种分布式任务处理方法与设备
CN108664378A (zh) * 2018-05-10 2018-10-16 西安电子科技大学 一种微服务最短执行时间的优化方法
CN109873856A (zh) * 2018-12-18 2019-06-11 深圳先进技术研究院 一种基于规则进化的边云协同方法
CN110365787A (zh) * 2019-07-19 2019-10-22 南京工业大学 一种应用容器并基于微服务框架的边缘计算最优化布局方法
CN110430266A (zh) * 2019-08-06 2019-11-08 腾讯科技（深圳）有限公司 一种边云协同数据传输方法、装置、设备及存储介质
CN110601994A (zh) * 2019-10-14 2019-12-20 南京航空航天大学 云环境下微服务链感知的负载均衡方法
CN110740194A (zh) * 2019-11-18 2020-01-31 南京航空航天大学 基于云边融合的微服务组合方法及应用
CN111181773A (zh) * 2019-12-13 2020-05-19 西安交通大学 面向异构边云协同智能系统的多组件应用的延迟预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Context-aware Multi-criteria Handover at the Software Defined Network Edge for Service Differentiation in Next Generation Wireless Networks;赵鹏，杨树森等;《 IEEE Transactions on Services Computing》;20201014;1-16 *

Also Published As

Publication number Publication date
CN112272231A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN111181773B (zh) 面向异构边云协同智能系统的多组件应用的延迟预测方法
CN110198339B (zh) 一种基于QoE感知的边缘计算任务调度方法
CN103329493B (zh) 用于在分组处理期间避免存储器带宽利用的方法和设备
CN112272231B (zh) 一种面向智能制造场景的边云协同服务编排方法
CN108711007A (zh) 一种能源一体化采集系统的多任务实时调度方法
CN109729175B (zh) 一种不稳定信道条件下的边缘协同数据卸载方法
WO2023241423A1 (zh) 一种基于流量预测的路由决策方法及系统
WO2014177023A1 (zh) 业务类型确定方法和装置
CN112714164A (zh) 一种物联网系统及其任务调度方法
CN110119307A (zh) 数据处理请求的处理方法、装置、存储介质及电子装置
CN112202595A (zh) 基于时间敏感网络系统的抽象模型构建方法
Morrison Multiclass flow line models of semiconductor manufacturing equipment for fab-level simulation
CN114648223A (zh) 一种基于物联网的智慧城市能耗数据挖掘系统及方法
Kuchuk et al. Traffic Modeling for the Industrial Internet of NanoThings
CN116996112B (zh) 一种遥感卫星数据实时预处理方法
CN112534399A (zh) 基于语义的物联网设备数据处理相关应用程序安装方法及装置
CN112202596A (zh) 基于时间敏感网络系统的抽象模型构建装置
Muthanna et al. OpenFlow switch buffer configuration method
CN117135131A (zh) 一种面向云边协同场景的任务资源需求感知方法
CN116567089A (zh) 基于分布式网内协同计算的物联网交互系统及方法
CN113918303A (zh) 基于微服务的多任务分布调度系统
CN114461299A (zh) 一种卸载决策确定方法、装置、电子设备及存储介质
Veeger et al. Generating CT-TH-PM surfaces using EPT-based aggregate modelling
CN108521352B (zh) 基于随机回报网的在线云服务尾延迟预测方法
CN102282824A (zh) 用于在电子通信系统中进行服务平衡的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant