CN116915686A - 异构多边缘云协同微服务部署与路由联合优化方法及系统 - Google Patents
异构多边缘云协同微服务部署与路由联合优化方法及系统 Download PDFInfo
- Publication number
- CN116915686A CN116915686A CN202311157089.8A CN202311157089A CN116915686A CN 116915686 A CN116915686 A CN 116915686A CN 202311157089 A CN202311157089 A CN 202311157089A CN 116915686 A CN116915686 A CN 116915686A
- Authority
- CN
- China
- Prior art keywords
- micro
- service
- delay
- deployment
- routing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000002787 reinforcement Effects 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims description 57
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- 239000000178 monomer Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000007493 shaping process Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/14—Routing performance; Theoretical aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种异构多边缘云协同微服务部署与路由联合优化方法及系统，所述方法包括：对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型；基于微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量；根据微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型；将当前网络环境参数和用户请求特征输入至收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。本发明通过启发式算法和奖励塑形的强化学习算法，实现边缘节点间的负载均衡为目标解决了异构多边缘协作的微服务部署与请求路由问题。
Description
技术领域
本发明涉及边缘计算技术领域，尤其涉及一种异构多边缘云协同微服务部署与路由联合优化方法及系统。
背景技术
在物联网快速发展、数据生产速率剧增以及边缘用户数量庞大的背景下，产生了机器视觉识别、移动增强现实、智慧城市系统、视频流分析等资源密集型、延迟敏感型应用，目前这些应用通常完全部署于云数据中心，受限于不可预测的广域网传输延迟，传统的云计算架构已不足以满足这些边缘应用对大量数据快速处理和低延迟的需求。
在容器技术驱动下，现代的网络应用服务为开发和维护方便均采用低耦合高内聚的微服务模式，即将一个庞大的单体应用拆分成相互连接的多个松散耦合的微服务单独组件，这种低耦合高内聚的方式提高了应用程序的可移植性。在进行应用服务部署时，细粒度地考虑组成应用的不同微服务之间复杂的程序依赖与数据传输依赖关系对部署的影响仍有待研究。
目前没有相关工作采用强化学习对异构多边缘云协作的微服务部署与路由联合优化展开详细研究。现有的工作中，服务的部署和用户请求流量的调度通常被认为是独立的组件进行局部优化，或者只针对服务的部署进行服务时延与资源占用的优化而忽略了在高并发状态下容器弹性伸缩与用户请求流量的路由。因此，如何实现微服务部署与请求路由的联合优化问题成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种异构多边缘云协同微服务部署与路由联合优化方法及系统，旨在解决如何实现微服务部署与请求路由的联合优化的技术问题。
为实现上述目的，本发明提供了一种异构多边缘云协同微服务部署与路由联合优化方法，所述异构多边缘云协同微服务部署与路由联合优化方法，包括以下步骤：
对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型；
基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量；
根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型；
将当前网络环境参数和用户请求特征输入至所述收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。
可选地，所述基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量的步骤，包括：
基于所述微服务部署与路由优化模型获取当前用户请求的微服务链集合、用户请求到达率、系统预存的微服务的服务速率及用户请求链最大可容忍时延；
根据所述微服务链集合确定不同种类微服务集合；
根据所述不同种类微服务集合和所述用户请求到达率计算不同服务链汇聚到每种微服务的请求到达率之和；
根据所述微服务单体服务速率对应的权重和所述用户请求链最大可容忍时延确定最大可容忍任务完成时间列表；
从所述最大可容忍任务完成时间列表中选取最小可容忍时延；
根据所述最小可容忍时延、所述不同服务链汇聚到每种微服务的请求到达率之和、所述系统预存的微服务的服务速率及时延与通信时延的比值通过预设微服务实例公式得到用户时延约束的微服务实例数量；
所述预设微服务实例公式为：
式中，为用户时延约束的微服务实例数量，/>为不同服务链汇聚到每种微服务的请求到达率之和，/>为系统预存的微服务的服务速率，/>为最小可容忍时延，/>为时延与通信时延的比值。
可选地，所述根据所述微服务实例数量和所述微服务请求流量的占比对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型的步骤之前，还包括：
确定当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息；
将所述当前边缘网络状态、所述部署的微服务信息及所述用户发出的微服务链请求信息作为状态空间；
根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型。
可选地，所述根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型的步骤之前，还包括：
确定时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点返回数据给用户的数据回传时延及正相奖励；
根据所述时延参数影响因子、所述部署与路由负载均衡影响因子、所述当前动作导致部署失败的情况下的影响因子、所述接入网络延迟、所述计算时延、所述排队时延、所述传输时延、所述边缘云节点的数据回传时延及所述正相奖励构建奖励稀疏；
式中，R为奖励稀疏，为时延参数影响因子，/>为部署与路由负载均衡影响因子，/>为当前动作导致部署失败的情况下的影响因子，/>为接入网络延迟，/>为计算时延，/>为排队时延，/>为传输时延，/>为边缘云节点的数据回传时延，/>为正相奖励，G为负载均衡常数，|MC|为微服务链的总数量，/>为在边缘云网络节点n上微服务/>对应的用户请求到达率。
此外，为实现上述目的，本发明还提出一种异构多边缘云协同微服务部署与路由联合优化系统，所述异构多边缘云协同微服务部署与路由联合优化系统包括：
建模模块，用于对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型；
确定模块，用于基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量；
训练模块，用于根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型；
输出模块，用于将当前网络环境参数和用户请求特征输入至所述收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。
可选地，所述确定模块，还用于基于所述微服务部署与路由优化模型获取当前用户请求的微服务链集合、用户请求到达率、系统预存的微服务的服务速率及用户请求链最大可容忍时延；
所述确定模块，还用于根据所述微服务链集合确定不同种类微服务集合；
所述确定模块，还用于根据所述不同种类微服务集合和所述用户请求到达率计算不同服务链汇聚到每种微服务的请求到达率之和；
所述确定模块，还用于根据所述微服务单体服务速率对应的权重和所述用户请求链最大可容忍时延确定最大可容忍任务完成时间列表；
所述确定模块，还用于从所述最大可容忍任务完成时间列表中选取最小可容忍时延；
所述确定模块，还用于根据所述最小可容忍时延、所述不同服务链汇聚到每种微服务的请求到达率之和、所述系统预存的微服务的服务速率及时延与通信时延的比值通过预设微服务实例公式得到用户时延约束的微服务实例数量；
所述预设微服务实例公式为：
式中，为用户时延约束的微服务实例数量，/>为不同服务链汇聚到每种微服务的请求到达率之和，/>为系统预存的微服务的服务速率，/>为最小可容忍时延，/>为时延与通信时延的比值。
可选地，所述训练模块，还用于确定当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息；
所述训练模块，还用于将所述当前边缘网络状态、所述部署的微服务信息及所述用户发出的微服务链请求信息作为状态空间；
所述训练模块，还用于根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型。
可选地，所述训练模块，还用于确定时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点返回数据给用户的数据回传时延及正相奖励；
所述训练模块，还用于根据所述时延参数影响因子、所述部署与路由负载均衡影响因子、所述当前动作导致部署失败的情况下的影响因子、所述接入网络延迟、所述计算时延、所述排队时延、所述传输时延、所述边缘云节点的数据回传时延及所述正相奖励构建奖励稀疏；
式中，R为奖励稀疏，为时延参数影响因子，/>为部署与路由负载均衡影响因子，/>为当前动作导致部署失败的情况下的影响因子，/>为接入网络延迟，/>为计算时延，/>为排队时延，/>为传输时延，/>为边缘云节点的数据回传时延，/>为正相奖励，G为负载均衡常数，|MC|为微服务链的总数量，/>为在边缘云网络节点n上微服务/>对应的用户请求到达率。
此外，为实现上述目的，本发明还提出一种异构多边缘云协同微服务部署与路由联合优化设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异构多边缘云协同微服务部署与路由联合优化程序，所述异构多边缘云协同微服务部署与路由联合优化程序配置为实现如上文所述的异构多边缘云协同微服务部署与路由联合优化方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有异构多边缘云协同微服务部署与路由联合优化程序，所述异构多边缘云协同微服务部署与路由联合优化程序被处理器执行时实现如上文所述的异构多边缘云协同微服务部署与路由联合优化方法的步骤。
本发明首先对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型，然后基于微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量，之后根据微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型，最后将当前网络环境参数和用户请求特征输入至收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。相较于现有技术服务的部署和用户请求流量的调度通常被认为是独立的组件进行局部优化，或者只针对服务的部署进行服务时延与资源占用的优化而忽略了在高并发状态下容器弹性伸缩与用户请求流量的路由，而本发明启发式算法对微服务实例进行水平伸缩以适应动态变化的用户请求，基于奖励塑形的强化学习算法（RSPPO），以最小化用户等待时延与边缘网络资源消耗，同时实现边缘节点间的负载均衡为目标解决了异构多边缘协作的微服务部署与请求路由问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的异构多边缘云协同微服务部署与路由联合优化设备的结构示意图；
图2为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的流程示意图；
图3为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的请求路由结构示意图；
图4为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的微服务实例数量弹性伸缩算法流程图；
图5为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的强化学习微服务部署与路由调度联合优化算法架构图；
图6为本发明异构多边缘云协同微服务部署与路由联合优化系统第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的异构多边缘云协同微服务部署与路由联合优化设备结构示意图。
如图1所示，该异构多边缘云协同微服务部署与路由联合优化设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM），也可以是稳定的非易失性存储器（Non-VolatileMemory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储系统。
本领域技术人员可以理解，图1中示出的结构并不构成对异构多边缘云协同微服务部署与路由联合优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及异构多边缘云协同微服务部署与路由联合优化程序。
在图1所示的异构多边缘云协同微服务部署与路由联合优化设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明异构多边缘云协同微服务部署与路由联合优化设备中的处理器1001、存储器1005可以设置在异构多边缘云协同微服务部署与路由联合优化设备中，所述异构多边缘云协同微服务部署与路由联合优化设备通过处理器1001调用存储器1005中存储的异构多边缘云协同微服务部署与路由联合优化程序，并执行本发明实施例提供的异构多边缘云协同微服务部署与路由联合优化方法。
本发明实施例提供了一种异构多边缘云协同微服务部署与路由联合优化方法，参照图2，图2为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的流程示意图。
本实施例中，所述异构多边缘云协同微服务部署与路由联合优化方法包括以下步骤：
步骤S10：对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型。
易于理解的是，本实施例的执行主体可以是具有数据处理、网络通讯和程序运行等功能的异构多边缘云协同微服务部署与路由联合优化设备，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。
在具体实现中，在异构的多边缘云网络节点协同且用户请求偏好与流量大小不断变化的动态环境下对有顺序连接关系的微服务应用部署与路由联合优化问题进行建模。
在本实施例中，所述异构多边缘云协同网络由分布在具有不同用户请求特征的多个区域型边缘云网络节点组成，用户可将由不同单体微服务组成的微服务链请求通过基站发送到最近的边缘节点，并根据边缘协同网络微服务的部署与路由方案对用户请求进行处理。
还需要说明的是，建模的具体操作为：用无向图表示多边缘节点组成的物理网络环境，不同边缘节点间数据传输带宽速率用二维数组/>表示，使用/>表示物理节点中拥有资源/>的大小将用户发出的一个功能请求表述为微服务请求链表示为，其中，/>表示单体微服务、/>表示当前微服务请求链包含的单体微服务数量，每个单体微服务同样有对资源占用的需求对应网络节点/>算力资源用表示、内存资源用/>表示，当前节点需要传输给下一节点数据大小用/>表示。当前时刻下物理网络接收到的用户微服务请求集合可以表示为。
进一步地，首先定义决策变量确定微服务/>的部署位置和数量，为提供高效并发的服务，微服务/>可以被部署在多个边缘网络节点。然后定义二值决策变量，其值取决于/>，确定微服务/>是否部署在节点/>上。定义变量计算当服务请求集合中的一个请求流/>从请求链中上一个单体微服务/>到请求链中下一个微服务/>时，调度该服务流到部署微服务/>的节点/>的概率。
步骤S20：基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量。
本实施例面向的场景为多边缘节点协作的网络环境，在该场景下，有多个规划了就近服务区域的边缘数据中心节点，用户请求位置可能位于不同边缘节点服务覆盖范围内，请求信息可通过基站发送到最近的边缘节点，由于地理位置差异性，边缘节点服务于车站、商业中心、住宅区、智慧工厂而具有不同的微服务请求部署需求，为尽可能降低用户位置移动的影响、克服边缘服务器资源不足的弊端并提高边缘节点资源利用率。本实施例将不同的微服务链单体部署在多个边缘节点。并且用户请求流量的大小与时间之间有强烈的相关性，不同时间段服务器需处理的业务类型、数量均有显著变化。于此在进行微服务部署时本发明采用启发式算法实现用户请求流量动态变化下的实例数量弹性伸缩。
进一步的，基于微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量的处理方式为基于微服务部署与路由优化模型获取当前用户请求的微服务链集合、用户请求到达率、系统预存的微服务的服务速率及用户请求链最大可容忍时延；根据微服务链集合确定不同种类微服务集合；根据不同种类微服务集合和用户请求到达率计算不同服务链汇聚到每种微服务的请求到达率之和；根据微服务单体服务速率对应的权重和用户请求链最大可容忍时延确定最大可容忍任务完成时间列表；从最大可容忍任务完成时间列表中选取最小可容忍时延；根据最小可容忍时延、不同服务链汇聚到每种微服务的请求到达率之和、系统预存的微服务的服务速率及时延与通信时延的比值通过预设微服务实例公式得到用户时延约束的微服务实例数量。
所述预设微服务实例公式为：
式中，为用户时延约束的微服务实例数量，/>为不同服务链汇聚到每种微服务的请求到达率之和，/>为系统预存的微服务的服务速率，/>为最小可容忍时延，/>为时延与通信时延的比值。
在具体实现中，基于启发式的微服务实例数量确定水平伸缩算法包括：算法输入接入网络后台感知的当前用户请求的微服务链集合（微服务链中包含不同种类微服务集合/>）、用户请求到达率/>、以及系统预存的微服务的服务速率/>、用户请求链最大可容忍时延：/>信息。
进一步地，首先算法计算不同服务链汇聚到每种微服务的请求到达率之和，然后将每条链的最大容忍时延依据微服务单体服务速率的权重分配到每个单体微服务的最大可容忍任务完成时间列表，并在列表元素中找到最小的可容忍时延/>，由稳态排队网络可知，微服务实例的任务完成时间需小于用户请求最大可容忍时延。据此满足用户请求延迟时延的最小服务实例个数可由下式获得：
其中为/>实例的个数，/>为信算比，表示用户等待时延中计算时延与通信时延的比值，由此可得到微服务实例的数量为/>为：
获得的非整数实例数量采用向上舍入方式取整，得到微服务单体的待部署的实例数量集合。
在实施例中，参考图3，图3为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的请求路由结构示意图，定义单体微服务可以部署多个实例在不同的网络节点中，显然多实例并行执行显著提高了任务的完成速率，但由于同一单体微服务的实例部署在具有不同资源占用率，不同数据传输速率的网络节点上，导致同一服务的不同实例具有不同的完成速率，所以需要智能调度算法维持负载均衡的同时调度位于不同网络节点上实例的流量，最小化用户请求等待时延。本实施例的解决方案是在边缘网络节点上部署用户请求流量调度表，每个节点的流量调度表包含了部署在当前边缘网络节点的实例需要处理该种微服务请求流量的占比，当单体微服务实例部署发生改变时，会重新调整路由表上每个实例承担用户请求流量的占比，这是一种分布式的任务处理方式，根据每个节点的调度概率来决定每种请求流量到达接下来节点进行处理的概率，即可通过改变调度表的流量占比来对到达不同位置网络节点的流量进行调度，将流量进行就近分配，减少端到端延时。路由表举例如下图所示：用户请求链起始服务实例部署在/>，商品浏览服务实例部署于/>，下单服务由于流量峰值大，将两个实例部署在/>和/>上，分别承担70%与30%的流量，即用户请求处理到下单服务时有70%的概率路由到/>边缘网络节点上。
本实施例定义为服务链/>在多个实例中一条路由路径的概率，由上述描述可知/>为每个单体微服务路由表中概率值相乘得：
其中为用户请求位于多个边缘节点服务交叉区域选择头结点微服务路由的目标边缘节点概率。
路由目标边缘节点承担当前请求微服务链的流量大小由服务链到达率乘以路由概率获得：
其中表示边缘节点/>上微服务请求链/>的到达率。
当单体微服务实例属于多条微服务链共同调用时，需承担的总体流量为：
其中表示边缘节点/>上单体微服务/>的请求到达率。
参考图4，图4为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的微服务实例数量弹性伸缩算法流程图，图中，移动边缘用户在一天24小时的不用时间段有不用的应用偏好，本发明重点研究的是用户请求应用偏好与流量大小动态变化的多边缘云协作微服务的部署与路由优化问题，得益于轻量级独立的虚拟化容器技术，在为动态变化的微服务请求流量部署实例时，我们可以按需考虑将微服务进行水平资源的伸缩以实现在保证QOS的同时尽可能减少边缘网络资源占用，并且由于用户请求峰值可能随着社会热点新闻的突发而且而剧烈增加，因此我们有必要找到一个快速且有效的实例创建策略依据用户请求流量变化进行微服务实例数量的水平伸缩。
用户请求到达最近的接入网络后监控系统感知当前用户请求的微服务链集合、微服务链中包含不同种类微服务集合/>、用户请求到达率、以及系统预存的微服务的服务速率/>、用户请求链最大可容忍时延：/>，由于多种不同的微服务链可能调用同一个微服务接口如支付服务接口，为避免系统出现单点延迟故障，需要贪心地为用户请求大的微服务部署更多的实例，首先需要计算不同服务链汇聚到每种微服务的请求到达率之和/>，然后将每条链的最大容忍时延依据微服务单体服务速率的权重分配到每个单体微服务的最大可容忍任务完成时间列表，并在列表元素中找到最小的可容忍时延/>，由稳态排队网络可知，微服务实例的任务完成时间需小于用户请求最大可容忍时延。据此满足用户请求延迟时延的最小服务实例个数可由下式获得：
其中为/>实例的个数，/>为信算比，表示用户等待时延中计算时延与通信时延的比值，由此可得到微服务实例的数量为/>为：
获得的非整数实例数量采用向上舍入方式取整，得到微服务单体的待部署的实例数量集合。，详细算法步骤如下。
1、for in 用户请求到达率集合/>。
2、计算不同服务链汇聚到每种微服务的请求到达率之和。
3、计算边缘云节点部署当前实例服务率之和。
4、将每条链的最大容忍时延依据微服务单体服务速率的权重分配到每个单体微服务的最大可容忍任务完成时间列表。
5、在列表元素中找到最小的可容忍时延。
6、for in 微服务请求链中包含的单体微服务集合。
7、根据计算向上取整后的微服务实例数量/>。
8、end for。
步骤S30：根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型。
步骤S40：将当前网络环境参数和用户请求特征输入至所述收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。
还需要说明的是，确定当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息；将当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息作为状态空间；根据状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型。
在具体实现中，确定时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点返回数据给用户的数据回传时延及正相奖励；根据时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点的数据回传时延及正相奖励构建奖励稀疏；
式中，R为奖励稀疏，为时延参数影响因子，/>为部署与路由负载均衡影响因子，/>为当前动作导致部署失败的情况下的影响因子，/>为接入网络延迟，/>为计算时延，/>为排队时延，/>为传输时延，/>为边缘云节点的数据回传时延，/>为正相奖励，G为负载均衡常数，|MC|为微服务链的总数量，/>为在边缘云网络节点n上微服务/>对应的用户请求到达率。
在具体实现中，微服务部署与路由调度联合优化的强化学习算法架构主要包含模型离线训练与在线决策两个部分，在离线训练过程中：每个训练轮次中，当前初始环境状态为/>，智能体依据输入的/>生成动作发生的概率值，并选择概率最大的动作与环境交互将环境变更为/>，并依据/>状态经过奖励函数计算得到当前动作长期累积奖励。接着代理会在/>继续执行动作使环境进入下一个状态并得到对应动作的奖励，在奖励计算过程中采用奖励塑造的方式使强化学习算法适应微服务部署与请求路由环境并准确评估当前状态的奖励值，随着不断迭代训练，智能体的目标是得到根据环境执行最优动作以获得累积最大奖励的部署与路由策略。实际环境的在线决策：经过迭代训练的智能体在得到真实环境状态后，会选择适应当前状态的最优动作，并且训练收敛的模型是在数量庞大的数据经过长时间训练优化得到的，后续维护中只有在动作选择精度突然下降时才需要重新训练。
还需要说明的是，定义状态空间S，包括当前的边缘网络状态、已经部署的微服务信息/>、用户发出的微服务链请求信息/>，State可表示为:
其中表示网络状态，由各物理节点的/>，内存资源剩余数量、最大数量的二维特征向量、以及各节点间表示网络连接状态的数据传输延迟相邻矩阵、负载方差值组成。当前网络节点上已部署微服务状态信息/>由每个节点上已部署的微服务编号以及分配给该微服务镜像的路由占比组成。表示用户微服务链请求状态，由当前待部署的微服务种类编号、需要占用的/>、内存，所属边缘网络节点编号与请求到达率、可容忍最大端到端时延等信息组成。
定义动作空间A，在实际网络中往往拥有着种类数量庞大的用户请求链和网络节点，动作空间过于庞大，这将会导致强化学习算法无法得到有效的部署方案，相反我们设计的强化学习算法的动作为逐个部署微服务链中的微服务，减少了动作空间的数量，微服务部署的动作空间为部署微服务链中微服务实例时可选择的边缘网络节点编号，具体可表示为：
每个微服务实例的部署必须满足目标服务器资源的约束，微服务实例成功部署后，多个微服务实例上承担该微服务请求流的路由流量百分比由下式获得：
其中与/>分别表示调整因子，表示资源占比与传输时延对路由流量的影响程度，/>表示多边缘节点之间的通信带宽。
在一个完整回合的部署中进行奖励稀疏，也就是每部署一个微服务实例均将之前的部署方案假设为一个完整方案进行评价函数计算，如部署每条链的开头微服务时约束智能体将头结点微服务实例部署在请求率大的区域附近，当模型输出动作违反了资源约束需要给予适当的惩罚。结尾的微服务部署完成则意味着整个方案部署完毕需要给予模型正向的奖励，具体的Reward表达式如下式所示：
/>
其中表示表示时延参数影响因子，/>表示部署与路由负载均衡影响因子，/>表示当前动作导致部署失败的情况下的影响因子。/>表示接入网络延迟，/>表示计算时延，/>表示排队时延，/>表示传输时延，/>表示边缘云节点返回数据给用户的数据回传延时。/>表示智能体在做出正确决策后模型额外给予的正相奖励，促使训练模型趋向于寻找最优微服务部署与请求路由分配方案。
还应理解的是，为如果选择动作有效且/>，/>为如果选择动作有效且/>，/>为如果选择动作有效且，/>为如果选择动作无效。
在本实施例中参考图5，图5为本发明异构多边缘云协同微服务部署与路由联合优化方法第一实施例的强化学习微服务部署与路由调度联合优化算法架构图，图中提出的RSPPO算法与经典的on-policy Actor-Critic算法一样，包含独立的Actor与Critic网络，不同的是，为了克服样本利用率低的问题，RSPPO包含New actor 和Old actor两个网络来与环境交互，Critic类似于监督学习地根据当前环境所处的状态计算状态价值，评估动作执行后新状态的优劣。在训练阶段actor网络输入网络状态，由模型计算得到在当前状态下需要进行的部署路由动作，经过奖励塑形函数的稀疏后得到评价执行动作好坏的奖励值，并将奖励视为模型的反馈，用于约束模型寻找到最大化目标函数的部署路由动作。如Action部分所述，我们采用逐个部署微服务链的动作空间，意味着每轮动作Agent只部署了用户请求的一部分需求，这导致无法用将微服务链割裂的部署方案进行模型的更新，我们在训练中采用 Monte-Carlo(MC)方法，在训练中与环境互动采集多步样本，将智能体完成整个用户请求的部署路由轨迹路径用来计算累积奖励估计值函数评价状态优劣，进而在模型完成完整的用户请求部署路由方案后进行模型更新。详细训练过程如下算法步骤介绍所示：
1、随机初始化Actor network 、/> 和Critic network
2、for episode ；
3、初始化环境；
4、初始化环境状态为当前状态序列的第一个状态；
5、for 训练间隙；
6、输入状态到动作网络得到采样概率后的最佳动作。
7、在环境中执行当前动作
8、根据计算路由概率
9、得到下一个状态和执行当前动作后的奖励值/>
10、存储训练经验到经验池/>中
11、判断经验池中存储数据初恋是不是大于参数experience pool size
12、从经验池中采样数据得到
13、将采样后的数据输入到 />和/>两个网络中
14、计算状态值
15、计算蒙特卡洛折扣奖励：
16、继续从经验池中采样数据得到
17、输入到/>计算优势函数/>
18、通过最小均方误差更新critic网络参数:
19、采样动作数据
20、输入、/>到/>和/>网络中得到动作概率/>and
21、计算重要性采样权重
22、更新Actor-new 网络通过计算动作网络损失函数值
23、清空经验回放此
24、判断当前的时间步数是不是大于设置的更新步骤参数
25、满足判断条件从中更新Actor-old的参数。
还应理解的是，引入了在一个多边缘网络节点协同环境下用户请求偏好动态变化的微服务部署与路由联合优化问题，提供了基于启发式的水平伸缩算法自适应动态变化的用户请求偏好与强度，此外提出了一种基于奖励塑形的强化学习算法RSPPO解决多边缘复杂环境下微服务的部署与路由联合优化问题。提出的能够感知动态变化的用户请求和复杂的网络环境，在请求响应延迟、资源消耗、请求处理成功率、负载均衡性等多个目标上达到最优。
在本实施例中，首先对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型，然后基于微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量，之后根据微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型，最后将当前网络环境参数和用户请求特征输入至收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。相较于现有技术服务的部署和用户请求流量的调度通常被认为是独立的组件进行局部优化，或者只针对服务的部署进行服务时延与资源占用的优化而忽略了在高并发状态下容器弹性伸缩与用户请求流量的路由，而本实施例启发式算法对微服务实例进行水平伸缩以适应动态变化的用户请求，基于奖励塑形的强化学习算法（RSPPO），以最小化用户等待时延与边缘网络资源消耗，同时实现边缘节点间的负载均衡为目标解决了异构多边缘协作的微服务部署与请求路由问题。
参照图6，图6为本发明异构多边缘云协同微服务部署与路由联合优化系统第一实施例的结构框图。
如图6所示，本发明实施例提出的异构多边缘云协同微服务部署与路由联合优化系统包括：
建模模块7001，用于对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型。
确定模块7002，用于基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量。
所述确定模块7002，还用于基于所述微服务部署与路由优化模型获取当前用户请求的微服务链集合、用户请求到达率、系统预存的微服务的服务速率及用户请求链最大可容忍时延；
所述确定模块7002，还用于根据所述微服务链集合确定不同种类微服务集合；
所述确定模块7002，还用于根据所述不同种类微服务集合和所述用户请求到达率计算不同服务链汇聚到每种微服务的请求到达率之和；
所述确定模块7002，还用于根据所述微服务单体服务速率对应的权重和所述用户请求链最大可容忍时延确定最大可容忍任务完成时间列表；
所述确定模块7002，还用于从所述最大可容忍任务完成时间列表中选取最小可容忍时延；
所述确定模块7002，还用于根据所述最小可容忍时延、所述不同服务链汇聚到每种微服务的请求到达率之和、所述系统预存的微服务的服务速率及时延与通信时延的比值通过预设微服务实例公式得到用户时延约束的微服务实例数量；
所述预设微服务实例公式为：
式中，为用户时延约束的微服务实例数量，/>为不同服务链汇聚到每种微服务的请求到达率之和，/>为系统预存的微服务的服务速率，/>为最小可容忍时延，/>为时延与通信时延的比值。
训练模块7003，用于根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型。
所述训练模块7003，还用于确定当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息；
所述训练模块7003，还用于将所述当前边缘网络状态、所述部署的微服务信息及所述用户发出的微服务链请求信息作为状态空间；
所述训练模块7003，还用于根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型。
所述训练模块7003，还用于确定时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点返回数据给用户的数据回传时延及正相奖励；
所述训练模块7003，还用于根据所述时延参数影响因子、所述部署与路由负载均衡影响因子、所述当前动作导致部署失败的情况下的影响因子、所述接入网络延迟、所述计算时延、所述排队时延、所述传输时延、所述边缘云节点的数据回传时延及所述正相奖励构建奖励稀疏；
式中，R为奖励稀疏，为时延参数影响因子，/>为部署与路由负载均衡影响因子，/>为当前动作导致部署失败的情况下的影响因子，/>为接入网络延迟，/>为计算时延，/>为排队时延，/>为传输时延，/>为边缘云节点的数据回传时延，/>为正相奖励，G为负载均衡常数，|MC|为微服务链的总数量，/>为在边缘云网络节点n上微服务/>对应的用户请求到达率。
输出模块7004，用于将当前网络环境参数和用户请求特征输入至所述收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。
在本实施例中，首先对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型，然后基于微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量，之后根据微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型，最后将当前网络环境参数和用户请求特征输入至收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。相较于现有技术服务的部署和用户请求流量的调度通常被认为是独立的组件进行局部优化，或者只针对服务的部署进行服务时延与资源占用的优化而忽略了在高并发状态下容器弹性伸缩与用户请求流量的路由，而本实施例启发式算法对微服务实例进行水平伸缩以适应动态变化的用户请求，基于奖励塑形的强化学习算法（RSPPO），以最小化用户等待时延与边缘网络资源消耗，同时实现边缘节点间的负载均衡为目标解决了异构多边缘协作的微服务部署与请求路由问题。
本发明异构多边缘云协同微服务部署与路由联合优化系统的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种异构多边缘云协同微服务部署与路由联合优化方法，其特征在于，所述异构多边缘云协同微服务部署与路由联合优化方法，包括以下步骤：
对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型；
基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量；
根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型；
将当前网络环境参数和用户请求特征输入至所述收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。
2.如权利要求1所述的方法，其特征在于，所述基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量的步骤，包括：
基于所述微服务部署与路由优化模型获取当前用户请求的微服务链集合、用户请求到达率、系统预存的微服务的服务速率及用户请求链最大可容忍时延；
根据所述微服务链集合确定不同种类微服务集合；
根据所述不同种类微服务集合和所述用户请求到达率计算不同服务链汇聚到每种微服务的请求到达率之和；
根据所述微服务单体服务速率对应的权重和所述用户请求链最大可容忍时延确定最大可容忍任务完成时间列表；
从所述最大可容忍任务完成时间列表中选取最小可容忍时延；
根据所述最小可容忍时延、所述不同服务链汇聚到每种微服务的请求到达率之和、所述系统预存的微服务的服务速率及时延与通信时延的比值通过预设微服务实例公式得到用户时延约束的微服务实例数量；
所述预设微服务实例公式为：
；
式中，为用户时延约束的微服务实例数量，/>为不同服务链汇聚到每种微服务的请求到达率之和，/>为系统预存的微服务的服务速率，/>为最小可容忍时延，/>为时延与通信时延的比值。
3.如权利要求2所述的方法，其特征在于，所述根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型的步骤之前，还包括：
确定当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息；
将所述当前边缘网络状态、所述部署的微服务信息及所述用户发出的微服务链请求信息作为状态空间；
根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型。
4.如权利要求3所述的方法，其特征在于，所述根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型的步骤之前，还包括：
确定时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点返回数据给用户的数据回传时延及正相奖励；
根据所述时延参数影响因子、所述部署与路由负载均衡影响因子、所述当前动作导致部署失败的情况下的影响因子、所述接入网络延迟、所述计算时延、所述排队时延、所述传输时延、所述边缘云节点的数据回传时延及所述正相奖励构建奖励稀疏；
；
式中，R为奖励稀疏，为时延参数影响因子，/>为部署与路由负载均衡影响因子，/>为当前动作导致部署失败的情况下的影响因子，/>为接入网络延迟，/>为计算时延，/>为排队时延，/>为传输时延，/>为边缘云节点的数据回传时延，/>为正相奖励，G为负载均衡常数，|MC|为微服务链的总数量，/>为在边缘云网络节点n上微服务/>对应的用户请求到达率。
5.一种异构多边缘云协同微服务部署与路由联合优化系统，其特征在于，所述异构多边缘云协同微服务部署与路由联合优化系统包括：
建模模块，用于对微服务部署与路由联合优化问题进行建模，获得微服务部署与路由优化模型；
确定模块，用于基于所述微服务部署与路由优化模型根据当前用户请求偏好和流量大小通过启发式算法确定用户时延约束的微服务实例数量；
训练模块，用于根据所述微服务实例数量通过强化学习算法对初始微服务部署与路由决策模型进行训练，得到收敛微服务部署与路由决策模型；
输出模块，用于将当前网络环境参数和用户请求特征输入至所述收敛微服务部署与路由决策模型，得到微服务部署与请求路由方案。
6.如权利要求5所述的系统，其特征在于，所述确定模块，还用于基于所述微服务部署与路由优化模型获取当前用户请求的微服务链集合、用户请求到达率、系统预存的微服务的服务速率及用户请求链最大可容忍时延；
所述确定模块，还用于根据所述微服务链集合确定不同种类微服务集合；
所述确定模块，还用于根据所述不同种类微服务集合和所述用户请求到达率计算不同服务链汇聚到每种微服务的请求到达率之和；
所述确定模块，还用于根据所述微服务单体服务速率对应的权重和所述用户请求链最大可容忍时延确定最大可容忍任务完成时间列表；
所述确定模块，还用于从所述最大可容忍任务完成时间列表中选取最小可容忍时延；
所述确定模块，还用于根据所述最小可容忍时延、所述不同服务链汇聚到每种微服务的请求到达率之和、所述系统预存的微服务的服务速率及时延与通信时延的比值通过预设微服务实例公式得到用户时延约束的微服务实例数量；
所述预设微服务实例公式为：
；
式中，为用户时延约束的微服务实例数量，/>为不同服务链汇聚到每种微服务的请求到达率之和，/>为系统预存的微服务的服务速率，/>为最小可容忍时延，/>为时延与通信时延的比值。
7.如权利要求6所述的系统，其特征在于，所述训练模块，还用于确定当前边缘网络状态、部署的微服务信息及用户发出的微服务链请求信息；
所述训练模块，还用于将所述当前边缘网络状态、所述部署的微服务信息及所述用户发出的微服务链请求信息作为状态空间；
所述训练模块，还用于根据所述状态空间、动作空间及奖励稀疏架构初始微服务部署与路由决策模型。
8.如权利要求7所述的系统，其特征在于，所述训练模块，还用于确定时延参数影响因子、部署与路由负载均衡影响因子、当前动作导致部署失败的情况下的影响因子、接入网络延迟、计算时延、排队时延、传输时延、边缘云节点返回数据给用户的数据回传时延及正相奖励；
所述训练模块，还用于根据所述时延参数影响因子、所述部署与路由负载均衡影响因子、所述当前动作导致部署失败的情况下的影响因子、所述接入网络延迟、所述计算时延、所述排队时延、所述传输时延、所述边缘云节点的数据回传时延及所述正相奖励构建奖励稀疏；
；
式中，R为奖励稀疏，为时延参数影响因子，/>为部署与路由负载均衡影响因子，/>为当前动作导致部署失败的情况下的影响因子，/>为接入网络延迟，/>为计算时延，/>为排队时延，/>为传输时延，/>为边缘云节点的数据回传时延，/>为正相奖励，G为负载均衡常数，|MC|为微服务链的总数量，/>为在边缘云网络节点n上微服务对应的用户请求到达率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311157089.8A CN116915686B (zh) | 2023-09-08 | 2023-09-08 | 异构多边缘云协同微服务部署与路由联合优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311157089.8A CN116915686B (zh) | 2023-09-08 | 2023-09-08 | 异构多边缘云协同微服务部署与路由联合优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116915686A true CN116915686A (zh) | 2023-10-20 |
| CN116915686B CN116915686B (zh) | 2023-12-29 |
Family
ID=88367066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311157089.8A Active CN116915686B (zh) | 2023-09-08 | 2023-09-08 | 异构多边缘云协同微服务部署与路由联合优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116915686B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573379A (zh) * | 2024-01-16 | 2024-02-20 | 国网湖北省电力有限公司信息通信公司 | 一种基于对称放缩合并的微服务部署方法 |
| CN117640413A (zh) * | 2024-01-26 | 2024-03-01 | 国网湖北省电力有限公司信息通信公司 | 雾计算中基于强化学习的微服务和数据库联合部署方法 |
| CN117648123A (zh) * | 2024-01-30 | 2024-03-05 | 中国人民解放军国防科技大学 | 一种微服务快速集成方法、系统、设备及存储介质 |
| CN117692503A (zh) * | 2024-02-04 | 2024-03-12 | 国网湖北省电力有限公司信息通信公司 | 动态微服务图部署和概率请求路由的联合优化方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180270327A1 (en) * | 2017-03-17 | 2018-09-20 | International Business Machines Corporation | Automatic interdependency resolution for micro-service deployments |
| US20200396225A1 (en) * | 2019-06-17 | 2020-12-17 | Sap Se | Microservice Deployment |
| US20210019194A1 (en) * | 2019-07-16 | 2021-01-21 | Cisco Technology, Inc. | Multi-cloud service mesh orchestration platform |
| CN114338504A (zh) * | 2022-03-15 | 2022-04-12 | 武汉烽火凯卓科技有限公司 | 一种基于网络边缘系统的微服务部署和路由方法 |
| CN114615338A (zh) * | 2022-04-11 | 2022-06-10 | 河海大学 | 一种边缘环境中基于层共享的微服务部署方法及装置 |
| US20220225065A1 (en) * | 2021-01-14 | 2022-07-14 | Verizon Patent And Licensing Inc. | Systems and methods to determine mobile edge deployment of microservices |
| CN116233262A (zh) * | 2023-05-07 | 2023-06-06 | 湖北省楚天云有限公司 | 基于边缘网络架构的微服务部署与请求路由方法及系统 |
-
2023
- 2023-09-08 CN CN202311157089.8A patent/CN116915686B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180270327A1 (en) * | 2017-03-17 | 2018-09-20 | International Business Machines Corporation | Automatic interdependency resolution for micro-service deployments |
| US20200396225A1 (en) * | 2019-06-17 | 2020-12-17 | Sap Se | Microservice Deployment |
| US20210019194A1 (en) * | 2019-07-16 | 2021-01-21 | Cisco Technology, Inc. | Multi-cloud service mesh orchestration platform |
| US20220225065A1 (en) * | 2021-01-14 | 2022-07-14 | Verizon Patent And Licensing Inc. | Systems and methods to determine mobile edge deployment of microservices |
| CN114338504A (zh) * | 2022-03-15 | 2022-04-12 | 武汉烽火凯卓科技有限公司 | 一种基于网络边缘系统的微服务部署和路由方法 |
| CN114615338A (zh) * | 2022-04-11 | 2022-06-10 | 河海大学 | 一种边缘环境中基于层共享的微服务部署方法及装置 |
| CN116233262A (zh) * | 2023-05-07 | 2023-06-06 | 湖北省楚天云有限公司 | 基于边缘网络架构的微服务部署与请求路由方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JIAXIANG XU: "《A spatial multiplexing MIMO scheme with beamforming and space-time block coding for downlink transmission》", 《2013 IEEE 24TH ANNUAL INTERNATIONAL SYMPOSIUM ON PERSONAL, INDOOR, AND MOBILE RADIO COMMUNICATIONS (PIMRC)》 * |
| 彭凯: "《主动式微服务细粒度弹性缩放算法研究》", 《计算机工程与应用》 * |
| 李国燕;任雅娟;刘毅;乔富强;刘艺柱;: "一种面向SDN/NFV的多目标优化服务功能链部署策略", 传感器与微系统, no. 09 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573379A (zh) * | 2024-01-16 | 2024-02-20 | 国网湖北省电力有限公司信息通信公司 | 一种基于对称放缩合并的微服务部署方法 |
| CN117573379B (zh) * | 2024-01-16 | 2024-03-29 | 国网湖北省电力有限公司信息通信公司 | 一种基于对称放缩合并的微服务部署方法 |
| CN117640413A (zh) * | 2024-01-26 | 2024-03-01 | 国网湖北省电力有限公司信息通信公司 | 雾计算中基于强化学习的微服务和数据库联合部署方法 |
| CN117640413B (zh) * | 2024-01-26 | 2024-04-26 | 国网湖北省电力有限公司信息通信公司 | 雾计算中基于强化学习的微服务和数据库联合部署方法 |
| CN117648123A (zh) * | 2024-01-30 | 2024-03-05 | 中国人民解放军国防科技大学 | 一种微服务快速集成方法、系统、设备及存储介质 |
| CN117648123B (zh) * | 2024-01-30 | 2024-06-11 | 中国人民解放军国防科技大学 | 一种微服务快速集成方法、系统、设备及存储介质 |
| CN117692503A (zh) * | 2024-02-04 | 2024-03-12 | 国网湖北省电力有限公司信息通信公司 | 动态微服务图部署和概率请求路由的联合优化方法及系统 |
| CN117692503B (zh) * | 2024-02-04 | 2024-04-26 | 国网湖北省电力有限公司信息通信公司 | 动态微服务图部署和概率请求路由的联合优化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116915686B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116915686B (zh) | 异构多边缘云协同微服务部署与路由联合优化方法及系统 | |
| CN111835827B (zh) | 物联网边缘计算任务卸载方法及系统 | |
| CN112000459B (zh) | 一种用于服务的扩缩容的方法及相关设备 | |
| CN109818786B (zh) | 一种云数据中心应用可感知的分布式多资源组合路径最优选取方法 | |
| JP2022137182A (ja) | 連合学習方法、装置、機器及び記憶媒体 | |
| CN106933649B (zh) | 基于移动平均和神经网络的虚拟机负载预测方法及系统 | |
| CN115659281B (zh) | 一种自适应加速算子融合的方法及装置 | |
| Yao et al. | Performance optimization of serverless edge computing function offloading based on deep reinforcement learning | |
| CN115086189B (zh) | 一种面向无服务器计算的服务资源弹性伸缩方法和系统 | |
| EP4024212B1 (en) | Method for scheduling inference workloads on edge network resources | |
| CN113822456A (zh) | 一种云雾混构环境下基于深度强化学习的服务组合优化部署方法 | |
| CN108805611A (zh) | 广告筛选方法及装置 | |
| CN116257363B (zh) | 资源调度方法、装置、设备及存储介质 | |
| CN113657634A (zh) | 银行网点排队等待时长预测方法及装置 | |
| Xiao et al. | Collaborative cloud-edge service cognition framework for DNN configuration toward smart IIoT | |
| Islam et al. | An empirical study into adaptive resource provisioning in the cloud | |
| KR102590112B1 (ko) | 사물인터넷 환경에서 분산 머신 러닝 학습을 위한 코딩 및 인센티브 기반 메커니즘 | |
| CN110971683B (zh) | 基于强化学习的服务组合方法 | |
| Kannan et al. | A multi-objective load balancing and power minimization in cloud using bio-inspired algorithms | |
| CN114650321A (zh) | 用于边缘计算的任务调度方法及边缘计算终端 | |
| CN112700003A (zh) | 网络结构搜索方法、装置、设备、存储介质及程序产品 | |
| CN115499511B (zh) | 一种基于时空图神经网络负载预测的微服务主动伸缩方法 | |
| CN113672372B (zh) | 一种基于强化学习的多边缘协同负载均衡任务调度方法 | |
| Sharma et al. | Intelligent service placement algorithm based on DDQN and prioritized experience replay in IoT-Fog computing environment | |
| CN116339932A (zh) | 资源调度方法、装置和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |