CN114301922A - 一种具延迟感知负载平衡的反向代理方法和存储设备 - Google Patents
一种具延迟感知负载平衡的反向代理方法和存储设备 Download PDFInfo
- Publication number
- CN114301922A CN114301922A CN202011068027.6A CN202011068027A CN114301922A CN 114301922 A CN114301922 A CN 114301922A CN 202011068027 A CN202011068027 A CN 202011068027A CN 114301922 A CN114301922 A CN 114301922A
- Authority
- CN
- China
- Prior art keywords
- server
- edge server
- service
- application service
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000008447 perception Effects 0.000 title description 2
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Abstract
一种具延迟感知负载平衡的反向代理方法和存储设备。其方法步骤为：将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；通过边缘服务器中的资源指标服务器监控边缘服务器的内外使用资源参数；根据内外使用资源参数对应用服务扩展数量进行调整。通过将反向代理服务器与应用服务设置于边缘服务器中，通过边缘服务器中的内部通讯可大大减少数据于网络传输中的时间花费，进而减少客户等待服务的响应延迟。
Description
技术领域
本发明涉及反向代理技术领域，特别涉及一种具延迟感知负载平衡的反向代理方法和存储设备。
背景技术
Reverse Proxy Server反向代理服务器为一客户端和服务器之间的通信的中介，在接受来自客户端的请求后，将其转发到可以满足该请求的服务器，然后将服务器的响应返回给客户端，由于客户端仅能看到反向代理的IP地址，因此服务提供商可以自由更改后端基础结构的配置，经由上下扩展服务器的数量以匹配流量的波动。因此，反向代理服务器除了视为一个网站的公开面孔外，亦能当作一个Load Balancing负载平衡控制器。
虽然Reverse Proxy Server反向代理服务器提供了后端服务的可扩展性和灵活性，但由于反向代理服务器仍需与后端各服务器沟通，以完成反向代理工作与提供后端服务(这边指的是各种SERVER)扩展数量之依据，因此在反向代理服务器与后端各服务器之间存在着内部通讯之开销，此外亦造成后端服务扩展无法实时对应流量的波动。(因有通讯延迟，所以后端服务扩展的数量，可能无法实时与当前反向代理服务器所收到的流量对应)。可以理解为当服务拓展数量较大，但反向代理服务器目前可接受的较少，或是服务拓展数量较小，但反向代理服务器目前可接受的较多时，只要双方数量对不起来就会延迟，效能不好。
发明内容
为此，需要提供一种具延迟感知负载平衡的反向代理方法，用以解决反向代理服务器与后端服务数量不对称时，造成通讯延迟、效能低的问题。具体技术方案如下：
一种具延迟感知负载平衡的反向代理方法，包括步骤：
将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；
通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；
根据所述内外使用资源参数对所述应用服务扩展数量进行调整。
进一步的，所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”前，还包括步骤：
响应客户端指令，所述反向代理服务器根据所述指令反向代理至当前负载最低的应用服务；
所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，还包括步骤：
所述边缘服务器中的资源指标服务器汇集当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量；
所述资源指标服务器发送所述当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量至所述服务自动伸缩控制器；
所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器根据预设法则判断是否更新应用服务数量，若更新应用服务数量，则重复步骤“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，若不需要更新应用服务数量，则所述资源指标服务器汇集所述边缘服务器当前各应用服务的资源使用率并发送所述当前各应用服务的资源使用率至反向代理服务器。
进一步的，所述预设法则为负载平衡法则；
所述负载平衡法则模型包括：Container服务器，所述Container服务器对单一请求用户的服务时间平均为
的指数分布，其中
表示第j个服务器的运算封包服务率。
进一步的，所述预设法则为负载平衡法则；
所述负载平衡计算流程如下：
输入：
M：使用者数量；
N：应用服务数量；
λi：数据传输量；
输出：
初始化：初始化最佳计算服务器之比例表格
并更新时间戳tU；
循环开始：
于时间戳tU前的每次间格中搜寻MEC中最大计算服务功能的容量
更新先前纪录之MEC计算服务功能的容量，
更新最佳计算服务器之比例表格
结束循环。
进一步的，所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器通过Pod水平自动扩展对所述应用服务扩展数量进行调整；
所需Pod容器数量＝ceil[当前Pod容器数量*(当前度量值/指定目标值)]。
为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
一种存储设备，其中存储有指令集，所述指令集用于执行：将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；
通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；
根据所述内外使用资源参数对所述应用服务扩展数量进行调整。
进一步的，所述指令集还用于执行：所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”前，还包括步骤：
响应客户端指令，所述反向代理服务器根据所述指令反向代理至当前负载最低的应用服务；
所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，还包括步骤：
所述边缘服务器中的资源指标服务器汇集当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量；
所述资源指标服务器发送所述当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量至所述服务自动伸缩控制器；
所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器根据预设法则判断是否更新应用服务数量，若更新应用服务数量，则重复步骤“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，若不需要更新应用服务数量，则所述资源指标服务器汇集所述边缘服务器当前各应用服务的资源使用率并发送所述当前各应用服务的资源使用率至反向代理服务器。
进一步的，所述指令集还用于执行：所述预设法则为负载平衡法则；
所述负载平衡法则模型包括：Container服务器，所述Container服务器对单一请求用户的服务时间平均为
的指数分布，其中
表示第j个服务器的运算封包服务率。
进一步的，所述指令集还用于执行：所述预设法则为负载平衡法则；
所述负载平衡计算流程如下：
输入：
M：使用者数量；
N：应用服务数量；
λi：数据传输量；
输出：
初始化：初始化最佳计算服务器之比例表格
并更新时间戳tU；
循环开始：
于时间戳tU前的每次间格中搜寻MEC中最大计算服务功能的容量
更新先前纪录之MEC计算服务功能的容量，
更新最佳计算服务器之比例表格
结束循环。
进一步的，所述指令集还用于执行：所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器通过Pod水平自动扩展对所述应用服务扩展数量进行调整；
所需Pod容器数量＝ceil[当前Pod容器数量*(当前度量值/指定目标值)]。
本发明的有益效果是：将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；根据所述内外使用资源参数对所述应用服务扩展数量进行调整。通过将反向代理服务器与应用服务设置于边缘服务器中，藉由边缘服务器中的内部通讯可大大减少数据于网络传输中的时间花费，进而减少客户等待服务的响应延迟。此外通过边缘服务器内的资源指标服务器来监控所述边缘服务器的内外使用资源参数，进而根据所述内外使用资源参数来对所述应用服务扩展数量进行调整，可以使得边缘服务器的效能最大化以提供客户端低响应延迟的服务。
附图说明
图1为具体实施方式所述一种具延迟感知负载平衡的反向代理方法的流程图一；
图2为具体实施方式所述一种具延迟感知负载平衡的反向代理方法的流程图二；
图3为具体实施方式所述SDA架构示意图；
图4为具体实施方式所述负载平衡法则模型示意图；
图5为具体实施方式所述一种存储设备的模块示意图。
附图标记说明：
500、存储设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1至图4，在本实施方式中，一种具延迟感知负载平衡的反向代理方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。
本申请的核心技术点在于：其一将反向代理服务器与应用服务设置于边缘服务器中，利用边缘服务器中的内部通讯可大大减少数据于网络传输中的时间花费，进而减少客户等待服务的响应延迟。其二通过边缘服务器内的资源指标服务器来监控所述边缘服务器的内外使用资源参数，进而根据所述内外使用资源参数来对所述应用服务扩展数量进行调整，可以使得边缘服务器的效能最大化以提供客户端低响应延迟的服务。
以下进行具体说明，首先对文中与附图中的一些中英文进行对应说明：
资源指标服务器:Metrics Server；
边缘服务器:Edge Server；
POD水平自动扩展:HorizontalPodAustoscaler；
反向代理服务器:Reverse Proxy Server；
SDA：Software-Defined Architecture；
Application Service：应用服务。
具体的层级架构与连接请参阅图3，以下也进行具体说明：
以容器管理系统Kubernetes开源系统架设：资源指标服务器Metrics Server、Reverse Proxy Server、Pod水平自动扩展缩Horizontal Pod Autoscaler各应用服务Application Service。以下展开具体说明：
1、资源指标服务器Metrics Server：(负责监控的)是在边缘服务器里面：1)、监控与汇集Edge Server系统中各Application Service当前使用的资源状态，以及EdgeServer的网络传输量；2)、回报监控与汇集给Reverse Proxy Server与Horizontal PodAutoscaler。
2、Reverse Proxy Server：1)、反向代理Application Service；2)、平衡EdgeServer中各Application Service之负载。
3、Horizontal Pod Autoscaler：自动扩展与部署Application Service。
请参阅图1，所述一种具延迟感知负载平衡的反向代理方法的具体实施如下：
步骤S101：将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中。
步骤S102：通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间。
步骤S103：根据所述内外使用资源参数对所述应用服务扩展数量进行调整。
将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；根据所述内外使用资源参数对所述应用服务扩展数量进行调整。通过将反向代理服务器与应用服务设置于边缘服务器中，藉由边缘服务器中的内部通讯可大大减少数据于网络传输中的时间花费，进而减少客户等待服务的响应延迟。此外通过边缘服务器内的资源指标服务器来监控所述边缘服务器的内外使用资源参数，进而根据所述内外使用资源参数来对所述应用服务扩展数量进行调整，可以使得边缘服务器的效能最大化以提供客户端低响应延迟的服务。
请参阅图2，在所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”前，还包括步骤S201：响应客户端指令，所述反向代理服务器根据所述指令反向代理至当前负载最低的应用服务。
步骤S202：所述边缘服务器中的资源指标服务器汇集当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量。
步骤S203：所述资源指标服务器发送所述当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量至所述服务自动伸缩控制器。
步骤S204：所述服务自动伸缩控制器根据预设法则判断是否更新应用服务数量？若更新应用服务数量，则重复步骤202和步骤S203。
若不需要更新应用服务数量，则执行步骤S205：则所述资源指标服务器汇集所述边缘服务器当前各应用服务的资源使用率并发送所述当前各应用服务的资源使用率至反向代理服务器。
请参阅图4，在本实施方式中，所述预设法则为负载平衡法则；
所述负载平衡法则模型包括：Container服务器，所述Container服务器对单一请求用户的服务时间平均为
的指数分布，其中
表示第j个服务器的运算封包服务率。RP是包含了N×N个参数的运算服务链Service Chain卸除表(computing offloadingratio table)。
表示运算流量从第j个Container卸除到第s个Container的机率。在MEC系统中，单一Container的运算流量可能由系统中所有的Container卸除处理，数学关系式为
在此架构模型中，我们采用的负载平衡算法计算流程如下：
输入：
M：使用者数量；
N：应用服务数量；
λi：数据传输量；
输出：
初始化：初始化最佳计算服务器之比例表格
并更新时间戳tU；
循环开始：
于时间戳tU前的每次间格中搜寻MEC中最大计算服务功能的容量
更新先前纪录之MEC计算服务功能的容量，
更新最佳计算服务器之比例表格
结束循环。
在本实施方式中，所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：所述服务自动伸缩控制器通过Pod水平自动扩展对所述应用服务扩展数量进行调整；所需Pod容器数量＝ceil[当前Pod容器数量*(当前度量值/指定目标值)]。具体可如下：Pod水平自动扩展(Horizontal Pod Autoscaler,HPA)为管理容器化开源系统-Kubernetes所提供之一应用程序接口(Application Programming Interface,API)，可根据观察到的指标来自动缩放复制与部署Kubernetes中的Pod容器。HPA可视为一资源确定控制器，会定期调整部署中Pod容器的数量，以使观察到的平均指针使用率与指定的目标相匹配，其最基本的配置法则为以所需指定目标值与当前度量值之间的比率运行：所需Pod容器数量＝ceil[当前Pod容器数量×(当前度量值/指定目标值)]。
请参阅图5，在本实施方式中，一种存储设备500的具体实施方式如下：
一种存储设备500，其中存储有指令集，所述指令集用于执行：将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；根据所述内外使用资源参数对所述应用服务扩展数量进行调整。
其中具体的层级架构与连接请参阅图3，以下也进行具体说明：
以容器管理系统Kubernetes开源系统架设：资源指标服务器Metrics Server、Reverse Proxy Server、Pod水平自动扩展缩Horizontal Pod Autoscaler各应用服务Application Service。以下展开具体说明：
1、资源指标服务器Metrics Server：(负责监控的)是在边缘服务器里面：1)、监控与汇集Edge Server系统中各Application Service当前使用的资源状态，以及EdgeServer的网络传输量；2)、回报监控与汇集给Reverse Proxy Server与Horizontal PodAutoscaler。
2、Reverse Proxy Server：1)、反向代理Application Service；2)、平衡EdgeServer中各Application Service之负载。
3、Horizontal Pod Autoscaler：自动扩展与部署Application Service。
将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；根据所述内外使用资源参数对所述应用服务扩展数量进行调整。通过将反向代理服务器与应用服务设置于边缘服务器中，藉由边缘服务器中的内部通讯可大大减少数据于网络传输中的时间花费，进而减少客户等待服务的响应延迟。此外通过边缘服务器内的资源指标服务器来监控所述边缘服务器的内外使用资源参数，进而根据所述内外使用资源参数来对所述应用服务扩展数量进行调整，可以使得边缘服务器的效能最大化以提供客户端低响应延迟的服务。
进一步的，所述指令集还用于执行：所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”前，还包括步骤：响应客户端指令，所述反向代理服务器根据所述指令反向代理至当前负载最低的应用服务；所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，还包括步骤：所述边缘服务器中的资源指标服务器汇集当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量；所述资源指标服务器发送所述当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量至所述服务自动伸缩控制器；所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：所述服务自动伸缩控制器根据预设法则判断是否更新应用服务数量，若更新应用服务数量，则重复步骤“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，若不需要更新应用服务数量，则所述资源指标服务器汇集所述边缘服务器当前各应用服务的资源使用率并发送所述当前各应用服务的资源使用率至反向代理服务器。
进一步的，所述指令集还用于执行：所述预设法则为负载平衡法则；所述负载平衡法则模型包括：Container服务器，所述Container服务器对单一请求用户的服务时间平均为
的指数分布，其中
表示第j个服务器的运算封包服务率。RP是包含了N×N个参数的运算服务链Service Chain卸除表(computing offloading ratio table)。
表示运算流量从第j个Container卸除到第s个Container的机率。在MEC系统中，单一Container的运算流量可能由系统中所有的Container卸除处理，数学关系式为
进一步的，所述指令集还用于执行：所述预设法则为负载平衡法则；所述负载平衡计算流程如下：
输入：
M：使用者数量；
N：应用服务数量；
λi：数据传输量；
输出：
初始化：初始化最佳计算服务器之比例表格
并更新时间戳tU；
循环开始：
于时间戳tU前的每次间格中搜寻MEC中最大计算服务功能的容量
更新先前纪录之MEC计算服务功能的容量，
更新最佳计算服务器之比例表格
结束循环。
进一步的，所述指令集还用于执行：所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：所述服务自动伸缩控制器通过Pod水平自动扩展对所述应用服务扩展数量进行调整；所需Pod容器数量＝ceil[当前Pod容器数量*(当前度量值/指定目标值)]。具体可如下：Pod水平自动扩展(Horizontal Pod Autoscaler,HPA)为管理容器化开源系统-Kubernetes所提供之一应用程序接口(Application ProgrammingInterface,API)，可根据观察到的指标来自动缩放复制与部署Kubernetes中的Pod容器。HPA可视为一资源确定控制器，会定期调整部署中Pod容器的数量，以使观察到的平均指针使用率与指定的目标相匹配，其最基本的配置法则为以所需指定目标值与当前度量值之间的比率运行：所需Pod容器数量＝ceil[当前Pod容器数量×(当前度量值/指定目标值)]。
度量值为当前系统量测后计算出的平均服务相应延迟，目标值则为设定时给定的预期服务响应延迟。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (10)
1.一种具延迟感知负载平衡的反向代理方法，其特征在于，包括步骤：
将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；
通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；
根据所述内外使用资源参数对所述应用服务扩展数量进行调整。
2.根据权利要求1所述的一种具延迟感知负载平衡的反向代理方法，其特征在于，所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”前，还包括步骤：
响应客户端指令，所述反向代理服务器根据所述指令反向代理至当前负载最低的应用服务；
所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，还包括步骤：
所述边缘服务器中的资源指标服务器汇集当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量；
所述资源指标服务器发送所述当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量至所述服务自动伸缩控制器；
所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器根据预设法则判断是否更新应用服务数量，若更新应用服务数量，则重复步骤“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，若不需要更新应用服务数量，则所述资源指标服务器汇集所述边缘服务器当前各应用服务的资源使用率并发送所述当前各应用服务的资源使用率至反向代理服务器。
3.根据权利要求2所述的一种具延迟感知负载平衡的反向代理方法，其特征在于，所述预设法则为负载平衡法则；
所述负载平衡法则模型包括：Container服务器，所述Container服务器对单一请求用户的服务时间平均为
的指数分布，其中
表示第j个服务器的运算封包服务率。
4.根据权利要求2所述的一种具延迟感知负载平衡的反向代理方法，其特征在于，所述预设法则为负载平衡法则；
所述负载平衡计算流程如下：
输入：
M：使用者数量；
N：应用服务数量；
λi：数据传输量；
输出：
初始化：初始化最佳计算服务器之比例表格
并更新时间戳tU；
循环开始：
于时间戳tU前的每次间格中搜寻MEC中最大计算服务功能的容量
更新先前纪录之MEC计算服务功能的容量，
更新最佳计算服务器之比例表格
结束循环。
5.根据权利要求1所述的一种具延迟感知负载平衡的反向代理方法，其特征在于，所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器通过Pod水平自动扩展对所述应用服务扩展数量进行调整；
所需Pod容器数量＝ceil[当前Pod容器数量*(当前度量值/指定目标值)]。
6.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：将反向代理服务器、应用服务和服务自动伸缩控制器以软件自定义结构设置于边缘服务器中；
通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数，所述内外使用资源参数包括以下中的一种或多种：边缘服务器外的网络传输量、边缘服务器中各应用服务的资源使用率、服务响应延迟时间；
根据所述内外使用资源参数对所述应用服务扩展数量进行调整。
7.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”前，还包括步骤：
响应客户端指令，所述反向代理服务器根据所述指令反向代理至当前负载最低的应用服务；
所述“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，还包括步骤：
所述边缘服务器中的资源指标服务器汇集当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量；
所述资源指标服务器发送所述当前边缘服务器中各应用服务的资源使用率和边缘服务器外的网络传输量至所述服务自动伸缩控制器；
所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器根据预设法则判断是否更新应用服务数量，若更新应用服务数量，则重复步骤“通过所述边缘服务器中的资源指标服务器监控所述边缘服务器的内外使用资源参数”，若不需要更新应用服务数量，则所述资源指标服务器汇集所述边缘服务器当前各应用服务的资源使用率并发送所述当前各应用服务的资源使用率至反向代理服务器。
8.根据权利要求7所述的一种存储设备，其特征在于，所述指令集还用于执行：所述预设法则为负载平衡法则；
所述负载平衡法则模型包括：Container服务器，所述Container服务器对单一请求用户的服务时间平均为
的指数分布，其中
表示第j个服务器的运算封包服务率。
9.根据权利要求7所述的一种存储设备，其特征在于，所述指令集还用于执行：所述预设法则为负载平衡法则；
所述负载平衡计算流程如下：
输入：
M：使用者数量；
N：应用服务数量；
λi：数据传输量；
输出：
初始化：初始化最佳计算服务器之比例表格
并更新时间戳tU；
循环开始：
于时间戳tU前的每次间格中搜寻MEC中最大计算服务功能的容量
更新先前纪录之MEC计算服务功能的容量，
更新最佳计算服务器之比例表格
结束循环。
10.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“根据所述内外使用资源参数对所述应用服务扩展数量进行调整”，还包括步骤：
所述服务自动伸缩控制器通过Pod水平自动扩展对所述应用服务扩展数量进行调整；
所需Pod容器数量＝ceil[当前Pod容器数量*(当前度量值/指定目标值)]。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109134810 | 2020-10-07 | ||
| TW109134810A TWI766387B (zh) | 2020-10-07 | 2020-10-07 | 一種具延遲感知負載平衡的反向代理方法和存儲裝置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114301922A true CN114301922A (zh) | 2022-04-08 |
Family
ID=80964075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011068027.6A Pending CN114301922A (zh) | 2020-10-07 | 2020-10-08 | 一种具延迟感知负载平衡的反向代理方法和存储设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114301922A (zh) |
| TW (1) | TWI766387B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI821038B (zh) * | 2022-11-22 | 2023-11-01 | 財團法人工業技術研究院 | 運算工作分派方法及應用其之終端電子裝置與運算系統 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109150616A (zh) * | 2018-09-03 | 2019-01-04 | 成都嗨翻屋科技有限公司 | 一种可自动增加https入口的智能型网关及其工作方法 |
| CN109362064A (zh) * | 2018-09-14 | 2019-02-19 | 重庆邮电大学 | 在移动边缘计算网络中基于mec的任务缓存分配策略 |
| CN110837418A (zh) * | 2019-11-06 | 2020-02-25 | 浪潮云信息技术有限公司 | 一种基于容器的高并发web系统及实现方法 |
| CN110933134A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院计算机网络信息中心 | 一种面向工业互联网的边缘计算服务器负载均衡方法及系统 |
| CN111444009A (zh) * | 2019-11-15 | 2020-07-24 | 北京邮电大学 | 一种基于深度强化学习的资源分配方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7849090B2 (en) * | 2005-03-30 | 2010-12-07 | Primal Fusion Inc. | System, method and computer program for faceted classification synthesis |
| US8719547B2 (en) * | 2009-09-18 | 2014-05-06 | Intel Corporation | Providing hardware support for shared virtual memory between local and remote physical memory |
| US8914521B2 (en) * | 2011-09-27 | 2014-12-16 | Oracle International Corporation | System and method for providing active-passive routing in a traffic director environment |
| TWI546688B (zh) * | 2014-02-18 | 2016-08-21 | 群暉科技股份有限公司 | 對網路位址進行處理的方法及相關的伺服器與非暫態電腦可讀取儲存媒體 |
| JP6476995B2 (ja) * | 2015-02-24 | 2019-03-06 | 沖電気工業株式会社 | 中継装置、コンテンツ配信システム、中継方法およびプログラム |
| CN107667517B (zh) * | 2015-06-03 | 2021-03-19 | 瑞典爱立信有限公司 | 用于能够实现第二容器上的反向代理的在第一服务容器内的被植入代理器 |
-
2020
- 2020-10-07 TW TW109134810A patent/TWI766387B/zh active
- 2020-10-08 CN CN202011068027.6A patent/CN114301922A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109150616A (zh) * | 2018-09-03 | 2019-01-04 | 成都嗨翻屋科技有限公司 | 一种可自动增加https入口的智能型网关及其工作方法 |
| CN109362064A (zh) * | 2018-09-14 | 2019-02-19 | 重庆邮电大学 | 在移动边缘计算网络中基于mec的任务缓存分配策略 |
| CN110933134A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院计算机网络信息中心 | 一种面向工业互联网的边缘计算服务器负载均衡方法及系统 |
| CN110837418A (zh) * | 2019-11-06 | 2020-02-25 | 浪潮云信息技术有限公司 | 一种基于容器的高并发web系统及实现方法 |
| CN111444009A (zh) * | 2019-11-15 | 2020-07-24 | 北京邮电大学 | 一种基于深度强化学习的资源分配方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202215262A (zh) | 2022-04-16 |
| TWI766387B (zh) | 2022-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109218355B (zh) | 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法 | |
| CN110769038B (zh) | 服务器调度方法及装置、存储介质、电子设备 | |
| CN109981744B (zh) | 数据的分发方法、装置、存储介质及电子设备 | |
| US8005654B2 (en) | Method, apparatus and computer program product for intelligent workload control of distributed storage | |
| CN113709048A (zh) | 一种路由信息的发送、接收方法、网元及节点设备 | |
| CN111600967B (zh) | 一种基于访问压力的区块链节点间负载均衡系统 | |
| CN111277511B (zh) | 传输速率控制方法、装置、计算机系统及可读存储介质 | |
| CN110768913A (zh) | 流量控制方法及装置 | |
| CN105144109A (zh) | 分布式数据中心技术 | |
| CN106454947A (zh) | 一种ap接入负载均衡方法 | |
| CN113885794B (zh) | 基于多云存储的数据访问方法、装置、计算机设备及介质 | |
| Chen et al. | Latency minimization for mobile edge computing networks | |
| US8473769B2 (en) | Efficient routing of computing tasks | |
| CN114301922A (zh) | 一种具延迟感知负载平衡的反向代理方法和存储设备 | |
| CN103209102A (zh) | Web服务质量的分布式测量系统和方法 | |
| CN111988388B (zh) | 流量分配的方法、装置、电子设备及存储介质 | |
| CN103607731A (zh) | 一种测量报告的处理方法及装置 | |
| CN110689175A (zh) | 混沌多重宇宙的分布式绿色云数据中心能耗优化方法 | |
| CN115567597A (zh) | 一种支付结算系统的报文请求转发方法及装置 | |
| CN111901401B (zh) | 一种会话管理功能smf负载均衡的方法及其设备 | |
| CN113258679A (zh) | 基于服务器实例缩容的电网监控系统通道分配方法 | |
| CN106210120A (zh) | 一种服务器的推荐方法及其装置 | |
| CN110933135A (zh) | 在计算机设备中建立网络连接的方法和装置 | |
| CN113747506A (zh) | 一种资源调度方法、装置和网络系统 | |
| CN113347016B (zh) | 基于资源占用和时延敏感的虚拟化网络功能迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |