CN116866357A - 一种多云容器集群资源优化管理方法及系统 - Google Patents
一种多云容器集群资源优化管理方法及系统 Download PDFInfo
- Publication number
- CN116866357A CN116866357A CN202311132098.1A CN202311132098A CN116866357A CN 116866357 A CN116866357 A CN 116866357A CN 202311132098 A CN202311132098 A CN 202311132098A CN 116866357 A CN116866357 A CN 116866357A
- Authority
- CN
- China
- Prior art keywords
- cloud server
- user
- determining
- boundary
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 20
- 238000007726 management method Methods 0.000 title claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 5
- 238000013468 resource allocation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及电数字数据处理技术领域,具体涉及一种多云容器集群资源优化管理方法及系统,通过获取各个云服务器的相关数据,从而确定各个云服务器的分流必要性指标;确定各个云服务器的覆盖范围内的每个用户的访问数据默认特征密度,并结合各个云服务器的分流必要性指标,确定各个边界用户;确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数。对所目标函数进行求解,确定每个边界用户要切换的云服务器,并进行切换。本发明通过自适应确定分流分配方案,有效提高了分流逻辑的合理性。
Description
技术领域
本发明涉及电数字数据处理技术领域,具体涉及一种多云容器集群资源优化管理方法及系统。
背景技术
多云容器集群是指在多个云服务提供商(如AWS、Azure、Google Cloud等)之间建立的容器化应用程序的集群,多云容器集群结合了容器技术和多云环境,使应用程序能够跨多个云平台进行部署和管理。在多云容器集群中,应用程序被打包为容器,并使用容器编排工具(如Kubernetes)来管理容器的调度和资源分配。容器化应用程序可以在不同的云服务提供商之间无缝迁移,以实现高可用性、灵活性和弹性扩展。
多云容器集群适用于各种类型的应用程序,其中对于需要覆盖多个地理位置的应用程序,多云容器集群可以实现跨地理位置的部署。通过将容器分布在不同的云平台上,可以提供更好的用户体验和地理冗余,但是跨地域、跨云平台来管理应用程序数据也带来了一些挑战,如服务器延迟响应和数据一致性等问题。由于各容器集群在不同地理位置所承担的运行压力不同,需要对应用程序进行容器资源分配优化,以分流的方式减少多云平台的负载,提高应用程序响应速度。但是传统负载均衡器在处理分流问题时仅遵循“高负载分流、低负载补流”的分流逻辑,分流逻辑较为死板,存在分流成本、分流效果、服务器浪费等一系列问题,分流合理性较差。
发明内容
本发明的目的在于提供一种多云容器集群资源优化管理方法及系统,用于解决现有进行容器资源分配优化时分流逻辑不合理的问题。
为解决上述技术问题,本发明提供了一种多云容器集群资源优化管理方法,包括以下步骤:
获取各个云服务器的相关数据,并根据所述相关数据,确定各个云服务器的分流必要性指标,所述相关数据至少包括各个历史请求响应延迟时长、各个历史用户访问流量、当前负载数据体量和当前应用程序用户访问数据体量;
对于任意一个云服务器,将该云服务器的覆盖范围内的每个用户作为目标用户,确定所述目标用户的搜索窗口区域,根据所述搜索窗口区域内的各个用户到该云服务器的距离、所述各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定所述目标用户的访问数据默认特征密度;并根据该云服务器的覆盖范围内的各个用户的访问数据默认特征密度和该云服务器的分流必要性指标,确定该云服务器的边界用户;
确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数;
对所述目标函数进行求解,确定每个边界用户要切换的云服务器,并将每个边界用户从其所在覆盖范围的云服务器切换到其要切换的云服务器。
进一步的,确定各个云服务器的分流必要性指标,包括:
根据每个云服务器的各个历史请求响应延迟时长和各个历史用户访问流量,确定各个历史请求响应延迟时长的方差、各个历史用户访问流量的方差、以及各个历史请求响应延迟时长与各个历史用户访问流量的协方差;
根据所述各个历史请求响应延迟时长的方差、各个历史用户访问流量的方差、以及各个历史请求响应延迟时长与各个历史用户访问流量的协方差,确定每个云服务器的访问延迟量和流量波动相关系数;
根据所述访问延迟量和流量波动相关系数、当前负载数据体量和当前应用程序用户访问数据体量,确定每个云服务器的分流必要性指标。
进一步的,确定每个云服务器的访问延迟量和流量波动相关系数,包括:
计算所述各个历史请求响应延迟时长的方差与各个历史用户访问流量的方差的乘积值,并将各个历史请求响应延迟时长与各个历史用户访问流量的协方差与所述乘积值的比值,确定为每个云服务器的访问延迟量和流量波动相关系数。
进一步的,确定每个云服务器的分流必要性指标,对应的计算公式为:
其中,表示每个云服务器的分流必要性指标;/>表示每个云服务器的访问延迟量和流量波动相关系数;/>表示每个云服务器的当前负载数据体量;/>表示每个云服务器的当前应用程序用户访问数据体量;/>表示每个云服务器的负载数据体量上限。
进一步的,确定所述目标用户的访问数据默认特征密度,包括:
确定所述搜索窗口区域内的各个用户到该云服务器的距离的负相关归一化值,从而得到所述搜索窗口区域内的各个用户的距离归一化值;
确定所述搜索窗口区域内的各个用户的访问数据在该云服务器中的序列数的负相关归一化值,从而得到所述搜索窗口区域内的各个用户的序列数归一化值;
确定所述搜索窗口区域内的各个用户的距离归一化值和序列数归一化值的乘积的累加值,并将所述累加值与所述搜索窗口区域的面积的比值,确定为所述目标用户的访问数据默认特征密度。
进一步的,确定该云服务器的边界用户,包括:
将该云服务器的覆盖范围内的各个用户的访问数据默认特征密度与该云服务器的分流必要性指标的比值,确定为该云服务器的覆盖范围内的各个用户的访问数据特征密度;
确定该云服务器的覆盖范围内的各个用户的访问数据默认特征密度的平均值和方差,并将所述各个用户的访问数据默认特征密度的平均值和方差的相加和,确定为访问数据特征密度阈值;
将该云服务器的覆盖范围内的各个用户的访问数据特征密度与所述访问数据特征密度阈值进行比较,并将小于所述访问数据特征密度阈值的访问数据特征密度所对应的用户确定为该云服务器的边界用户。
进一步的,确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值,包括:
获取每个边界用户所在覆盖范围的云服务器到其他任意一个待选的云服务器之间的物理距离、每个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器所增加的费用和节点数;
对每个边界用户对应的所述物理距离、费用和节点数分别进行归一化,并根据每个边界用户对应的所述物理距离、费用和节点数的归一化结果,确定各个边界用户所增加损耗的消耗指标值。
进一步的,构建目标函数,对应的计算公式为:
其中,表示目标函数;/>表示将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,第u个边界用户的所增加损耗的消耗指标值;/>表示将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,第/>个云服务器的分流必要性指标;/>表示边界用户的总数目;/>表示云服务器的总数目。
进一步的,对所述目标函数进行求解,确定每个边界用户要切换的云服务器,包括:
确定所述目标函数取最小值时,每个边界用户切换到的待选的云服务器,并将所述切换到的待选的云服务器确定为每个边界用户要切换的云服务器。
为解决上述技术问题,本发明还提供了一种多云容器集群资源优化管理系统,包括:
分流必要性指标获取模块,用于:获取各个云服务器的相关数据,并根据所述相关数据,确定各个云服务器的分流必要性指标,所述相关数据至少包括各个历史请求响应延迟时长、用户访问流量、当前负载数据体量和应用程序用户访问数据体量;
边界用户获取模块,用于:对于任意一个云服务器,将该云服务器的覆盖范围内的每个用户作为目标用户,确定所述目标用户的搜索窗口区域,根据所述搜索窗口区域内的各个用户到该云服务器的距离、所述各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定所述目标用户的访问数据默认特征密度;并根据该云服务器的覆盖范围内的各个用户的访问数据默认特征密度和该云服务器的分流必要性指标,确定该云服务器的边界用户;
目标函数获取模块,用于:确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数;
切换模块,用于:对所述目标函数进行求解,确定每个边界用户要切换的云服务器,并将每个边界用户从其所在覆盖范围的云服务器切换到其要切换的云服务器。
本发明具有如下有益效果:通过获取各个云服务器的相关数据,结合这些相关数据,分析每个云服务器中访问延迟与用户访问流量之间的相关关系,并结合每个云服务器中的当前负载数据体量和应用程序用户访问数据体量,对每个云服务器进行分流的必要性情况进行分析,从而确定各个云服务器的分流必要性指标。然后对每个云服务器的覆盖范围内每个用户周围的用户情况进行分析,确定覆盖范围内每个用户的访问数据默认特征密度,并结合对应云服务器的分流必要性指标,筛选每个云服务器的覆盖范围内距离服务器较远且忠诚度较低的实际需要分流的边界用户。在对这些边界用户进行分流时,通过考察分流时的损耗情况以及各个云服务器的分流必要性情况,来自适应确定分流分配方案,并完成云服务器的切换分流。本发明通过对各个云服务器进行分流的必要性情况进行分析,从而合理确定实际需要分流的边界用户。且在对这些边界用户进行分流时,通过综合考虑分流时的损耗情况以及分流后各个云服务器的分流必要性情况,来自适应确定最优的分流分配方案,有效提高了容器资源分配优化时分流逻辑的合理性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例的多云容器集群资源优化管理方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外,本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。
针对现有进行容器资源分配优化时分流逻辑不合理的问题,本实施例提供了一种多云容器集群资源优化管理方法,该方法对应的流程图如图1所示,包括以下步骤:
步骤S1:获取各个云服务器的相关数据,并根据所述相关数据,确定各个云服务器的分流必要性指标,所述相关数据至少包括各个历史请求响应延迟时长、各个历史用户访问流量、当前负载数据体量和当前应用程序用户访问数据体量。
用户在客户端发起访问请求,负载均衡器或反向代理充当入口,接收来自用户的请求。然后负载均衡器将请求转发给所选的多云容器集群中的某个云平台或节点,多云容器节点负责请求转发或直接连接源服务器,应用程序的源服务器接收到请求后,根据请求的内容和路由信息,执行相应的处理逻辑,并生成响应数据。将处理后的响应数据发送回多云容器集群中,这些容器包含应用程序的源代码和业务逻辑,经过容器内部路由和数据传输层,最终返回给负载均衡器或反向代理:负载均衡器或反向代理将响应数据传回用户端,从而完成一个完整的“请求-响应”周期。
由于不同位置的用户附近的云服务器运维状况、访问流量、转发节点等因素存在差异,因此根据地理位置进行云服务器分配的方式存在资源不均的问题,部分地区云服务器负载较低、部分负载较高,但是对其优化问题仅仅遵循简单的“高负载分流、低负载补流”的分流逻辑,就会存在分流成本、分流效果、服务器浪费等一系列问题,分流逻辑不够合理。针对这一问题,本实施例的方案通过挖掘不同云平台服务器即云服务器的分流必要性,识别出边界用户,对边界用户的数据进行自适应分流,有效提高了分流合理性。
首先对于不同地理位置的用户而言,选择就近的云服务器是最节省传输成本的方式,这里将距离用户请求发起位置相对最近的云服务器之间的关系,称这些用户在该云服务器的覆盖范围内。但就近的云服务器访问量较大时易出现网络堵塞、系统崩溃等问题,因此需要在多云容器集群中进行分流,即将来自客户端的请求或传入的数据流量分发到多个容器集群,以平衡负载并提供弹性和容错能力。
为了实现合理分流,对于各个已启用的云服务器及其用户,获取其对应的各种信息,这些信息包括:各个云服务器的地理位置坐标、用户访问位置、实时流量监测等信息;用户应用程序以及各个云服务器历史运营日志,包括每条用户访问数据的“请求-响应”周期时长、访问数据大小等。除此之外,由于分流过程的跨云平台传输时可能需要经过源云平台出口节点、公共网络传输节点、目标云平台入口节点、目标云平台数据中心内部传输节点等,具体经过的节点数量取决于数据的路径、网络结构、云服务提供商的架构设计等,因此,所获取这些信息还包括所有可连通的跨地理、跨云平台容器服务器之间的传输节点数量,以及跨云平台传输数据的费用等。
在获取到上述各个已启用的云服务器及其用户对应的各种信息之后,基于这些信息可以确定每个云服务器的相关数据,该相关数据包括各个历史请求响应延迟时长和各个历史用户访问流量。历史请求响应延迟时长是指在历史任意一天,该云服务器覆盖范围内的各个用户的平均请求-响应延迟时长,即仅基于物理距离最近进行分配时,历史每个云服务器转发每个用户“请求-响应”周期的平均延迟时长;历史用户访问流量是指在该历史任意一天,该云服务器覆盖范围内的各个用户的总用户访问流量。同时,每个云服务器的相关数据还包括该云服务器实时的当前负载数据体量和该云服务器的覆盖范围内的当前应用程序用户访问数据体量。这里的当前负载数据体量是指该云服务器当前的负载量,由于当前应用程序用户请求数据属于随机性、按需获取的实时数据,因而此处当前的负载量不包括当前应用程序用户访问数据体量。
通常而言,对于各个云服务器,当平均延迟时长较大时,就应该进行分流,但是用户访问频率较大,频繁切换代理服务器可能导致连接中断或降低用户体验,因此需要获取不同地理区域的用户请求切换服务器进行分流的必要性。基于此,根据各个云服务器的相关数据,计算每个云服务器覆盖范围内的用户访问数据的访问延迟量和流量波动的影响关系,然后结合用户访问流量与云服务器的实际负载流量,得到该局部地理位置用户访问流量分流的必要性,实现步骤包括:
根据每个云服务器的各个历史请求响应延迟时长和各个历史用户访问流量,确定各个历史请求响应延迟时长的方差、各个历史用户访问流量的方差、以及各个历史请求响应延迟时长与各个历史用户访问流量的协方差;
根据所述各个历史请求响应延迟时长的方差、各个历史用户访问流量的方差、以及各个历史请求响应延迟时长与各个历史用户访问流量的协方差,确定每个云服务器的访问延迟量和流量波动相关系数;
根据所述访问延迟量和流量波动相关系数、当前负载数据体量和当前应用程序用户访问数据体量,确定每个云服务器的分流必要性指标。
具体的,首先,根据每个云服务器的各个历史请求响应延迟时长和各个历史用户访问流量,确定每个云服务器的访问延迟量和流量波动相关系数,对应的计算公式为:
其中,表示每个云服务器的访问延迟量和流量波动相关系数;/>表示每个云服务器的第/>个历史请求响应延迟时长;/>表示每个云服务器的各个历史请求响应延迟时长的平均值;/>表示每个云服务器的第/>个历史用户访问流量;/>表示每个云服务器的各个历史用户访问流量的平均值;N表示每个云服务器的各个历史请求响应延迟时长的总数目,同时也表示每个云服务器的各个历史用户访问流量的总数目;/>表示每个云服务器的各个历史请求响应延迟时长的方差;/>表示每个云服务器的各个历史用户访问流量的方差。
在上述的访问延迟量和流量波动相关系数的计算公式中,表示每个云服务器的各个历史请求响应延迟时长与各个用户访问流量的协方差,利用该协方差除以各个历史请求响应延迟时长的方差和各个用户访问流量的方差的乘积值/>,从而得到每个云服务器的历史请求响应延迟时长和用户访问流量波动的相关系数/>。该相关系数/>的取值在-1至1之间,该相关系数/>的取值越接近0代表历史请求响应延迟时长和用户访问流量的相关关系越弱。
访问流量和延迟量的影响关系必然是正相关关系,即访问流量越大、延迟量越大,但是除了访问流量之外,影响用户体验的还有网络环境、服务器架构、传输速度等,若访问流量和延迟量的影响关系较弱,则代表通过分流降低延迟的效果较低,影响用户体验的更多是由于上述其他原因导致,那么其变更代理云服务器进行分流的必要性即降低。
基于上述分析,基于每个云服务器的访问延迟量和流量波动相关系数,并结合每个云服务器的当前负载数据体量和当前应用程序用户访问数据体量,确定每个云服务器的分流必要性指标,对应的计算公式为:
其中,表示每个云服务器的分流必要性指标;/>表示每个云服务器的当前负载数据体量;/>表示每个云服务器的当前应用程序用户访问数据体量;/>表示每个云服务器的负载数据体量上限。
对于上述的分流必要性指标的计算公式,由于云服务器属于代理服务器,其并非仅承担应用程序的流量转发,当不分流时,该云服务器代理这部分用户访问数据转发时所承担的负载量为,负载数据体量上限/>用于对数据体量进行归一化,理论上该负载量的取值越大代表负载越高,则分流必要性越高,而/>代表上述所得访问延迟量和流量波动相关系数的平方乘以当前应用程序用户访问数据体量,对访问延迟量和流量波动相关系数进行平方的目的是进一步缩小其取值,使其作为分流必要性调控因子,此时/>的取值相对负载量/>会缩小,即当访问流量和延迟量的影响关系越弱时,分流对延迟的优化效果较低,那么这部分用户访问数据在对应云服务器的分流必要性越低,此时/>仍有表达负载量的含义。
步骤S2:对于任意一个云服务器,将该云服务器的覆盖范围内的每个用户作为目标用户,确定所述目标用户的搜索窗口区域,根据所述搜索窗口区域内的各个用户到该云服务器的距离、所述各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定所述目标用户的访问数据默认特征密度;并根据该云服务器的覆盖范围内的各个用户的访问数据默认特征密度和该云服务器的分流必要性指标,确定该云服务器的边界用户。
每个云服务器的覆盖范围是根据用户与云服务器的物理距离来确定,此时每个云服务器的覆盖范围内的各个用户可以看作是围绕该云服务器的聚簇。根据上述所得各个用户的请求发起位置,即可将所有用户流量数据的分布进行可视化,得到可视化流量分布图,这一过程利用可视化工具和库如D3.js、Plotly、Tableau等即可实现。
在确定各个云服务器的分流必要性指标之后,可以利用DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise,密度聚类算法)的聚类思想在可视化流量分布图中更新聚类结果,这是因为DBSCAN对流量分布密度以及边界点非常敏感,恰好我们对云服务器分流的期望也是由外向内,优先分流覆盖范围边界的用户数据,因此可以用分流必要性指标作约束,筛分不同分流需求的云服务器的覆盖范围内的边界点数据也就是边界用户数据。边界点数据分散且距离原云服务器较远,因此对于原云服务器的忠诚度较低,原云服务器对这些数据本来就存在相对较高的运维成本,相比于距离原服务器较近、忠诚度较高的用户数据而言,与其牺牲忠诚度较高的用户体验,边界点数据更适合作为分流数据。
基于上述分析,将每个云服务器所在物理坐标位置设置为聚簇中心,并将该聚簇中心所对应的聚簇中的每个用户作为目标用户,并以该目标用户发起访问时的物理坐标为圆心,以设定搜索半径为圆形的半径,确定一个圆形区域,并将该圆形区域作为该目标用户的搜索窗口区域。设定搜索半径可以根据实际情况进行合理设置,本实施例设置该设定搜索半径的取值为5km。对该聚簇中心所对应的聚簇中的各个用户进行搜索,搜索顺序沿着用户物理坐标和云服务器坐标之间的距离由近至远,从而将该聚簇中心所对应的聚簇中的各个用户区分为核心用户和边界用户。
为了区分出以每个云服务器所在物理坐标位置设置为聚簇中心的所对应的聚簇中各个用户中的核心用户和边界用户,根据该聚簇中的目标用户的搜索窗口区域内的各个用户到该云服务器的距离、各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定目标用户的访问数据默认特征密度,后续可基于该访问数据默认特征密度确定访问数据特征密度阈值,从而实现区分核心用户和边界用户的目的。其中,确定目标用户的访问数据默认特征密度,实现步骤包括:
确定所述搜索窗口区域内的各个用户到该云服务器的距离的负相关归一化值,从而得到所述搜索窗口区域内的各个用户的距离归一化值;
确定所述搜索窗口区域内的各个用户的访问数据在该云服务器中的序列数的负相关归一化值,从而得到所述搜索窗口区域内的各个用户的序列数归一化值;
确定所述搜索窗口区域内的各个用户的距离归一化值和序列数归一化值的乘积的累加值,并将所述累加值与所述搜索窗口区域的面积的比值,确定为所述目标用户的访问数据默认特征密度。
具体的,确定目标用户的访问数据默认特征密度,对应的计算公式为:
其中,表示每个云服务器的覆盖范围内的每个用户的访问数据默认特征密度;表示每个云服务器的覆盖范围内的每个用户的搜索窗口区域内第i个用户到该云服务器的距离;/>表示每个云服务器与其覆盖范围内最远的用户之间的距离;/>表示每个云服务器的覆盖范围内的每个用户的搜索窗口区域内第i个用户的访问数据在该云服务器中的序列数;/>表示每个云服务器的覆盖范围内的每个用户的搜索窗口区域内的用户的总数目;/>表示每个云服务器的覆盖范围内的每个用户的搜索窗口区域的面积。
对于上述的访问数据默认特征密度的计算公式,当越大且/>越大时,代表第i个用户的访问数据既处于该云服务器的覆盖范围边界且相对越接近负载上限,那么通过将距离归一化值/>和序列数归一化值/>相乘得到用户访问数据特征参数,当该用户访问数据特征参数的取值越小时,说明对应第i个用户越可能为边界用户。通过将搜索窗口区域内的所有用户访问数据特征参数之和与搜索窗口区域的面积做比值,从而得到该搜索窗口区域的所有用户的访问数据默认特征密度/>。该访问数据默认特征密度/>越小,则说明该搜索窗口区域所对应的中心用户越可能为边界用户。
在确定每个云服务器的覆盖范围内的每个用户的访问数据默认特征密度之后,结合每个云服务器的分流必要性指标,确定该云服务器的边界用户,实现步骤包括:
将该云服务器的覆盖范围内的各个用户的访问数据默认特征密度与该云服务器的分流必要性指标的比值,确定为该云服务器的覆盖范围内的各个用户的访问数据特征密度;
确定该云服务器的覆盖范围内的各个用户的访问数据默认特征密度的平均值和方差,并将所述各个用户的访问数据默认特征密度的平均值和方差的相加和,确定为访问数据特征密度阈值;
将该云服务器的覆盖范围内的各个用户的访问数据特征密度与所述访问数据特征密度阈值进行比较,并将小于所述访问数据特征密度阈值的访问数据特征密度所对应的用户确定为该云服务器的边界用户。
具体的,根据每个云服务器的覆盖范围内的每个用户的访问数据默认特征密度和每个云服务器的分流必要性指标,确定每个云服务器的覆盖范围内的各个用户的访问数据特征密度,对应的计算公式为:
其中,表示每个云服务器的覆盖范围内的每个用户的访问数据特征密度。
对于上述的访问数据特征密度的计算公式,云服务器的分流必要性指标表示了该云服务器本身的分流必要性,当分流必要性较高即/>的取值较大时,通过将访问数据默认特征密度和每个云服务器的分流必要性指标做比值,就会缩小搜索窗口区域内靠近边界的用户的访问数据特征密度,使其作为边界点被剥离。
确定每个云服务器的覆盖范围内的各个用户的访问数据默认特征密度的平均值和方差,并将该平均值和方差的相加和,确定为访问数据特征密度阈值,对应的计算公式为:
其中,表示每个云服务器对应的访问数据特征密度阈值;/>表示每个云服务器的覆盖范围内的各个用户的访问数据默认特征密度的平均值;/>表示每个云服务器的覆盖范围内的各个用户的访问数据默认特征密度的方差。
为了确定每个云服务器的覆盖范围内的各个用户中的核心用户和边界用户,将每个云服务器的覆盖范围内的各个用户的访问数据特征密度Z与该云服务器对应的访问数据特征密度阈值B进行比较,当Z小于B时,则将对应的用户确定为边界用户,否则将对应的用户确定为核心用户。通过上述方式,即可以合理确定每个云服务器的覆盖范围内的边界用户和核心用户。
步骤S3:确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数。
对于上述所确定的各个边界用户,可以通过迭代的方式对这些可分流的边界用户进行最优分流方案分配,迭代的方式为将边界用户任意分配在其他云服务器中,每个边界用户每次分配都是一种新的分配方案。为了对不同分配方案的分流效果进行衡量,需要构建目标函数,在构建目标函数时,考虑到分流过程中需要从原云服务器的负载均衡器转发至分流的云服务器中,需要确定假设将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值,实现步骤包括:
获取每个边界用户所在覆盖范围的云服务器到其他任意一个待选的云服务器之间的物理距离、每个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器所增加的费用和节点数;
对每个边界用户对应的所述物理距离、费用和节点数分别进行归一化,并根据每个边界用户对应的所述物理距离、费用和节点数的归一化结果,确定各个边界用户所增加损耗的消耗指标值。
同时,还需要确定假设将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个云服务器的分流必要性指标。由此假设将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个云服务器的分流必要性指标的确定方式与上述步骤中分流切换之前确定各个云服务器的分流必要性指标的方式相同,此处不再赘述。与分流切换之前确定各个云服务器的分流必要性指标的计算公式相比,在计算分流切换时各个云服务器的分流必要性指标时,所改变的仅仅是各个云服务器的当前应用程序用户访问数据体量的大小。
基于假设将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值和各个云服务器的分流必要性指标,构建目标函数,对应的计算公式为:
/>
其中,表示目标函数;/>表示将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,第u个边界用户的所增加损耗的消耗指标值;/>表示将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,第/>个云服务器的分流必要性指标;/>表示边界用户的总数目;/>表示云服务器的总数目;表示第u个边界用户所在覆盖范围的云服务器/>到其他任意一个待选的云服务器之间的物理距离;/>表示第u个边界用户所在覆盖范围的云服务器/>与应用程序源服务器之间的物理距离;/>表示第u个边界用户从其所在覆盖范围的云服务器/>切换到其他任意一个待选的云服务器所增加的费用,/>表示第u个边界用户所在覆盖范围的云服务器/>与应用程序源服务器之间的传输费用;/>表示第u个边界用户从其所在覆盖范围的云服务器/>切换到其他任意一个待选的云服务器所增加的节点数;/>表示第u个边界用户所在覆盖范围的云服务器/>与应用程序源服务器之间的传输节点数量。
在上述的目标函数中,的目的是将距离、费用、节点数损耗归一化为损耗比,/>代表距离损耗比、费用损耗比、节点数损耗比的欧式范数,然后除以/>的目的仍是为了归一化,从而得到消耗指标值/>,对所有边界用户的消耗指标值求平均,从而得到平均消耗指标值。/>表示所有被分流的边界用户数据分流后的平均分流必要性,分流必要性也可指代负载量,因此将该分流后的平均分流必要性作为惩罚项。通过利用平均消耗指标值以及分流后的平均分流必要性来构建目标函数,其目的是所有分流数据分流后需要损耗最小且负载最低。
步骤S4:对所述目标函数进行求解,确定每个边界用户要切换的云服务器,并将每个边界用户从其所在覆盖范围的云服务器切换到其要切换的云服务器。
为了获取最优的分流分配方案,对上述目标函数进行求解,确定每个边界用户要切换的云服务器,即:确定所述目标函数取最小值时,每个边界用户切换到的待选的云服务器,并将所述切换到的待选的云服务器确定为每个边界用户要切换的云服务器。当目标函数取得最小值时,目标函数收敛,此时分流数据的分配方案的分流效果最佳。
在确定各个边界用户要切换的云服务器之后,将这些边界用户的访问数据由其所在覆盖范围的原云服务器的负载均衡器中转发至其要切换的各个云服务器中,然后发送至源服务器,生成响应并沿着原路径发送回用户端,最终完成数据分流。
本实施例还提供了一种多云容器集群资源优化管理系统,包括:
分流必要性指标获取模块,用于:获取各个云服务器的相关数据,并根据所述相关数据,确定各个云服务器的分流必要性指标,所述相关数据至少包括各个历史请求响应延迟时长、用户访问流量、当前负载数据体量和应用程序用户访问数据体量;
边界用户获取模块,用于:对于任意一个云服务器,将该云服务器的覆盖范围内的每个用户作为目标用户,确定所述目标用户的搜索窗口区域,根据所述搜索窗口区域内的各个用户到该云服务器的距离、所述各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定所述目标用户的访问数据默认特征密度;并根据该云服务器的覆盖范围内的各个用户的访问数据默认特征密度和该云服务器的分流必要性指标,确定该云服务器的边界用户;
目标函数获取模块,用于:确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数;
切换模块,用于:对所述目标函数进行求解,确定每个边界用户要切换的云服务器,并将每个边界用户从其所在覆盖范围的云服务器切换到其要切换的云服务器。
该多云容器集群资源优化管理系统实质上是一种软件系统,其的核心在于实现上述的多云容器集群资源优化管理方法,且该系统中的每个模块与上述方法中的每个步骤一一对应,其目的是实现对应的步骤。由于该多云容器集群资源优化管理方法已经在上述内容中进行了详细阐述,此处对该多云容器集群资源优化管理系统不再进行赘述。
本发明通过确定各个云服务器的分流必要性,并利用分流必要性调节核心用户和边界用户的筛选过程,得到合理的需要进行分流的边界用户。在对这些边界用户进行分流时,构建目标函数以最小化物理距离损耗、费用损耗、传输节点损耗来得到最优分流方案,在缓解多云服务器集群的负载压力的同时,并有效提高了用户体验。
需要说明的是:以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种多云容器集群资源优化管理方法,其特征在于,包括以下步骤:
获取各个云服务器的相关数据,并根据所述相关数据,确定各个云服务器的分流必要性指标,所述相关数据至少包括各个历史请求响应延迟时长、各个历史用户访问流量、当前负载数据体量和当前应用程序用户访问数据体量;
对于任意一个云服务器,将该云服务器的覆盖范围内的每个用户作为目标用户,确定所述目标用户的搜索窗口区域,根据所述搜索窗口区域内的各个用户到该云服务器的距离、所述各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定所述目标用户的访问数据默认特征密度;并根据该云服务器的覆盖范围内的各个用户的访问数据默认特征密度和该云服务器的分流必要性指标,确定该云服务器的边界用户;
确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数;
对所述目标函数进行求解,确定每个边界用户要切换的云服务器,并将每个边界用户从其所在覆盖范围的云服务器切换到其要切换的云服务器。
2.根据权利要求1所述的一种多云容器集群资源优化管理方法,其特征在于,确定各个云服务器的分流必要性指标,包括:
根据每个云服务器的各个历史请求响应延迟时长和各个历史用户访问流量,确定各个历史请求响应延迟时长的方差、各个历史用户访问流量的方差、以及各个历史请求响应延迟时长与各个历史用户访问流量的协方差;
根据所述各个历史请求响应延迟时长的方差、各个历史用户访问流量的方差、以及各个历史请求响应延迟时长与各个历史用户访问流量的协方差,确定每个云服务器的访问延迟量和流量波动相关系数;
根据所述访问延迟量和流量波动相关系数、当前负载数据体量和当前应用程序用户访问数据体量,确定每个云服务器的分流必要性指标。
3.根据权利要求2所述的一种多云容器集群资源优化管理方法,其特征在于,确定每个云服务器的访问延迟量和流量波动相关系数,包括:
计算所述各个历史请求响应延迟时长的方差与各个历史用户访问流量的方差的乘积值,并将各个历史请求响应延迟时长与各个历史用户访问流量的协方差与所述乘积值的比值,确定为每个云服务器的访问延迟量和流量波动相关系数。
4.根据权利要求2所述的一种多云容器集群资源优化管理方法,其特征在于,确定每个云服务器的分流必要性指标,对应的计算公式为:
其中,表示每个云服务器的分流必要性指标;/>表示每个云服务器的访问延迟量和流量波动相关系数;/>表示每个云服务器的当前负载数据体量;/>表示每个云服务器的当前应用程序用户访问数据体量;/>表示每个云服务器的负载数据体量上限。
5.根据权利要求1所述的一种多云容器集群资源优化管理方法,其特征在于,确定所述目标用户的访问数据默认特征密度,包括:
确定所述搜索窗口区域内的各个用户到该云服务器的距离的负相关归一化值,从而得到所述搜索窗口区域内的各个用户的距离归一化值;
确定所述搜索窗口区域内的各个用户的访问数据在该云服务器中的序列数的负相关归一化值,从而得到所述搜索窗口区域内的各个用户的序列数归一化值;
确定所述搜索窗口区域内的各个用户的距离归一化值和序列数归一化值的乘积的累加值,并将所述累加值与所述搜索窗口区域的面积的比值,确定为所述目标用户的访问数据默认特征密度。
6.根据权利要求1所述的一种多云容器集群资源优化管理方法,其特征在于,确定该云服务器的边界用户,包括:
将该云服务器的覆盖范围内的各个用户的访问数据默认特征密度与该云服务器的分流必要性指标的比值,确定为该云服务器的覆盖范围内的各个用户的访问数据特征密度;
确定该云服务器的覆盖范围内的各个用户的访问数据默认特征密度的平均值和方差,并将所述各个用户的访问数据默认特征密度的平均值和方差的相加和,确定为访问数据特征密度阈值;
将该云服务器的覆盖范围内的各个用户的访问数据特征密度与所述访问数据特征密度阈值进行比较,并将小于所述访问数据特征密度阈值的访问数据特征密度所对应的用户确定为该云服务器的边界用户。
7.根据权利要求1所述的一种多云容器集群资源优化管理方法,其特征在于,确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,各个边界用户所增加损耗的消耗指标值,包括:
获取每个边界用户所在覆盖范围的云服务器到其他任意一个待选的云服务器之间的物理距离、每个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器所增加的费用和节点数;
对每个边界用户对应的所述物理距离、费用和节点数分别进行归一化,并根据每个边界用户对应的所述物理距离、费用和节点数的归一化结果,确定各个边界用户所增加损耗的消耗指标值。
8.根据权利要求1所述的一种多云容器集群资源优化管理方法,其特征在于,构建目标函数,对应的计算公式为:
其中,表示目标函数;/>表示将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,第u个边界用户的所增加损耗的消耗指标值;/>表示将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,第/>个云服务器的分流必要性指标;/>表示边界用户的总数目;/>表示云服务器的总数目。
9.根据权利要求8所述的一种多云容器集群资源优化管理方法,其特征在于,对所述目标函数进行求解,确定每个边界用户要切换的云服务器,包括:
确定所述目标函数取最小值时,每个边界用户切换到的待选的云服务器,并将所述切换到的待选的云服务器确定为每个边界用户要切换的云服务器。
10.一种多云容器集群资源优化管理系统,其特征在于,包括:
分流必要性指标获取模块,用于:获取各个云服务器的相关数据,并根据所述相关数据,确定各个云服务器的分流必要性指标,所述相关数据至少包括各个历史请求响应延迟时长、用户访问流量、当前负载数据体量和应用程序用户访问数据体量;
边界用户获取模块,用于:对于任意一个云服务器,将该云服务器的覆盖范围内的每个用户作为目标用户,确定所述目标用户的搜索窗口区域,根据所述搜索窗口区域内的各个用户到该云服务器的距离、所述各个用户的访问数据在该云服务器中的序列数、以及该云服务器的覆盖范围的面积,确定所述目标用户的访问数据默认特征密度;并根据该云服务器的覆盖范围内的各个用户的访问数据默认特征密度和该云服务器的分流必要性指标,确定该云服务器的边界用户;
目标函数获取模块,用于:确定将各个边界用户从其所在覆盖范围的云服务器切换到其他任意一个待选的云服务器时,所增加损耗的消耗指标值以及各个云服务器的分流必要性指标,进而构建目标函数;
切换模块,用于:对所述目标函数进行求解,确定每个边界用户要切换的云服务器,并将每个边界用户从其所在覆盖范围的云服务器切换到其要切换的云服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311132098.1A CN116866357B (zh) | 2023-09-05 | 2023-09-05 | 一种多云容器集群资源优化管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311132098.1A CN116866357B (zh) | 2023-09-05 | 2023-09-05 | 一种多云容器集群资源优化管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116866357A true CN116866357A (zh) | 2023-10-10 |
CN116866357B CN116866357B (zh) | 2023-11-07 |
Family
ID=88230832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311132098.1A Active CN116866357B (zh) | 2023-09-05 | 2023-09-05 | 一种多云容器集群资源优化管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116866357B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7475157B1 (en) * | 2001-09-14 | 2009-01-06 | Swsoft Holding, Ltd. | Server load balancing system |
CN110418416A (zh) * | 2019-07-26 | 2019-11-05 | 东南大学 | 移动边缘计算系统中基于多智能体强化学习的资源分配方法 |
CN111431961A (zh) * | 2020-02-20 | 2020-07-17 | 重庆邮电大学 | 一种云数据中心的节能任务分配方法 |
CN113630329A (zh) * | 2021-07-20 | 2021-11-09 | 湖北美和易思教育科技有限公司 | 基于用户访问量的负载均衡方法、系统及可读存储介质 |
-
2023
- 2023-09-05 CN CN202311132098.1A patent/CN116866357B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7475157B1 (en) * | 2001-09-14 | 2009-01-06 | Swsoft Holding, Ltd. | Server load balancing system |
CN110418416A (zh) * | 2019-07-26 | 2019-11-05 | 东南大学 | 移动边缘计算系统中基于多智能体强化学习的资源分配方法 |
CN111431961A (zh) * | 2020-02-20 | 2020-07-17 | 重庆邮电大学 | 一种云数据中心的节能任务分配方法 |
CN113630329A (zh) * | 2021-07-20 | 2021-11-09 | 湖北美和易思教育科技有限公司 | 基于用户访问量的负载均衡方法、系统及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116866357B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aral et al. | A decentralized replica placement algorithm for edge computing | |
KR100754296B1 (ko) | 웹 팜 트래픽 제어 방법 및 장치 | |
US20190319881A1 (en) | Traffic management based on past traffic arrival patterns | |
Maiti et al. | An effective approach of latency-aware fog smart gateways deployment for IoT services | |
CN110020061B (zh) | 一种智慧城市时空信息云平台服务引擎 | |
Rahmani et al. | Towards data and computation offloading in mobile cloud computing: taxonomy, overview, and future directions | |
CN103078880A (zh) | 基于多个内容分发网络的内容信息处理方法、系统和设备 | |
US9519441B1 (en) | Automated storage provisioning and management using a centralized database | |
US11695855B2 (en) | User generated pluggable content delivery network (CDN) system and method | |
US9948741B2 (en) | Distributed health-check method for web caching in a telecommunication network | |
CN112994937A (zh) | 智融标识网络中虚拟cdn的部署与迁移系统 | |
Meneguette et al. | A virtual machine migration policy based on multiple attribute decision in vehicular cloud scenario | |
Abuhamdah et al. | Hybrid load balancing algorithm for fog computing environment | |
Dimitrios et al. | Simulation and performance evaluation of a fog system | |
Silvestro et al. | Mute: Multi-tier edge networks | |
Souza et al. | Towards a Fog-to-Cloud control topology for QoS-aware end-to-end communication | |
US11606415B2 (en) | Method, apparatus and system for processing an access request in a content delivery system | |
CN116866357B (zh) | 一种多云容器集群资源优化管理方法及系统 | |
Lovén et al. | A dark and stormy night: Reallocation storms in edge computing | |
Santos et al. | Multimedia microservice placement in hierarchical multi-tier cloud-to-fog networks | |
Jasim et al. | Efficient load migration scheme for fog networks | |
CN110430236A (zh) | 一种部署业务的方法以及调度装置 | |
Zare et al. | Imperialist competitive based approach for efficient deployment of IoT services in fog computing | |
Duarte et al. | Scalable data processing for community sensing applications | |
Zohar | Cost-adaptive load sharing for geographically distributed data center network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |