CN102624922A - 一种网络gis异构集群服务器负载均衡方法 - Google Patents

Abstract

本发明公开一种网络GIS异构集群服务器负载均衡方法，本方法基于GIS数据访问符合Zipf分布规律的固有属性和服务器异构处理能力，从集群缓存分布上适应用户的密集访问，在提高缓存命中率的同时均衡热点数据的访问负载；从异构集群服务系统整体性能上求解数据请求服务所需的集群系统的最小处理代价，均衡异构集群服务器的负载同时最优用户访问响应时间；并基于数据请求内容进行分发处理，防止热点数据访问负载过分集中。本发明方法高度符合网络GIS中大规模用户的高度聚集访问特性，较好地协调并平衡负载分配和访问局部控制两者间的关系，保证服务效率与负载的最优化，有效地提升实际网络GIS系统的服务性能和异构集群服务系统的利用效率。

Description

一种网络GIS异构集群服务器负载均衡方法

技术领域

本发明属于网络空间信息服务技术领域，尤其涉及一种网络GIS异构集群服务器负载均衡方法。

背景技术

网络GIS极大方便百姓生活的同时，也带来了巨大的访问量，如Google Earth访问量已超过1亿并与日俱增，其服务器性能成为影响其网络服务质量的关键因素之一^[1]。网络GIS中多采用异构服务器集群实现大规模网络服务，并用负载均衡技术实现多服务器之间的负载分配，以提高网络GIS集群服务系统的整体性能^[2，3]。但随着地形数据的海量增长，数据内容请求所产生的负载差异越来越大，访问局部性逐渐成为影响集群服务系统性能的另一个重要因素^[4]；且地形数据具有其固有的访问流行特征，即一定时间内访问热点高度集中，访问具有爆发性，访问内容相对稳定。因而网络GIS中数据访问分布的不均衡性和异构服务器处理能力的不均衡性，是影响其集群服务系统负载不均衡的关键。如何在负载均衡策略中，综合考虑并平衡此两种不均衡因素，减少用户访问延时，加速地形数据的提取，从而提高用户在网络GIS中的漫游体验感知，是网络GIS服务质量技术中需解决的难题之一。

服务器集群及负载均衡提供了一种廉价、有效、透明的方法扩展网络系统的带宽和吞吐量。它在国内外研究已经非常广泛，基本有两类方法：一类为基于静态任务分配的负载均衡方法，如轮转方法、快速反应优先算法、目标地址散列调度和源地址散列调度算法等，该类算法只利用集群系统的平均负载信息，不考虑集群系统当前负载特征，仅适用于小规模集群系统，为静态的负载均衡；另一类算法可合理地考虑集群系统服务器当前的负载状态并选择当前时刻最优的服务器进行请求转发，为动态负载均衡，如最少连接算法、最小负载算法及相关的变种算法。若设计合理恰当，动态负载均衡算法可以比传统的静态负载均衡算法的调度性能和效率提高30-40％左右^[5]。但针对网络GIS异构集群服务系统运行行为的动态负载均衡算法研究并不多见。在此领域，Shekhar等人基于GIS中地形数据任务分割提出任务迁移的动态负载均衡算法^[6]；Lee等考虑了服务器的连接状态，提出基于Agent的负载分发器^[7]；张喜平等引入请求分配器的服务器集群技术和代理技术，实现了一种简单动态负载均衡策略来访问访问Web GIS^[8]；朱江等提出了基于地图内容的自适应动态反馈均衡模型，对请求的地图可视窗口进行分割并根据划分窗口的标示选择最小负载的服务器^[9]。总而言之，我们观察到现有的相关工作，实质上都基于负载分配能力的提高，且都为最小负载均衡算法的优化，未考虑网络GIS中大规模用户的高度聚集访问特性和异构服务器集群的处理性能的差异。

近年有研究发现，地形数据访问请求符合Zipf-like分布规律，即访问存在局部热点，20％的数据吸引了80％的请求^[10，11]。现有的网络GIS服务器为了提高系统响应性能，一般缓存部分数据加速数据访问^[12，13]。若基于Zipf-like分布规律缓存局部热点地形数据，对访问进行局部控制，在提高缓存命中率的同时考虑热点数据的访问负载均衡，可增加服务器单位时间内处理请求的数量，从而提高集群服务数据响应性能。但地形数据的访问局部性又可能导致部分服务器上负载集中，造成服务器集群系统的负载失衡。因而如何协调负载分配和访问局部性两者间的关系，使异构集群环境下每台服务器的负载尽量保持一致，获得良好的请求响应性能和较高的系统吞吐率，是理想的负载均衡策略需考虑的关键问题。

文中涉及的参考文献如下：

[1]吴华意，章汉武.地理信息服务质量(Qo GIS)：概念和研究框架[J].武汉大学学报：信息科学版，2007，32(5)：385-388.

[2]喻占武，李忠民，郑胜.基于对象存储的新型网络GIS体系结构研究[J].武汉大学学报：信息科学版，2008，33(3)：285-288.

[3]孟令奎，邓世军，赵春宇，等.多服务器技术在WebGIS中的应用[J].武汉大学学报：信息科学版，2004，29(9)：832-835.

[4]Barish G，Obraczke K，Workd Wide Web Caching：Trends and Techniques，IEEECommunications Magazine[J]，2000.

[5]Menasce.Trade-offs in designing web clusters[J].IEEE Internet Computing，2002，6(5)：76-80.

[6]Shekhar S，Ravada S，Chubb D，Turner G.Declustering and load-balancing methods forparallelizinggeographic information systems[J].IEEE Transactions on Knowledge and DataEngineering，1998，10(4)：632-655.

[7]M H Jo，Y W Jo，J S Oh，S Y Lee.Agent-Based dynamic load balancing method on webGIS：forest fire systm[J].Urban and Regional Information System 2001，2001.

[8]张喜平，汪林林.访问Web GIS服务的一种动态负载均衡方法[J].计算机科学，2005，32(7)：83-84.

[9]朱江，张立立，曾志明，等.WebGIS服务器场的负载平衡算法设计[J]，计算机工程，2006，32(9)：94-95.

[10]王浩，潘少明，彭敏，李锐.数字地球中影像数据的Zipf-like访问分布及应用分析[J].武汉大学学报：信息科学版，2010.35(3)：356-359.

[11]Fisher D.，2007a，Hotmap：Looking at geographic attention.IEEE Transactions onVisualization and Computer Graphics 13(6)，pp.1184-1191.

[12]许卓群，汪小林，罗英伟.构件WebGIS层次模型Geo-Union空间缓存[J].计算机学报，2004，2(2)：141.

[13]李浩松，朱欣焰，李京伟，陈军.WebGIS空间数据分布式缓存技术研究[J].武汉大学学报：信息科学版，2005，30(12)：1092-1095.138.

[14]Shi L.，Gu Z.M.，Wei L.，Shi Y.，2005，Quantitative Analysis of Zipf’s Law on WebCache[J].Lecture Notes in Computer Science 3758：845-852.

发明内容

本发明针对网络GIS中数据访问分布和异构服务器处理能力的不均衡性所带来集群服务系统负载不均衡的问题，提出了一种综合考虑网络GIS中访问局部性和负载分配的异构集群服务器负载均衡方法，该方法基于地形数据(瓦片)的访问符合Zipf-like分布规律的固有属性，能同时均衡热点数据的访问负载和异构集群服务器的负载，可有效提升网络GIS系统的服务性能，获取最优的响应时间，并提高异构集群服务系统的利用效率。

为了解决上述问题，本发明采用如下的技术方案：

一种网络GIS异构集群服务器负载均衡方法，包括以下步骤：

步骤1，按访问概率高低对瓦片进行排序，并根据预设的缓存命中率，选择访问概率最高的k个瓦片，即热点瓦片，其中，k＝N×h^1/1-α，N为瓦片总数；h为预设的缓存命中率；α为Zipf-like分布参数，0＜α≤1；

步骤2，将步骤1所得热点瓦片中访问概率高的瓦片置于异构集群服务器组S＝{S_i|1≤i≤L}中处理能力强的服务器中，该步骤依次包括以下子步骤：

1)根据公式

计算每个热点瓦片的缓存份数M，若M＞L，取M＝L，其中，L为异构集群服务器组中服务器的数量，i为服务器的编号，S_i为编号为i的服务器，Cs(S_i)为服务器S_i的缓存大小，j为热点瓦片的编号，Tile_j为编号为j的热点瓦片，Ts(Tile_j)为热点瓦片Tile_j的大小；

2)将访问概率从高到低排名第j的热点瓦片标识为Tile_j，其第N个副本标识为Tile_k×N+j，其中，j为整数，且j∈[1，k]；N为整数，且N∈[1，M-1]；

3)按服务器处理能力从强至弱和缓存大小，将热点瓦片及热点瓦片副本顺次存放于异构集群服务器S＝{S_i|1≤i≤L}中各服务器；

步骤3，建立异构集群服务器负载调度模型，该模型具体如下：

网络GIS系统中的一组异构集群服务器S＝{S_i|1≤i≤L}，用户请求到达率服从均值为λ的泊松分布，用户请求到达间隔服从均值为1/λ的负指数分布，服务器处理请求时间服从均值为1/μ的负指数分布，服务器S_i可同时处理的用户请求数目为N_i，服务器S_i处理请求时间为T_i，负载分配器按照转发概率p_i将用户请求分发给服务器S_i处理，当用户请求到达服务器时若服务器空闲则被处理，否则进入等待队列，所述的等待队列为M/M/S/∞排队模型；

步骤4，基于步骤3的异构集群服务器负载调度模型，以异构集群服务器系统最小处理请求时间为优化目标，计算异构集群服务器的用户请求到达率均值{λ₁，λ₂，...，λ_L}，并根据

得到用户请求转发至各服务器的转发概率{p₁，p₂，..，p_L}，其中，λ_i为服务器S_i的用户请求到达率均值，p_i为用户请求转发至服务器S_i的转发概率，i＝1，2，...，L；

步骤5，负载分配器接收到用户请求时，判断该请求内容是否为热点瓦片，若用户请求内容为非热点瓦片，采用如下的分发策略：

负载分配器临时生成[0，1)区间的随机数，根据随机数在异构集群服务器S＝{S_i|1≤i≤L}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的服务器，所述的服务器S_i转发概率空间为

若用户请求内容为热点瓦片，采用如下的分发策略：

查询热点瓦片的缓存服务器表，将缓存热点瓦片的缓存服务器组成热点瓦片缓存服务器组Sc＝{Sc_i|1≤i≤K}，根据热点瓦片缓存服务器组中各服务器的负载记录表，若显示热点瓦片缓存服务器组过载，则负载分配器临时生成[0，1)区间的随机数，根据该随机数在异构集群缓存服务器S＝{S_i|1≤i≤L}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的服务器，所述的服务器S_i转发概率空间为

若热点瓦片缓存服务器组未过载，负载分配器临时生成[0，1)区间的随机数，根据随机数在热点瓦片缓存服务器组Sc＝{Sc_i|1≤i≤K}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的热点瓦片缓存服务器，所述的热点瓦片缓存服务器Sc_i的转发概率空间为

其中，

步骤2的子步骤3)具体为：

选取异构集群服务器组S＝{S_i|1≤i≤L}中处理能力最强的服务器Max(S_i)，从标识为Tile_w+1的热点瓦片开始顺次将热点瓦片及热点瓦片副本存放于服务器Max(S_i)中，Tile_w为最后缓存的热点瓦片标识，其初始值为Tile₁，并记录当前服务器中缓存热点瓦片个数T_c，确保T_c≤k，至服务器Max(S_i)的缓存用尽，从集群缓存服务器组中删除该服务器，循环本步骤直至异构集群缓存服务器组为空或热点瓦片及热点瓦片副本全部存放完毕。

步骤3的异构集群服务器负载调度模型中各服务器的服务器处理请求时间均相同，即各服务器的服务速率均相同，但采用用户请求数目为N_i来体现瓦片在服务器中所需计算资源的差异性，采用处理请求时间T_i来体现服务器对瓦片服务时间的差异。

步骤4中计算异构集群服务器的用户请求到达率均值{λ₁，λ₂，...，λ_L}具体为：求解异构集群服务器系统请求处理时间期望值T，将T描述为有约束的非线性规划数学模型，并通过罚函数法求解使T为最小值的一组用户请求到达率均值{λ₁，λ₂，...，λ_L}，所述的异构集群服务器系统请求处理时间期望值 $T=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(\frac{{{\mathrm{\ρ}}_i}^{N_i}{\stackrel{\‾}{\mathrm{\ρ}}}_i}{\mathrm{\λ}\left(N_i\right)!{(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}^2[e^{{\mathrm{\ρ}}_i}+\frac{{{\mathrm{\ρ}}_i}^{N_i}}{\left(N_i\right)!(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}]}+\frac{{\mathrm{\λ}}_i}{\mathrm{\μ\λ}}),$ 其中，L为异构集群服务器中服务器的数量；

反映服务器处于忙的概率；

反映处理一个请求服务器S_i处于忙的概率；N_i为服务器S_i可同时处理的用户请求数目，λ为异构集群服务器的用户请求到达率均值，λ_i为服务器S_i的用户请求到达率均值，μ为异构集群服务器处理请求时间的平均值。

本发明方法基于地形数据(瓦片)的访问符合Zipf-like分布规律的固有属性，从集群缓存分布上适应用户的密集访问，以期均衡热点数据的访问负载；再从异构集群服务系统整体性能上求解数据请求服务的最小处理代价，均衡集群服务器的负载；并基于前者的缓存数据分布，对不同的数据请求内容分发处理，防止热点数据访问负载过分集中。

与现有技术相比，本发明具有以下优点和有益效果：

1、高度符合用户对地形数据密集访问的规律，并充分考虑异构集群中服务器处理能力的异构性，利用集群缓存分布技术有效均衡热点数据访问负载：

网络GIS中数据访问分布的不均衡性和异构服务器处理能力的不均衡性，是影响其集群服务系统负载不均衡的关键。本发明基于Zipf-like分布规律缓存局部热点地形数据，对访问进行局部控制，在提高缓存命中率的同时考虑热点数据的访问负载均衡，尽量将访问概率高的瓦片及其副本放置到服务处理能力强的服务器，从集群缓存分布上适应用户的密集访问，可增加服务器单位时间内处理请求的数量，从而提高集群服务数据响应性能。

2、从异构集群服务整体性能角度出发，以集群系统最小处理时间为优化目标进行负载分配，较大提高异构集群服务系统的利用效率：

本发明基于排队论，建立异构集群服务负载调度模型，依据当前集群服务器中各个服务器的处理能力和当前的用户的请求个数，将请求处理时间描述为一个有约束的非线性规划问题，获取异构集群系统最小处理时间来转发用户请求，以获取最短的服务响应时间和最快的处理速度。本发明既考虑到了地形数据的访问特性，即访问具有高度聚集性，能适应数据的密集访问，又能在单位时间内处理更多的数据流量，提高服务效率。

3、结合并协调访问局部控制和负载能力调度，保证服务效率与负载的最优化：

地形数据的访问局部性能导致部分服务器上负载集中，造成服务器集群系统的负载失衡。而动态负载均衡算法又能导致访问局部性被破坏。本发明协调负载分配和访问局部性两者间的关系，一方面通过负载分发适应访问控制。在负载调度过程中基于数据内容进行分发，防止负载集中到缓存了热点数据的服务器；另一方面基于集群系统的最小处理时间分配负载，使异构集群环境下每台服务器的负载尽量保持一致，获得良好的请求响应性能和较高的系统吞吐率。此发明中既考虑到异构服务器集群环境下的缓存数据服务又考虑到未缓存数据的服务，且都为分布式处理，将具有较好的可用性和可伸缩性。

附图说明

图1为本发明的异构集群服务器负载调度模型示意图；

图2为负载分配器分发用户请求的流程图。

具体实施方式

本发明方法的基本思想为：综合考虑地形数据密集访问控制和负载分配来实现负载均衡。首先基于地形数据访问符合Zipf-like分布规律的固有属性，从集群缓存分布上适应用户的密集访问，以期均衡热点数据的访问负载；再从异构集群服务系统整体性能上求解数据请求服务的最小处理代价，均衡集群服务器的负载；并基于前者的缓存数据分布，对不同的数据请求内容分发处理，防止热点数据访问负载过分集中。

同常见的动态负载均衡方法相比，本发明的关键创造点是从访问局部控制上符合用户密集访问规律，即瓦片访问概率符合Zipf-like分布，同时考虑服务器异构处理能力进行热点数据的集群缓存分布，从静态负载分配上，均衡热点数据的访问负载；基于排队论实时动态的求解集群系统最小处理时间，并区别热点数据和非热点数据，选择最优的服务器处理负载任务，以达到最优系统利用率并防止局部热点负载集中。

下面将结合附图和具体实施对本发明技术方案做进一步说明。

本发明提出的一种网络GIS异构集群服务器负载均衡方法，具体步骤如下：

步骤1，热点瓦片的选取

本发明方法的实施基础是对网络GIS长期运行过程中系统运行行为和用户交互模式进行统计分析的结果。基于不同的时间尺度，采集网络GIS系统日志，统计瓦片访问次数，并根据访问次数对所有瓦片排序，瓦片的访问概率与其排序之间符合Zipf-like分布，因此可得到瓦片的访问概率P_j＝C/j^α，其中，P_j为排名第j位的瓦片的访问概率，C为归一化常数，

N为瓦片总数，α为zipf-like分布参数，可通过拟合获取，0＜α≤1。

根据预设的缓存命中率，选择访问概率最高的k个瓦片，即热点瓦片，其中，k＝N×h^1/1-α，N为瓦片总数；h为预设的缓存命中率；α为zipf-like分布参数，0＜α≤1。

步骤2，将热点瓦片中访问率概率高的热点瓦片置于服务处理能力强的服务器中，用来均衡热点瓦片的访问负载

本步骤是对步骤1所得热点瓦片进行分布式集群缓存，保证在有限的缓存条件下有较高命中率的同时，还可适应对局部热点数据的快速响应请求，该步骤进一步包括以下子步骤：

1)获取热点瓦片缓存的副本数M：

根据公式

计算每个热点瓦片的缓存份数M，若M＞L，取M＝L，其中，L为异构集群服务器组中服务器的数量，i为服务器的编号，S_i为编号为i的服务器，Cs(S_i)为服务器S_i的缓存大小，j为热点瓦片的编号，Tile_j为编号为j的热点瓦片，Ts(Tile_j)为热点瓦片Tile_j的大小；

2)标识热点瓦片及热点瓦片副本：

根据步骤1)，每个热点瓦片需缓存的副本数为M-1，则需要缓存的热点瓦片及热点瓦片副本总数为M×k，对热点瓦片及热点瓦片副本进行标识，将访问概率从高到低排名第j的热点瓦片标识为Tile_j，其第N个副本标识为Tile_k×N+j，其中，j为整数，且j∈[1，k]；N为整数，且N∈[1，M-1]；

3)将热点瓦片及热点瓦片副本置放于服务器中：

选取异构集群服务器组S＝{S_i|1≤i≤L}中处理能力最强的服务器Max(S_i)，从标识为Tile_w+1的热点瓦片开始顺次将热点瓦片及热点瓦片副本存放于服务器Max(S_i)中，Tile_w为最后缓存的热点瓦片标识，其初始值为Tile₁，并记录当前服务器中缓存热点瓦片个数T_c，确保T_c≤k，至服务器Max(S_i)的缓存用尽，从集群缓存服务器组中删除该服务器，循环本步骤直至异构集群缓存服务器组为空或热点瓦片及热点瓦片副本全部存放完毕。

步骤3，建立异构集群服务器负载调度模型

对网络GIS系统中的一组集群服务器S＝{S_i|1≤i≤L}，用户请求到达率服从均值为λ的泊松分布，用户请求到达时间间隔服从均值为1/λ的负指数分布，服务器处理请求时间服从均值为1/μ的负指数分布，其中，λ为用户请求到达集群服务器组S的到达率均值，μ为集群缓存服务器组S中服务器处理请求时间的平均值，即服务器平均服务速率。

由于地形数据的非线性数据结构和异构集群服务器中各服务器处理能力的差异性，服务器处理请求的时间和所消耗的计算资源也不同，为了简化，在本负载调度模型中假设每个服务器的服务速率均为μ，采用服务器S_i处理请求时间T_i来体现瓦片所需的服务时间的差异，采用服务器S_i可同时处理的用户请求数目N_i来体现瓦片所需计算资源的差异性。负载分配器按照转发概率p_i将请求分发给服务器S_i处理，当请求到达时若服务器空闲则被处理，否则进入等待队列，由于请求处理时间中考虑了排队等待时间，则采用无限长队列，所以本具体实施中采用M/M/S/∞排队模型来描述请求等待队列。图1所示为本具体实施中异构集群服务器负载调度模型。

步骤4，求解异构集群服务器的转发概率

用户请求的响应时间包括服务器处理请求时间和响应数据在链路上的传输时延。负载分配器分发的时间很短，一般可以忽略。因此，处理请求时间为请求在服务器队列中排队等待时间和被服务器处理的服务时间之和，须使该处理时间尽量小。在网络链路时延变化不大的情况下，可以不考虑响应数据在链路上的传输时延的影响。因此，如果能最小化处理请求时间，则能获得较短的访问响应时间。

本步骤基于步骤3的异构集群服务器负载调度模型，将服务器处理请求时间描述为一个有约束的非线性规划问题，以集群缓存服务器系统最小处理请求时间为优化目标，计算用户请求转发至各服务器的转发概率，计算转发概率的具体过程如下：

根据步骤3的模型，负载分配器按转发概率p_i将用户请求分发给服务器S_i处理，服务器S_i的用户请求到达率服从均值为λ_i的泊松分布，请求到达时间间隔服从均值为1/λ_i的负指数分布，且有λ_i＝p_iλ；服务器S_i可同时处理的用户请求数目为N_i，处理请求时间服从均值为1/μ的负指数分布，根据M/M/S/∞排队模型，对于服务器S_i，其空闲率P_0(i)为：

$P_{0\left(i\right)}={[\underset{n=0}{\overset{N_i-1}{\mathrm{\Σ}}}\frac{{{\mathrm{\ρ}}_i}^n}{n!}+\frac{{{\mathrm{\ρ}}_i}^{N_i}}{\left(N_i\right)!(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}]}^{-1}---\left(1\right)$

其中：

即ρ_i表示用户访问请求到达率和服务速率的比值，用来反映系统的繁忙程度，也表示服务器处于忙的概率；

表示处理一个请求服务器S_i处于忙的概率。

因为

则

根据式(1)有：

$P_{0\left(i\right)}={[e^{{\mathrm{\ρ}}_i}+\frac{{{\mathrm{\ρ}}_i}^{N_i}}{\left(N_i\right)!(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}]}^{-1}---\left(2\right)$

根据M/M/S/∞排队模型，可得到每台服务器的平均排队队列长为L_q(i)：

$L_{q\left(i\right)}=\frac{P_{0\left(i\right)}{{\mathrm{\ρ}}_i}^{N_i}{\stackrel{\‾}{\mathrm{\ρ}}}_i}{\left(N_i\right)!{(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}^2}---\left(3\right)$

根据式(2)和式(3)，有：

$L_{q\left(i\right)}=\frac{{{\mathrm{\ρ}}_i}^{N_i}{\stackrel{\‾}{\mathrm{\ρ}}}_i}{\left(N_i\right)!{(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}^2[e^{{\mathrm{\ρ}}_i}+\frac{{{\mathrm{\ρ}}_i}^{N_i}}{\left(N_i\right)!(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}]}---\left(4\right)$

根据公式(4)，请求的排队等待时间W_q(i)为：

$W_{q\left(i\right)}=\frac{L_{q\left(i\right)}}{{\mathrm{\λ}}_i}---\left(5\right)$

根据公式(5)，请求逗留时间W_s(i)：

$W_{s\left(i\right)}=W_{q\left(i\right)}+\frac{1}{\mathrm{\μ}}=\frac{L_{q\left(i\right)}}{{\mathrm{\λ}}_i}+\frac{1}{\mathrm{\μ}}---\left(6\right)$

设T_i为用户请求分发到服务器S_i之后的响应时间，本发明中T_i可近似为请求在服务器队列中排队等待时间和被服务器处理的服务时间之和，根据式(6)，有：

$T_i=\frac{L_q}{{\mathrm{\λ}}_i}+\frac{1}{\mathrm{\μ}}---\left(7\right)$

设T为集群系统请求处理时间的期望，则：

$T=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{p}_i{T}_i---\left(8\right)$

根据式(4)和式(8)，有：

$T=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{p}_i(\frac{L_{q\left(i\right)}}{{\mathrm{\λ}}_i}+\frac{1}{\mathrm{\μ}})$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(\frac{L_{q\left(i\right)}}{\mathrm{\λ}}+\frac{{\mathrm{\λ}}_i}{\mathrm{\μ\λ}})---\left(9\right)$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(\frac{{{\mathrm{\ρ}}_i}^{N_i}{\stackrel{\‾}{\mathrm{\ρ}}}_i}{\mathrm{\λ}\left(N_i\right)!{(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}^2[e^{{\mathrm{\ρ}}_i}+\frac{{{\mathrm{\ρ}}_i}^{N_i}}{\left(N_i\right)!(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}]}+\frac{{\mathrm{\λ}}_i}{\mathrm{\μ\λ}})$

本步骤是以异构集群服务器系统最小处理请求时间为优化目标来求解各服务器的转发概率。则根据公式(9)，可计算一组{λ₁，λ₂，...，λ_L}值，使得T取得最小值。这是一个有约束的非线性规划问题，对于求解T的最小值，采用有约束的非线性规划数学模型可表示为：

min f(λ_i)

s.t λ₁+λ₂+...+λ_n＝λ    (10)

运用罚函数法求解有约束的非线性规划，求得使T最小的一组{λ₁，λ₂，...，λ_L}值。

再由

且i为整数)求出各个服务器的转发概率p_i。

步骤5，基于转发概率和请求内容进行负载分配

通常将用户请求分发至有缓存数据的服务器能获得更快的响应时间，但在某些突发情况下，可能出现极大多数请求都涌向极少数的热点数据。若这时仍然只将请求分发至有缓存数据的服务器，会造成大量的请求在服务器队列中堆积，数据请求的响应时间反而成倍增加。为了应对这种突发情况，本发明方法中的负载分配器除维护一张瓦片缓存索引表用于映射缓存数据与缓存服务器关系之外，同时维护一张服务器负载记录表，用于记录服务器队列是否过长，且为各个服务器设置一个队列长度阈值。每隔时间t，统计队列中的请求个数，若请求个数超过阈值，则负载分配器更新服务器负载记录表。当有缓存数据的服务器队列过长时，对热点数据请求则根据转发概率从所有的集群服务器中选择一台服务器处理，以实现突发情况下的热点数据请求的均匀分发，解决局部访问导致的负载集中问题。

本步骤基于请求内容进行负载分配，防止负载集中到缓存了热点瓦片的服务器，负载分配的具体过程如下，如图2所示。

负载分配器接收到用户请求时，判断该用户请求内容是否为热点瓦片，并根据判断结果进行分发：

若用户请求内容为非热点瓦片，采用如下的分发策略：

对网络GIS系统中的一组异构集群服务器S＝{S_i|1≤i≤L}，各服务器对应的转发概率P＝{p₁，p₂，...，p_L}，则服务器S_i的转发概率空间为当新请求到达时，负载分配器临时生成在[0，1)区间的随机数，根据该随机数在异构集群服务器S＝{S_i|1≤i≤L}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的服务器；

若用户请求内容为热点瓦片，采用如下的分发策略：

查询热点瓦片的缓存服务器表，将缓存热点瓦片的缓存服务器组成热点瓦片缓存服务器组Sc＝{Sc_i|1≤i≤K}，各服务器对应的转发概率P＝{p₁，p₂，...，p_K}，根据热点瓦片缓存服务器组中各服务器的负载记录表，若显示该服务器组过载，则采用与非热点瓦片数据请求相同的分发策略，即：当新请求到达时，负载分配器临时生成在[0，1)区间的随机数，根据该随机数在异构集群服务器S＝{S_i|1≤i≤L}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的服务器；

若热点瓦片缓存服务器组未过载，则对各热点瓦片缓存服务器对应的转发概率P＝{p₁，p₂，...，p_K}归一化，归一化后该热点瓦片缓存服务器组中各服务器的转发概率 $P^{\′}=\{{p_1}^{\′},{p_2}^{\′},...,{p_K}^{\′}\}=\{\frac{p_1}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i},\frac{p_2}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i},...,\frac{p_K}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i}\}$ 则服务器Sc_i的转发概率空间为

当新请求到达时，负载分配器临时生成在[0，1)区间的随机数，根据该随机数在热点瓦片缓存服务器组Sc＝{Sc_i|1≤i≤K}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的缓存服务器。

Claims (4)

1.一种网络GIS异构集群服务器负载均衡方法，其特征在于，包括以下步骤：

步骤1，按访问概率高低对瓦片进行排序，并根据预设的缓存命中率，选择访问概率最高的k个瓦片，即热点瓦片，其中，k＝N×h^1/1-α，N为瓦片总数；h为预设的缓存命中率；α为Zipf-like分布参数，0＜α≤1；

步骤2，将步骤1所得热点瓦片中访问概率高的瓦片置于异构集群服务器组S＝{S_i|1≤i≤L}中处理能力强的服务器中，该步骤依次包括以下子步骤：

1)根据公式

计算每个热点瓦片的缓存份数M，若M＞L，取M＝L，其中，L为异构集群服务器组中服务器的数量，i为服务器的编号，S_i为编号为i的服务器，Cs(S_i)为服务器S_i的缓存大小，j为热点瓦片的编号，Tile_j为编号为j的热点瓦片，Ts(Tile_j)为热点瓦片Tile_j的大小；

2)将访问概率从高到低排名第j的热点瓦片标识为Tile_j，其第N个副本标识为Tile_k×N+j，其中，j为整数，且j∈[1，k]；N为整数，且N∈[1，M-1]；

3)按服务器处理能力从强至弱和缓存大小，将热点瓦片及热点瓦片副本顺次存放于异构集群服务器S＝{S_i|1≤i≤L}中各服务器；

步骤3，建立异构集群服务器负载调度模型，该模型具体如下：

网络GIS系统中的一组异构集群服务器S＝{S_i|1≤i≤L}，用户请求到达率服从均值为λ的泊松分布，用户请求到达间隔服从均值为1/λ的负指数分布，服务器处理请求时间服从均值为1/μ的负指数分布，服务器S_i可同时处理的用户请求数目为N_i，服务器S_i处理请求时间为T_i，负载分配器按照转发概率p_i将用户请求分发给服务器S_i处理，当用户请求到达服务器时若服务器空闲则被处理，否则进入等待队列，所述的等待队列为M/M/S/∞排队模型；

步骤4，基于步骤3的异构集群服务器负载调度模型，以异构集群服务器系统最小处理请求时间为优化目标，计算异构集群服务器的用户请求到达率均值{λ₁，λ₂，...，λ_L}，并根据

得到用户请求转发至各服务器的转发概率{p₁，p₂，...，p_L}，其中，λ_i为服务器S_i的用户请求到达率均值，p_i为用户请求转发至服务器S_i的转发概率，i＝1，2，...，L；

步骤5，负载分配器接收到用户请求时，判断该请求内容是否为热点瓦片，若用户请求内容为非热点瓦片，采用如下的分发策略：

负载分配器临时生成[0，1)区间的随机数，根据随机数在异构集群服务器S＝{S_i|1≤i≤L}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的服务器，所述的服务器S_i转发概率空间为

若用户请求内容为热点瓦片，采用如下的分发策略：

查询热点瓦片的缓存服务器表，将缓存热点瓦片的缓存服务器组成热点瓦片缓存服务器组Sc＝{Sc_i|1≤i≤K}，根据热点瓦片缓存服务器组中各服务器的负载记录表，若显示热点瓦片缓存服务器组过载，则负载分配器临时生成[0，1)区间的随机数，根据该随机数在异构集群缓存服务器S＝{S_i|1≤i≤L}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的服务器，所述的服务器S_i转发概率空间为

若热点瓦片缓存服务器组未过载，负载分配器临时生成[0，1)区间的随机数，根据随机数在热点瓦片缓存服务器组Sc＝{Sc_i|1≤i≤K}中服务器转发概率空间的落点，将用户请求分发至落点所在概率空间所对应的热点瓦片缓存服务器，所述的热点瓦片缓存服务器Sc_i的转发概率空间为

其中，

p_j为热点瓦片缓存服务器Sc_j的原始转发概率，p′_j为归一化后瓦片缓存服务器Sc_j的转发概率。

2.根据权利要求1所述的网络GIS异构集群服务器负载均衡方法，其特征在于：步骤2的子步骤3)具体为：

选取异构集群服务器组S＝{S_i|1≤i≤L}中处理能力最强的服务器Max(S_i)，从标识为Tile_w+1的热点瓦片开始顺次将热点瓦片及热点瓦片副本存放于服务器Max(S_i)中，Tile_w为最后缓存的热点瓦片标识，其初始值为Tile₁，并记录当前服务器中缓存热点瓦片个数T_c，确保T_c≤k，至服务器Max(S_i)的缓存用尽，从集群缓存服务器组中删除该服务器，循环本步骤直至异构集群缓存服务器组为空或热点瓦片及热点瓦片副本全部存放完毕。

3.根据权利要求1所述的网络GIS异构集群服务器负载均衡方法，其特征在于：

步骤3的异构集群服务器负载调度模型中各服务器的服务器处理请求时间均相同，即各服务器的服务速率均相同，但采用用户请求数目为N_i来体现瓦片在服务器中所需计算资源的差异性，采用处理请求时间T_i来体现服务器对瓦片服务时间的差异。

4.根据权利要求1或3所述的网络GIS异构集群服务器负载均衡方法，其特征在于：

步骤4中计算异构集群服务器的用户请求到达率均值{λ₁，λ₂，...，λ_L}具体为：求解异构集群服务器系统请求处理时间期望值T，将T描述为有约束的非线性规划数学模型，并通过罚函数法求解使T为最小值的一组用户请求到达率均值{λ₁，λ₂，...，λ_L}，所述的异构集群服务器系统请求处理时间期望值 $T=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(\frac{{{\mathrm{\ρ}}_i}^{N_i}{\stackrel{\‾}{\mathrm{\ρ}}}_i}{\mathrm{\λ}\left(N_i\right)!{(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}^2[e^{{\mathrm{\ρ}}_i}+\frac{{{\mathrm{\ρ}}_i}^{N_i}}{\left(N_i\right)!(1-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}]}+\frac{{\mathrm{\λ}}_i}{\mathrm{\μ\λ}}),$ 其中，L为异构集群服务器中服务器的数量；

反映服务器处于忙的概率；反映处理一个请求服务器S_i处于忙的概率；N_i为服务器S_i可同时处理的用户请求数目，λ为异构集群服务器的用户请求到达率均值，λ_i为服务器S_i的用户请求到达率均值，μ为异构集群服务器处理请求时间的平均值。

Images