CN116582497B - 一种单服务器条件下的高效gis服务自适应流量整形的方法 - Google Patents

一种单服务器条件下的高效gis服务自适应流量整形的方法 Download PDF

Info

Publication number
CN116582497B
CN116582497B CN202310435144.9A CN202310435144A CN116582497B CN 116582497 B CN116582497 B CN 116582497B CN 202310435144 A CN202310435144 A CN 202310435144A CN 116582497 B CN116582497 B CN 116582497B
Authority
CN
China
Prior art keywords
rate
task
expected
load
token issuing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310435144.9A
Other languages
English (en)
Other versions
CN116582497A (zh
Inventor
吴政
武鹏达
张成成
戴昭鑫
朱立宁
洪志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Surveying and Mapping
Original Assignee
Chinese Academy of Surveying and Mapping
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Surveying and Mapping filed Critical Chinese Academy of Surveying and Mapping
Priority to CN202310435144.9A priority Critical patent/CN116582497B/zh
Publication of CN116582497A publication Critical patent/CN116582497A/zh
Application granted granted Critical
Publication of CN116582497B publication Critical patent/CN116582497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/22—Traffic shaping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/215—Flow control; Congestion control using token-bucket
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种单服务器条件下的高效GIS服务自适应流量整形的方法，包括，构建系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度之间的任务请求处理队列模型；基于系统的综合负载情况，建立系统综合负载级别与期望令牌发放速率级别的关系预测模型；基于系统综合负载与系统任务处理速率之间的关系，建立系统期望任务到达速率与系统综合负载的关系模型；基于系统期望任务到达速率和系统综合负载的关系模型，建立系统期望任务到达速率与期望令牌发放速率之间的关系模型，获取期望令牌发放速率。优点是：在资源有限的环境下，顾及系统负载对令牌发放速率进行自适应调整，实现任务流量整形，降低任务平均处理时延。

Description

一种单服务器条件下的高效GIS服务自适应流量整形的方法
技术领域
本发明涉及GIS服务技术领域，尤其涉及一种单服务器条件下的高效GIS服务自适应流量整形的方法。
背景技术
在资源有限的条件下，GIS服务系统面对高并发场景的应用需求时，系统服务性能会出现瓶颈。为解决GIS服务高并发请求带来的问题，常用的解决方案为采用多服务器应对高并发应用场景的处理方法，即使用多个硬件资源来分散用户的请求，如常见的负载均衡算法，采用该方法的前提是可用服务资源众多，解决问题的关键在于硬件数量的增加。但是在很多实际GIS服务应用场景中，系统资源有限，常常面临单服务器应对高并发GIS服务请求的情形。同时，与传统的网络流量的短时间传输情形不同，GIS服务系统中的任务形式更为复杂多样，其对系统资源的需求差异明显。因此，需要针对有限资源环境条件下应对高并发GIS服务的情况，提出有效的方法确保系统平滑、流畅地处理服务请求，使GIS服务系统能够平稳运行。
对于可用服务资源有限，特别是单服务器情形，解决问题的关键在于通过使用流量整形方法调整并发处理任务量，即在任务队列过载的情况下，限制任务对系统资源的利用率，从而缓解系统负载状况，如流量控制(Traffic Policing)、流量整形(TrafficShaping)等。目前主要有三种方法：漏桶算法(Leaky Bucket)、令牌桶算法(Token Bucket)以及改进的令牌桶算法。漏桶算法通过设定输出流量速率，将无规则的任务请求整形成限定的速率向外发送。这种以恒定速率发送的算法这不利于突发流量的处理，如有些突发任务请求数量未达到流量限速，仍会被整形成固定速率进行处理，降低了任务响应的时效性。令牌桶算法是系统以一个恒定的速度向桶里发放令牌，而如果有请求需要处理，则需要先从桶里获取一个令牌，由此，通过控制令牌发放速率即可控制任务处理速率。经典的令牌桶算法通过设置固定的令牌发放速率进行任务整形，难以确定最优的令牌发放速率，导致高并发条件下任务的平均处理时延较大、服务效率较低。改进的令牌桶算法有单速率三色标记算法、双速率三色标记算法、基于QoS感知的分级令牌桶算法，这些方法对针对的是具有不同优先级或具有自相似性的任务情形，然而对于GIS服务请求，其本身无优先级且复杂程度不同，因此改进的令牌桶算法依旧无法有效解决此类问题。
对于单服务器而言，其计算资源有限，理想情况下，欲使服务器具有最高效的请求处理速度，应保证：当计算资源利用率较高时，适当减少并发处理的任务数量；当计算资源利用率较低时，可适当增加任务处理数量，从而达到最优处理速度。因此，如何在有限资源情况下，实时感知系统负载情况，动态地对任务流量整形处理，建立自适应任务流量的整形方法是解决问题的关键。
发明内容
本发明的目的在于提供一种单服务器条件下的高效GIS服务自适应流量整形的方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种单服务器条件下的高效GIS服务自适应流量整形的方法，包括如下步骤，
S10、构建系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度之间的任务请求处理队列模型：
基于单节点GIS服务系统实际任务请求情况，对系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度的关系进行建模，构建任务请求处理队列模型；
S20、基于系统的综合负载情况，建立系统综合负载级别与期望令牌发放速率级别的关系预测模型：
动态计算系统综合负载情况，分别对系统综合负载情况与期望令牌发放速率进行分级，构建系统综合负载级别和期望令牌发放速率级别之间的隐马尔科夫模型，以根据观测到的系统综合负载级别序列预测下一时刻的期望令牌发放速率级别的状态；
S30、基于系统综合负载与系统任务处理速率之间的关系，建立系统期望任务到达速率与系统综合负载的关系模型：
基于系统综合负载与系统任务处理能力之间的负相关关系，结合任务请求处理队列模型，建立系统期望任务到达速率和系统综合负载的关系模型；
S40、基于系统期望任务到达速率和系统综合负载的关系模型，建立系统期望任务到达速率与期望令牌发放速率之间的关系模型，获取令牌桶的期望令牌发放速率：
基于期望任务到达速率与系统综合负载的关系模型，结合GIS系统的最大令牌发放速率和最小令牌发放速率以及期望令牌发放速率级别，建立系统期望任务到达速率与令牌发放速率的关系模型，根据获得的期望令牌发放速率调整令牌桶的令牌发放速率，完成自适应任务流量整形。
优选的，步骤S10具体为，在GIS服务系统中，采用M/M/1排队模型对单服务器GIS服务系统的任务到达、任务排队和任务处理的过程进行建模，构建任务请求处理队列模型，公式如下，
其中，Ls为系统平稳状态下队列长度；λ为系统期望任务到达速率；μ为系统当前任务处理速率；ρ为服务强度，ρ＝λ/μ；n为t时刻的系统状态指示量。
优选的，步骤S20包括，
S21、对GIS服务系统的CPU使用率、内存使用情况、已用资源连接数占比进行加权求和计算系统综合负载，计算公式为，
其中，Load为GIS服务系统的当前综合负载；ω1、ω2和ω3分别为CPU使用率L1、内存使用率L2和已用资源连接数占比L3的权重，ω1+ω2+ω3＝1；ωi为负载指标i的权重，Li表示负载指标i的测量值；
S22、当三项负载指标的测量值Li均位于区间[0.35，0.75]时，GIS服务系统处于健康、稳定的状态；当三项负载指标的测量值Li位于[0，0.35]、(0.35，0.75]、(0.75，1.0]三个不同的区间时，三项负载指标对系统负载的影响程度均不一样，ωi需要根据Li的负载情况进行动态调整，按照当前各项指标测量值进行排序后，赋予对应权重值；
S23、对系统综合负载和期望令牌发放速率分别进行分级，建立系统综合负载级别和期望令牌发放速率级别之间的隐马尔科夫模型，初始化隐马尔科夫模型的参数；并由观测到的系统综合负载级别的时间序列预测下一时刻期望令牌发放速率级别的状态。
优选的，对系统综合负载进行分级，记为综合负载级别LoadRank，分为五级，分别为L、LM、M、HM、H；这五个等级的区间范围分别为：[0，0.35]、(0.35，0.5]、(0.5，0.75]、(0.75，0.9]、(0.9，1.0]；
对期望令牌发放速率进行分级，记为期望令牌发放速率级别RateRank，分为三级，分别为Rank1、Rank2、Rank3。
优选的，步骤S30包括，
S31、基于系统综合负载与系统任务处理速率之间的负相关关系，根据系统综合负载计算系统任务处理速率，公式如下，
其中，MaxLoad为GIS服务系统满负荷时的负载值；N为当GIS服务系统空闲时每秒钟可执行的任务数；
S32、基于任务请求处理队列模型，建立系统期望任务到达速率与系统综合负载的关系模型，公式如下，
若实时计算系统综合负载Load，则可获得当前系统期望任务到达速率λ。
优选的，步骤S40包括，
S41、确定GIS服务系统的最大令牌发放速率和最小令牌发放速率；
其中，MaxTokenRate和MinTokenRate分别为GIS服务系统的最大令牌发放速率和最小令牌发放速率；MaxThread为GIS服务系统所允许的最大并发数，SingleTaskCostTime为平均处理单个任务所用耗时；
S42、根据预测的期望令牌发放速率等级，确定速率调整参数，由t-1时刻的令牌发放速率计算t时刻的期望令牌发放速率，并将最终计算的期望令牌发放速率用于调节令牌桶的令牌发放速率；
rt＝max(min(α×rt-1+β×rres，MaxTokenRate)，MinTokenRate)
其中，rres为GIS服务系统的剩余服务能力；rt为预测的GIS服务系统t时刻的期望令牌发放速率；rt-1为GIS服务系统t-1时刻的令牌发放速率；α、β为速率调整参数。
本发明的有益效果是：1、本发明方法在高并发、有限资源条件下，有效解决了难以确定最优令牌桶令牌发放速率的问题，保证了任务的平均处理时延和服务速率，使系统处于一个相对平稳的运行状态。2、本发明能在资源有限的环境下，顾及系统负载对令牌发放速率进行自适应调整，实现任务流量整形，降低任务平均处理时延。
附图说明
图1为本发明实施例提供的单服务器条件下自适应流量整形的方法流程示意图；
图2为本发明实施例中不同任务情形下经典令牌桶算法最优令牌发放速率探测示意图；其中(a)为简单任务情形下经典令牌桶算法最优令牌发放速率探测示意图，(b)为一般任务情形下经典令牌桶算法最优令牌发放速率探测示意图，(c)为复杂任务情形下经典令牌桶算法最优令牌发放速率探测示意图；
图3为本发明实施例中不同任务情形下平均处理时延对比分析示意图；其中，(a)为简单任务情形下平均处理时延对比分析示意图，(b)为一般任务情形下平均处理时延对比分析示意图，(c)为复杂任务情形下平均处理时延对比分析示意图；
图4为本发明实施例中不同任务情形下平均处理速率对比分析示意图；(a)为简单任务情形下平均处理速率对比分析示意图，(b)为一般任务情形下平均处理速率对比分析示意图，(c)为复杂任务情形下平均处理速率对比分析示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例一
如图1所示，本实施例中，提供了一种单服务器条件下的高效GIS服务自适应流量整形的方法，本发明针对单服务器系统接受任务请求的实际情况，设计一种有限资源环境下的自适应任务流量整形算法。首先，引入M/M/1排队模型，建立队列期待任务到达速率与当前系统任务处理速率的关系；然后，基于隐马尔科夫模型，建立系统综合负载级别与期望令牌发放速率级别的关系预测模型；接着，建立期望任务到达速率和系统综合负载的关系模型；最后，通过建立任务到达速率与令牌发放速率的函数关系，以此自适应调节令牌桶的令牌发放速率。具体包括如下步骤，
S10、构建系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度之间的任务请求处理队列模型；
S20、基于系统的综合负载情况，建立系统综合负载级别与期望令牌发放速率级别的关系预测模型；
S30、基于系统综合负载与系统任务处理速率之间的关系，建立系统期望任务到达速率与系统综合负载的关系模型；
S40、基于系统期望任务到达速率和系统综合负载的关系模型，建立系统期望任务到达速率与期望令牌发放速率之间的关系模型，获取令牌桶的期望令牌发放速率。
综上可以看出，本发明主要包括四部分内容，分别是，构建任务请求处理队列模型、建立系统综合负载级别与期望令牌发放速率级别的关系预测模型、建立系统期望任务到达速率与系统综合负载的关系模型、建立系统期望任务到达速率与令牌发放速率之间的关系模型；下面分别针对这四部分内容进行说明：
一、构建任务请求处理队列模型
该部分对应步骤S10：基于单节点GIS服务系统任务请求的实际情况，对系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度的关系进行建模，构建任务请求处理队列模型；具体为，
1、在单GIS服务系统运行期间，用户发送请求的时机是随机的，各个请求之间相互独立、互不影响，可认为服从泊松分布模型；单GIS服务系统中，由服务节点处理用户发出的请求，且GIS服务系统内含有一个请求队列，各个任务的处理时间服从指数分布；请求依次进入服务节点，遵循“先来先服务”的规则；单GIS服务系统可认为只有一个服务台，由此满足了“输入过程-排队规则-服务过程”的排队理论。在GIS服务系统中，采用M/M/1排队模型对单服务器GIS服务系统的任务到达、任务排队和任务处理的过程进行建模，构建任务请求处理队列模型，系统期望任务到达速率定义为λ(个/秒)，系统当前处理能力(系统当前任务处理速率)定义为μ(个/秒)，系统平稳状态下队列长度定义为Ls，公式如下，
其中，ρ为服务强度，ρ＝λ/μ；n为t时刻的系统状态指示量。
2、由上式可以看出，系统期望任务到达速率λ、系统平稳状态下队列长度Ls和系统任务处理速率μ之间的关系为，
通过实时监测系统中Ls，动态计算μ，则可得到系统期望任务到达速率λ。由此，可根据λ调整令牌发放速率，使系统处于一个健康、稳定的状态。
二、建立系统综合负载级别与期望令牌发放速率级别的关系预测模型
该部分对应步骤S20：动态计算系统综合负载情况，分别对系统综合负载情况与期望令牌发放速率进行分级，构建系统综合负载级别和期望令牌发放速率级别之间的隐马尔科夫模型，以根据观测到的系统综合负载级别序列预测下一时刻的期望令牌发放速率级别的状态。具体包括，
1、在单GIS服务器对外提供服务的过程中，其当前任务处理速度μ与系统综合负载Load具有直接关系。当服务器的负载越大，说明其空余的处理能力就越小，即μ随着服务器负载的增加而降低。
在目前的负载计算中，将CPU使用率作为衡量负载的主要因素；内存作为计算机的重要部件，是与CPU沟通的桥梁，对于服务节点性能判断来说，内存使用情况对于服务节点的性能影响极大。此外，对于单GIS服务系统，其包含的资源连接数是固定的，当已利用的资源连接数越高时，服务系统需进行的运算量也越大，为此定义已用资源连接数占比作为评判负载的另一个因素。据此，单GIS服务器的CPU使用率L1、内存使用率L2、已用资源连接数占比L3是其综合负载的重要的三个指标，对负载指标进行加权求和公式，计算综合负载：
其中，Load为GIS服务系统的当前综合负载；ω1、ω2和ω3分别为CPU使用率L1、内存使用率L2和已用资源连接数占比L3的权重，ω1+ω2+ω3＝1；ωi为负载指标i的权重，Li表示负载指标i的测量值；
2、由于上述三个指标的变化并不具备一致性，即CPU使用率达到80％时，可能内存使用率仅为20％，直接根据三个指标设置权重并不合理，而应该根据三个指标在系统运行时产生的实际影响设置相应的权重。因此，当三项负载指标的测量值Li均位于区间[0.35，0.75]时，GIS服务系统位于健康、稳定的状态；当三项负载指标的测量值Li位于[0，0.35]、(0.35，0.75]、(0.75，1.0]三个不同的区间时，三项负载指标对系统负载的影响程度均不一样，ωi需要根据Li的负载情况进行动态调整，按照当前各项指标的测量值进行排序后，赋予对应权重值。
具体地：当所有Li均位于[0，0.35]、(0.35，0.75]或(0.75，1.0]的同一区间时，认为三项指标对系统负载的影响力度一致，此时可按照其当前实际数值进行排序后，赋予对应重值。本实施例中采用的权重设置为：{0.5，0.3，0.2}；当存在某一项指标位于(0.35，0.75]区间、其他两项指标位于[0，0.35]区间时，认为该指标对系统负载影响较大，其权重值应较高，其他两项指标可按照其当前实际数值进行排序后，赋予对应重值，本实施例中采用的权重设置为：{0.7，0.2，0.1}；当存在某两项指标位于(0.35，0.75]区间、另外一项指标位于[0，0.35]区间时，则认为该两项指标对系统负载影响较大，其权重值应较高，此时可按照其当前实际数值进行排序后，赋予对应重值，本实施例中采用的权重设置为：{0.5，0.4，0.1}；当存在某一项指标位于[0.75，1]区间、其他两项指标位于[0，0.75]区间时，认为该指标是当前系统瓶颈，其权重值应极大，本实施例中采用的权重设置为：{0.9，0.07，0.03}；当存在某两项指标位于[0.75，1]区间、另外一项指标位于[0，0.75]区间时，认为该两项指标是当前系统瓶颈，其权重值应极大，此时可按照其当前实际数值进行排序后，赋予对应重值，本实施例中采用的权重设置为：{0.5，0.47，0.03}。
3、对系统综合负载和期望令牌发放速率分别进行分级，建立系统综合负载级别和期望令牌发放速率级别之间的隐马尔科夫模型，初始化隐马尔科夫模型的参数；并由观测到的系统综合负载级别的时间序列预测下一时刻期望令牌发放速率级别的状态。
具体地：对系统综合负载进行分级，记为综合负载级别LoadRank，分为五级，分别为L([0，0.35])、LM((0.35，0.5])、M((0.5，0.75])、HM((0.75，0.9])、H((0.9，1.0])，为显状态；对期望令牌发放速率进行分级，记为期望令牌发放速率级别RateRank，分为三级，分别为Rank1、Rank2、Rank3，为隐状态；建立显状态LoadRank与隐状态RateRank之间的隐马尔科夫模型，初始化隐马尔科夫模型参数：隐状态、隐状态的初始概率，隐状态的转移概率矩阵以及发射概率矩阵(隐状态表现为显状态的概率)；根据观测序列(实时计算显状态LoadRank时间序列)，由观测到的LoadRank序列预测下一时刻RateRank的状态。
RateRank的初始概率RateRank的转移概率矩阵Traterank，raterank：
发射概率矩阵Eloadrank，raterank：
三、建立系统期望任务到达速率与系统综合负载的关系模型
该部分对应步骤S30：基于系统综合负载与系统任务处理能力之间的负相关关系，结合任务请求处理队列模型，建立系统期望任务到达速率和系统综合负载的关系模型。具体包括，
1、基于系统综合负载与系统任务处理速率之间的负相关关系，根据系统综合负载计算系统任务处理速率，公式如下，
其中，MaxLoad为GIS服务系统满负荷时的负载值(理想状态)；N为当GIS服务系统空闲时每秒钟可执行的任务数；
2、基于任务请求处理队列模型，建立系统期望任务到达速率与系统综合负载的关系模型，公式如下，
若实时计算系统综合负载Load，则可获得当前系统期望任务到达速率λ，进而，根据λ调节令牌发放速率r，实现自适应任务流量整形。
四、建立系统期望任务到达速率与期望令牌发放速率之间的关系模型
该部分对应步骤S40：基于期望任务到达速率与系统综合负载的关系模型，结合GIS系统的最大令牌发放速率和最小令牌发放速率以及期望令牌发放速率级别，建立系统期望任务平均到达速率与期望令牌发放速率的关系模型，根据获得的期望令牌发放速率调整令牌桶的令牌发放速率，完成自适应任务流量整形。
1、确定GIS服务系统的最大令牌发放速率和最小令牌发放速率；
其中，MaxTokenRate和MinTokenRate分别为GIS服务系统的最大令牌发放速率和最小令牌发放速率；MaxThread为GIS服务系统所允许的最大并发数，SingleTaskCostTime为平均处理单个任务所用耗时。本实施例中，MaxThread取值为8；SingleTaskCostTime为根据任务的复杂度而定，一般而言，分为简单任务(单任务单线程耗时＜10ms)、一般任务(单任务单线程耗时10ms≤t＜50ms)、复杂任务(单任务单线程耗时≥50ms)；本实施例中，简单任务时间成本为5ms，一般任务时间成本为20ms，复杂任务时间成本为80ms。
2、根据预测的期望令牌发放速率等级，确定速率调整参数，由t-1时刻的令牌发放速率计算t时刻的期望令牌发放速率，并将最终计算的期望令牌发放速率作为调节令牌桶的令牌发放速率；
rt＝max(min(α×rt-1+β×rres，MaxTokenRate)，MinTokenRate)
其中，rres为GIS服务系统的剩余服务能力；rt为预测的GIS服务系统t时刻的期望令牌发放速率；rt-1为GIS服务系统t-1时刻的令牌发放速率；α、β为速率调整参数。
实施例二
本实施例中，将本发明的方法嵌入到GIS服务系统，与经典令牌桶算法分别进行平均处理时延、平均处理速率对比分析，验证本发明的合理性和有效性。
一、实验数据与实验环境
任务请求随机发送，且不存在优先级，由于为用户自定义任务(不同约束条件的时空查询)，完成任务所需的系统资源各不相同。实验环境为单GIS服务系统，操作系统为Windows10 64位系统，CPU为Intel Xeon GoId 6132 8核，主频2.6GHz，内存200GB。
二、多类任务情形下经典令牌桶算法最优令牌发放速率探测
GIS服务系统接收的任务流量复杂多样，本实施例中划定三种任务场景：简单任务场景(单任务单线程耗时＜10ms)、一般任务场景(单任务单线程耗时10ms≤t＜50ms)、复杂任务场景(单任务单线程耗时≥50ms)，并分别建立仅包含上述某一类任务请求的服务场景，探测多类任务情形下经典令牌桶算法最优令牌发放速率。
本实施例中，设置请求并发量为1-200的多组并发场景，分别设置100个/s、200个/s、300个/s、400个/s和500个/s共5组令牌发放速率，以总任务完成的平均耗时最低时对应的发放速率作为最优令牌发放速率。在当前系统计算环境下，简单任务对应的最优令牌发放速率设置为500个/s，如图2(a)所示；一般任务对应的最优令牌发放速率设置为300个/s，如图2(b)所示；复杂任务对应的最优令牌发放速率设置为200个/s，如图2(c)所示。由此可以说明，设置固定的令牌发放速率难以适应多样的任务请求。
3.不同任务情形下平均处理时延对比分析
在简单任务情形下，其中，经典令牌桶算法设置的速率为上述最优发放速率，即500个/s。由图3(a)可以看出：(1)随着任务并发量的增加，两种方法对应的平均时延均基本呈线性增长，这与任务量越大、处理越耗时的原理吻合；(2)本发明方法对应的平均时延均小于经典令牌桶算法的平均时延；(3)随着任务并发量的增加，经典令牌桶算法的平均时延与本发明方法对应的平均时延差距明显增大，并发量最大时，经典令牌桶算法的平均时延是本发明方法的2.15倍，说明本发明方法有效降低了简单任务的平均时延。
在一般任务情形下，其中，经典令牌桶算法设置的速率为上述最优发放速率，即300个/s。由图3(b)可以看出：(1)随着任务并发量的增加，两种方法对应的平均时延均基本呈线性增长；(2)本发明方法对应的平均时延与经典令牌桶算法的平均时延基本一致，说明在当前情形下，设置的固定最优发放速率比较好的适应了任务的处理。
在复杂任务情形下，其中，经典令牌桶算法设置的速率为上述最优发放速率，即200个/s。由图3(c)可以看出：(1)随着任务并发量的增加，两种方法对应的平均时延均不再呈线性增长，并发量大于75时，增长曲线抖动较为明显，说明复杂任务情形下，令牌发送速率的调节更为困难；(2)当并发量小于75时，本发明方法对应的平均时延与经典令牌桶算法的平均时延基本一致，说明在当前并发量对服务器负载影响不大；(3)当并发量高于75时，经典令牌桶算法的平均时延高于本发明方法对应的平均时延，最高时达到了2.64倍，说明本发明方法降低了复杂任务的平均处理时延。
4.不同任务情形下平均处理速率对比分析
在简单任务情形下，其中，经典令牌桶算法设置的速率为上述最优发放速率，即500个/s。由图4(a)可以看出：(1)当任务并发量达到5个时，经典令牌桶算法的平均处理速率即已达到最大值，约为300个/s；(2)当任务并发量达到35个时，本发明方法的平均处理速率即已达到最大值，约为700个/s，是经典令牌桶算法的2.34倍，有效提高了对于简单任务的平均处理速率。
在一般任务情形下，其中，经典令牌桶算法设置的速率为上述最优发放速率，即300个/s。由图4(b)可以看出：(1)随着任务并发量的增加，两种方法对应的平均处理速度基本呈指数增长，并发量至35个时，达到平稳状态；(2)本发明方法对应的平均处理速率与经典令牌桶算法的平均处理速率基本一致，说明在当前情形下，设置的固定最优发放速率比较好的适应了任务的处理，相对于最优发送速率，本发明方法的平均处理速率仍未落后。
在复杂任务情形下，其中，经典令牌桶算法设置的速率为上述最优发送速率，即200个/s。由图4(c)可以看出：(1)随着任务并发量的增加，两种方法对应的平均处理速率逐渐降低，当并发量达到110时，平均处理速率趋于平稳；(2)当并发量高于50时，本发明方法对应的平均处理速率开始高于经典令牌桶算法的平均处理速率，最高时可优于经典令牌桶算法达到11个/s，说明本发明方法有效提高了复杂任务的平均处理速率。
本实施例提供的单服务器条件下的高效GI S服务自适应流量整形的方法，通过构建任务请求排队模型，建立队列期望任务到达速率与当前系统任务处理速率的关系，通过动态计算系统综合负载，并建立综合负载与期望任务到达速率的函数关系，通过计算队列期望任务到达速率，进而获得期望令牌发放速率，完成自适应任务流量整形。本发明方法顾及系统综合负载，对令牌发放速率进行自适应调整，在平均处理时延方面：对于简单任务，在不同并发条件下，本发明方法的平均处理时延均小于经典令牌桶算法的平均处理时延，在并发量为200时，经典令牌桶算法的处理时延是本发明方法的2.15倍；对于一般任务，在不同并发条件下，本发明方法对应的平均时延与经典令牌桶算法的平均时延基本一致；对于复杂任务，当并发量高于75时，经典令牌桶算法的平均时延高于本发明方法对应的平均时延，最高时达到了2.64倍。在平均处理速率方面，对于简单任务，当任务并发量达到35个时，本发明方法的平均处理速率约为经典令牌桶算法的2.34倍；对于一般任务，本发明方法对应的平均处理速率与经典令牌桶算法的平均处理速率基本一致；对于复杂任务，当并发量高于50时，本发明方法对应的平均处理速率开始高于经典令牌桶算法的平均处理速率，最高时可优于经典令牌桶算法达到了11个/s。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明提供了一种有限资源环境下的自适应流量整形算法，本发明方法在高并发、有限资源条件下，有效解决了难以确定最优令牌桶令牌发放速率的问题，保证了任务的平均处理时延和服务速率，使系统处于一个相对平稳的运行状态。本发明能在资源有限的环境下，顾及系统负载对令牌发放速率进行自适应调整，实现任务流量整形，降低任务平均处理时延。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种单服务器条件下的高效GIS服务自适应流量整形的方法，其特征在于：包括如下步骤，
S10、构建系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度之间的任务请求处理队列模型：
基于单节点GIS服务系统实际任务请求情况，对系统期望任务到达速率、系统任务处理速率和系统平稳状态下队列长度的关系进行建模，构建任务请求处理队列模型；
S20、基于系统的综合负载情况，建立系统综合负载级别与期望令牌发放速率级别的关系预测模型：
动态计算系统综合负载情况，分别对系统综合负载情况与期望令牌发放速率进行分级，构建系统综合负载级别和期望令牌发放速率级别之间的隐马尔科夫模型，以根据观测到的系统综合负载级别序列预测下一时刻的期望令牌发放速率级别的状态；
S30、基于系统综合负载与系统任务处理速率之间的关系，建立系统期望任务到达速率与系统综合负载的关系模型：
基于系统综合负载与系统任务处理能力之间的负相关关系，结合任务请求处理队列模型，建立系统期望任务到达速率和系统综合负载的关系模型；
S40、基于系统期望任务到达速率和系统综合负载的关系模型，建立系统期望任务到达速率与期望令牌发放速率之间的关系模型，获取令牌桶的期望令牌发放速率：
基于期望任务到达速率与系统综合负载的关系模型，结合GIS系统的最大令牌发放速率和最小令牌发放速率以及期望令牌发放速率级别，建立系统期望任务到达速率与令牌发放速率的关系模型，根据获得的期望令牌发放速率调整令牌桶的令牌发放速率，完成自适应任务流量整形；
对期望令牌发放速率进行分级，记为期望令牌发放速率级别RateRank，分为三级，分别为Rank1、Rank2、Rank3；
步骤S40包括，
S41、确定GIS服务系统的最大令牌发放速率和最小令牌发放速率；
其中，MaxTokenRate和MinTokenRate分别为GIS服务系统的最大令牌发放速率和最小令牌发放速率；MaxThread为GIS服务系统所允许的最大并发数，SingleTaskCostTime为平均处理单个任务所用耗时；
S42、根据预测的期望令牌发放速率等级，确定速率调整参数，由t-1时刻的令牌发放速率计算t时刻的期望令牌发放速率，并将最终计算的期望令牌发放速率用于调节令牌桶的令牌发放速率；
rt＝max(min(α×rt-1+β×rres,MaxTokenRate),MinTokenRate)
其中，rres为GIS服务系统的剩余服务能力；rt为预测的GIS服务系统t时刻的期望令牌发放速率；rt-1为GIS服务系统t-1时刻的令牌发放速率；α、β为速率调整参数；Ls为系统平稳状态下队列长度；λ为系统期望任务到达速率；MaxLoad为GIS服务系统满负荷时的负载值；N为当GIS服务系统空闲时每秒钟可执行的任务数；Load为GIS服务系统的当前综合负载。
2.根据权利要求1所述的单服务器条件下的高效GIS服务自适应流量整形的方法，其特征在于：步骤S10具体为，在GIS服务系统中，采用M/M/1排队模型对单服务器GIS服务系统的任务到达、任务排队和任务处理的过程进行建模，构建任务请求处理队列模型，公式如下，
其中，μ为系统当前任务处理速率；ρ为服务强度，ρ＝λ/μ；n为t时刻的系统状态指示量。
3.根据权利要求2所述的单服务器条件下的高效GIS服务自适应流量整形的方法，其特征在于：步骤S20包括，
S21、对GIS服务系统的CPU使用率、内存使用情况、已用资源连接数占比进行加权求和计算系统综合负载，计算公式为：
其中，ω1、ω2和ω3分别为CPU使用率L1、内存使用率L2和已用资源连接数占比L3的权重，ω1+ω2+ω3＝1；ωi为负载指标i的权重，Li表示负载指标i的测量值；
S22、当三项负载指标的测量值Li均位于区间[0.35,0.75]时，GIS服务系统处于健康、稳定的状态；当三项负载指标的测量值Li位于[0,0.35]、(0.35,0.75]、(0.75,1.0]三个不同的区间时，三项负载指标对系统负载的影响程度均不一样，ωi需要根据Li的负载情况进行动态调整，按照当前各项指标测量值进行排序后，赋予对应权重值；
S23、对系统综合负载和期望令牌发放速率分别进行分级，建立系统综合负载级别和期望令牌发放速率级别之间的隐马尔科夫模型，初始化隐马尔科夫模型的参数；并由观测到的系统综合负载级别的时间序列预测下一时刻期望令牌发放速率级别的状态。
4.根据权利要求2所述的单服务器条件下的高效GIS服务自适应流量整形的方法，其特征在于：对系统综合负载进行分级，记为综合负载级别LoadRank，分为五级，分别为L、LM、M、HM、H；这五个等级的区间范围分别为：[0,0.35]、(0.35,0.5]、(0.5,0.75]、(0.75,0.9]、(0.9,1.0]。
5.根据权利要求3所述的单服务器条件下的高效GIS服务自适应流量整形的方法，其特征在于：步骤S30包括，
S31、基于系统综合负载与系统任务处理速率之间的负相关关系，根据系统综合负载计算系统任务处理速率，公式如下，
S32、基于任务请求处理队列模型，建立系统期望任务到达速率与系统综合负载的关系模型，公式如下，
若实时计算系统综合负载Load，则可获得当前系统期望任务到达速率λ。
CN202310435144.9A 2023-04-21 2023-04-21 一种单服务器条件下的高效gis服务自适应流量整形的方法 Active CN116582497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310435144.9A CN116582497B (zh) 2023-04-21 2023-04-21 一种单服务器条件下的高效gis服务自适应流量整形的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310435144.9A CN116582497B (zh) 2023-04-21 2023-04-21 一种单服务器条件下的高效gis服务自适应流量整形的方法

Publications (2)

Publication Number Publication Date
CN116582497A CN116582497A (zh) 2023-08-11
CN116582497B true CN116582497B (zh) 2024-01-23

Family

ID=87542339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310435144.9A Active CN116582497B (zh) 2023-04-21 2023-04-21 一种单服务器条件下的高效gis服务自适应流量整形的方法

Country Status (1)

Country Link
CN (1) CN116582497B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572329A (zh) * 2019-07-08 2019-12-13 紫光云技术有限公司 一种网络自适应流量整形方法及系统
CN111614570A (zh) * 2020-04-20 2020-09-01 北京邮电大学 一种用于服务网格的流量控制系统及方法
CN113645147A (zh) * 2021-07-01 2021-11-12 苏州裕太微电子有限公司 一种流量整形器的令牌更新系统及方法
WO2022052659A1 (zh) * 2020-09-10 2022-03-17 苏州浪潮智能科技有限公司 一种限速队列提交训练任务的方法和装置
CN115277577A (zh) * 2022-09-28 2022-11-01 平安银行股份有限公司 数据处理方法、装置、计算机设备和计算机可读存储介质
CN115334082A (zh) * 2022-08-10 2022-11-11 中国工商银行股份有限公司 负载均衡方法、装置、计算机设备、存储介质和产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572329A (zh) * 2019-07-08 2019-12-13 紫光云技术有限公司 一种网络自适应流量整形方法及系统
CN111614570A (zh) * 2020-04-20 2020-09-01 北京邮电大学 一种用于服务网格的流量控制系统及方法
WO2022052659A1 (zh) * 2020-09-10 2022-03-17 苏州浪潮智能科技有限公司 一种限速队列提交训练任务的方法和装置
CN113645147A (zh) * 2021-07-01 2021-11-12 苏州裕太微电子有限公司 一种流量整形器的令牌更新系统及方法
CN115334082A (zh) * 2022-08-10 2022-11-11 中国工商银行股份有限公司 负载均衡方法、装置、计算机设备、存储介质和产品
CN115277577A (zh) * 2022-09-28 2022-11-01 平安银行股份有限公司 数据处理方法、装置、计算机设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN116582497A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110096349B (zh) 一种基于集群节点负载状态预测的作业调度方法
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN110275758B (zh) 一种虚拟网络功能智能迁移方法
CN109324875B (zh) 一种基于强化学习的数据中心服务器功耗管理与优化方法
CN111400001B (zh) 一种面向边缘计算环境的在线计算任务卸载调度方法
CN112039965B (zh) 一种时间敏感网络中的多任务卸载方法及系统
CN111711666B (zh) 一种基于强化学习的车联网云计算资源优化方法
CN107220108B (zh) 一种实现云数据中心负载均衡的方法和系统
CN111338807B (zh) 一种面向边缘人工智能应用的QoE感知的服务增强方法
CN107566535B (zh) 基于Web地图服务并发访问时序规则的自适应负载均衡方法
CN111611062A (zh) 云边协同分层计算方法及云边协同分层计算系统
CN113194040A (zh) 瞬时高并发服务器线程池拥塞智能控制方法
CN114706631B (zh) 基于深度q学习的移动边缘计算中卸载决策方法及系统
CN115718644A (zh) 一种面向云数据中心的计算任务跨区迁移方法及系统
CN112954012B (zh) 基于负载的改进模拟退火算法的云任务调度方法
KR102562732B1 (ko) Mec 기반 무선 네트워크의 태스크 오프로딩 장치 및 방법
CN111131447A (zh) 一种基于中介节点任务分配的负载均衡方法
CN116582497B (zh) 一种单服务器条件下的高效gis服务自适应流量整形的方法
CN116302404B (zh) 面向资源解耦合数据中心的服务器无感知计算调度方法
CN112312299A (zh) 服务卸载方法、装置及系统
CN112231117A (zh) 基于动态向量混合遗传算法的云机器人服务选择方法及系统
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法
CN113467903B (zh) 一种面向能耗与安全感知的服务工作流调度方法
CN115168011A (zh) 模糊边云协同环境下的多工作流应用调度方法
CN114980216A (zh) 基于移动边缘计算的依赖型任务卸载系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant