CN104683487A - 基于三维数据访问的分布式服务器集群资源调度方法 - Google Patents

基于三维数据访问的分布式服务器集群资源调度方法 Download PDF

Info

Publication number
CN104683487A
CN104683487A CN201510143316.0A CN201510143316A CN104683487A CN 104683487 A CN104683487 A CN 104683487A CN 201510143316 A CN201510143316 A CN 201510143316A CN 104683487 A CN104683487 A CN 104683487A
Authority
CN
China
Prior art keywords
server
time point
load
resource
dimensional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510143316.0A
Other languages
English (en)
Inventor
崔亚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Spatial Information Industry Development Co Ltd
Original Assignee
Sichuan Spatial Information Industry Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Spatial Information Industry Development Co Ltd filed Critical Sichuan Spatial Information Industry Development Co Ltd
Priority to CN201510143316.0A priority Critical patent/CN104683487A/zh
Publication of CN104683487A publication Critical patent/CN104683487A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multi Processors (AREA)

Abstract

基于三维数据访问的分布式服务器集群资源调度方法，包括如下步骤：S1.对各个服务器的数据进行统一转换，按照相同的格式输出数据；S2.从历史负荷数据库中寻找服务器的负载警戒时间点；所谓负载警戒时间点，是当一台以上服务器的服务器资源利用量Dvm达到警戒值ALR时的时刻,S3.预先设定第一时间长度μ，在负载警戒时间点前μ时刻，开启备用服务器，新开启服务器的增加物理资源SN应大于N*Mvm*A2；其中A2为预设的削峰参数。本发明采用统一转换后的数据进行分配管理，提高了服务器集群的整体性能，通过提前对服务器的启动并对服务器进行平滑迁移，达到负载平衡目的。

Description

基于三维数据访问的分布式服务器集群资源调度方法
技术领域
本发明属于计算机软件领域，涉及三维数据服务器的资源管理，具体涉及一种基于三维数据访问的分布式服务器集群资源调度方法。
背景技术
在地理信息数据处理中，特别是三维数据的广泛推广使用，数据量相对以往具有几何级数的增长，例如一颗卫星每半小时即可发回一次全波段数据（5个波段），每天的数据量可达1.1GB；采样率较低的数字电话，按每一取样用8位压扩量化，通常其数码率也需要8×8＝64kbps，一张A4(210mm×297mm)大小幅面的图片，即使采用中等分辨率(300dpi)的扫描仪按真彩色扫描，共有(300×210/25.4) ×(300×297/25.4)个象素，每个象素占3个字节，其数据量为26M字节。
由此可见，面对当今如此大量的数据，对网络服务器的性能提出了更高要求，通常采用分布式的服务器集群提高服务器带宽，但另一方面，服务器对负载变化不具有良好的适应性。在服务器集群的调度技术方面，大部分应用仍然使用传统服务器集群下使用的基于任务调度的策略。由于任务型的应用不能覆盖所有类型的应用；因此，基于任务调度的集群调度方法具有一定的局限性，并且调度粒度较大，难以发挥出服务器集群本身具有的特殊优势大量的数据传输和使有限的网络带宽变得不堪重负。
目前的经济运行调度为根据当前资源的负载情况，进行服务器资源调度。当发生突发大规模负载的情况时不能及时启动物理节点，从而导致运行变慢。同时，服务器集群中不同品牌的服务器对数据处理格式不同，也限制了服务器集群的整体性能。
发明内容
为克服现有技术不能及时应对负载突增造成系统运行速度突然减缓的技术缺陷，本发明公开了一种基于三维数据访问的分布式服务器集群资源调度方法。
本发明所述基于三维数据访问的分布式服务器集群资源调度方法，包括如下步骤：
S1.对各个服务器的数据进行统一转换，按照相同的格式输出数据；
S2.从历史负荷数据库中寻找服务器的负载警戒时间点 ；所谓负载警戒时间点，是当一台以上服务器的服务器资源利用量Dvm达到警戒值ALR时的时刻,
所述警戒值ALR= Mvm*A1,A1为预先设定的警戒百分比，服务器资源利用量Dvm=Mvm*Lvm，其中Mvm为服务器可调用资源，Lvm为服务器资源利用率；
S3.预先设定第一时间长度μ，在负载警戒时间点前μ时刻，开启备用服务器，新开启服务器的增加物理资源SN应大于N*Mvm*A2；
其中N为S1步骤中服务器资源利用量Dvm达到警戒值ALR的服务器数量，A2为预设的削峰参数。
优选的，所述步骤S1中进行统一转换数据采用基于OSGI组件架构的调度适配器。
优选的，所述负载警戒时间点的寻找方法为：
定义第二时间长度Δt，从历史负荷数据库中找出与预测日类型相同的多个比照日，对每一比照日按第二时间长度Δt间隔划分为N=24h/Δt个点，对多个比照日的属于相同时间点的服务器资源利用量取平均值作为该时间点的比照值，当任意连续两个比照值均大于警戒值ALR时，则较早的比照值对应的时间点为负载警戒时间点。
优选的，所述所述第一时间长度μ不少于500秒。
采用本发明所述的基于三维数据访问的分布式服务器集群资源调度方法，采用统一转换后的数据进行分配管理，提高了服务器集群的整体性能，根据历史数据确定负载警戒时间点，预先开启备用服务器进行分流迁移，保证每台服务器提前降低资源使用率，通过提前对服务器的启动并对服务器进行平滑迁移，达到负载平衡目的。
附图说明
图1为本发明所述服务器群利用调度适配器统一输出格式的示意图；
图2为本发明所述服务器资源利用量Dvm的一种具体计算方式示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步的详细说明。
本发明的典型应用环境是在云计算资源池IaaS层，依赖的硬件系统为一个调度服务器管理的由多台服务器组成的服务器集群，调度服务器负责管理服务器的调度及分配。云计算的目的在于为不同的用户提供服务、计算能力和存储等，需要更加注重用户需求的满足度，且尽量避免资源调度负载失衡，同时又要尽可能做到节约能源，降低系统的功耗。硬件系统工作时，调度服务器调动集群中的不同服务器工作，并将任务分配至各个服务器。
本发明所述的基于三维数据访问的分布式服务器集群资源调度方法，包括如下步骤，
基于三维数据访问的分布式服务器集群资源调度方法，其特征在于，包括如下步骤
S1.对各个服务器的数据进行统一转换，按照相同的格式输出数据；
现有服务器从大类通常分为X86服务器、HP小型机、IBM小型机等。由于这些服务器的芯片架构和制造商的不同，这四类物理服务器的虚拟化技术也不同。
如图1所示，可以通过调度适配器对多种不同的资源控制器接口及数据格式进行统一转换，形成对外一致的接口及数据格式。调度适配器通过对外开放基于REST风格的接口，供资源管理系统访问。
S2.从历史负荷数据库中寻找服务器的负载警戒时间点 ；所谓负载警戒时间点，是当一台以上服务器的服务器资源利用量Dvm达到警戒值ALR时的时刻,
所述警戒值ALR= Mvm*A1,A1为预先设定的警戒百分比，服务器资源利用量Dvm=Mvm*Lvm，其中Mvm为服务器可调用资源，Lvm为服务器资源利用率；
S3.预先设定第一时间长度μ，在负载警戒时间点前μ时刻，开启备用服务器，新开启服务器的增加物理资源SN应大于N*Mvm*A2；
其中N为S1步骤中服务器资源利用量Dvm达到警戒值ALR的服务器数量，A2为预设的削峰参数。
历史负荷数据库是储存记录服务器集群在过往运行过程随时间变化的负载使用情况数据库，按照一般的负荷变化规律，每天的负荷变化随用户集中使用的时间变化，该变化规律通常是相似的，例如早上9点-11点，下午2点-6点一般负荷较高，而晚上10点至凌晨7点一般负荷较低。历史负荷数据库通常按天储存数据，分析多个不同日期的全天历史负荷曲线，可以总结出历史负荷的一般规律，判断出发生概率高的重负荷时间点作为负载警戒时间点。
为更好的定量描述负载警戒时间点的定义方法，针对按天为负荷储存周期的历史负荷数据库，本发明给出一种负载警戒时间点的具体实现方式。
定义第二时间长度Δt，从历史负荷数据库中找出与预测日类型相同的多个比照日，对每一比照日按第二时间长度Δt间隔划分为N=24h/Δt个点，对多个比照日的属于相同时间点的服务器资源利用量取平均值作为该时间点的比照值，当任意连续两个比照值均大于警戒值ALR时，则较早的比照值对应的时间点为负载警戒时间点。
例如将Δt设置为10分钟，则每一比照日被划分为N=24h/10分钟=144个时间点，如图2所示，给出了三台服务器负载变化曲线，图1中横坐标为时间，纵坐标为反映服务器资源利用率的服务器资源利用量，每条曲线按照Δt的时间间隔划分为N个时间点，T1和T2为间隔Δt的连续两个时间点，对T1时间点，以三条曲线的对应服务器资源利用量D11、D12、D13的平均值作为T1时间点的服务器资源利用量，对T2时间点，以对应服务器资源利用量D21、D22、D23的平均值作为T2时间点的服务器资源利用量；若得到的T1时间点和T2时间点的服务器资源利用量均大于警戒值ALR，则以T1时间为负载警戒时间点。负载警戒时间点理论上只要设置在出现高于警戒值的时刻附近即可，当然也可以T1、T2或二者之间的时间点或二者附近的时间点，选择T1只是方便描述和软件程序定义，并且时间相对T2较早，能给后续的开启备用服务器的过程提供一定时间余量。
所述警戒值ALR= Mvm*A1,A1为预先设定的警戒百分比，服务器资源利用量Dvm=Mvm*Lvm，其中Mvm为备用服务器可调用资源，表示调度服务器在设置和分配服务器时，对该台服务器分配的可以使用的服务器硬件资源，例如可以利用的CPU、内存、硬盘、网络功耗和总的功耗等。Lvm为服务器资源利用率，表示当前状态下服务器调用资源占服务器可调用资源的百分比。一旦服务器被定义和分配完毕，通常服务器可调用资源Mvm是固定不变的，而服务器资源利用率Lvm是随时间变化而变化的。
根据历史负荷数据库定义出每天的负载警戒时间点后，预先设定第一时间长度μ，在负载警戒时间点前μ时刻，开启备用服务器，新开启备用服务器的增加物理资源SN应大于N*Mvm*A2；
其中N为S1步骤中服务器资源利用量Dvm达到警戒值ALR的服务器数量，A2为预设的削峰参数。
第一时间长度μ的设置主要考虑开启备用服务器所需的时间和服务器迁移所需要的时间二者之和，以保证在负载警戒时间点到来之前，预先开启备用服务器能使全部服务器的服务器资源利用率Lvm均低于警戒百分比A1 ，考虑到一定的时间余量和当前云计算资源池IaaS层的硬件处理速度，所述第一时间长度μ应不少于500秒。
通常情况下，服务器集群中每台服务器的硬件资源是相等的，调度服务器设置服务器时对每台服务器的硬件分配资源也是均等的，假设警戒百分比A1定为80%，为提高服务器的利用效率，一般来说，每台服务器的服务器资源利用率Lvm应该设置在50%以上，因此对每台达到警戒百分比的服务器，需要降低30个百分点的服务器资源利用率，即削峰参数A2=30%。若同时有N台服务器达到80%的警戒百分比，则新开启备用服务器能提供的硬件资源SN应该为N*Mvm*30%，若每台备用服务器的硬件资源完全相同，则根据SN除以每台服务器的硬件资源量，即可得到需要开启备用服务器的数量。
采用本发明所述的基于三维数据访问的分布式服务器集群资源调度方法，采用统一转换后的数据进行分配管理，提高了服务器集群的整体性能，根据历史数据确定负载警戒时间点，预先开启备用服务器进行分流迁移，保证每台服务器提前降低资源使用率，通过提前对服务器的启动并对服务器进行平滑迁移，达到负载平衡目的。
本发明中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (4)

1.基于三维数据访问的分布式服务器集群资源调度方法，其特征在于，包括如下步骤：
S1.对各个服务器的数据进行统一转换，按照相同的格式输出数据；
S2.从历史负荷数据库中寻找服务器的负载警戒时间点 ；所谓负载警戒时间点，是当一台以上服务器的服务器资源利用量Dvm达到警戒值ALR时的时刻,
所述警戒值ALR= Mvm*A1,A1为预先设定的警戒百分比，服务器资源利用量Dvm=Mvm*Lvm，其中Mvm为服务器可调用资源，Lvm为服务器资源利用率；
S3.预先设定第一时间长度μ，在负载警戒时间点前μ时刻，开启备用服务器，新开启服务器的增加物理资源SN应大于N*Mvm*A2；
其中N为S1步骤中服务器资源利用量Dvm达到警戒值ALR的服务器数量，A2为预设的削峰参数。
2. 如权利要求1所述的基于三维数据访问的分布式服务器集群资源调度方法，其特征在于，所述步骤S1中进行统一转换数据采用基于OSGI组件架构的调度适配器。
3. 如权利要求1所述的基于三维数据访问的分布式服务器集群资源调度方法，其特征在于，所述负载警戒时间点的寻找方法为：
定义第二时间长度Δt，从历史负荷数据库中找出与预测日类型相同的多个比照日，对每一比照日按第二时间长度Δt间隔划分为N=24h/Δt个点，对多个比照日的属于相同时间点的服务器资源利用量取平均值作为该时间点的比照值，当任意连续两个比照值均大于警戒值ALR时，则较早的比照值对应的时间点为负载警戒时间点。
4. 如权利要求1所述的基于三维数据访问的分布式服务器集群资源调度方法，其特征在于，所述所述第一时间长度μ不少于500秒。
CN201510143316.0A 2015-03-30 2015-03-30 基于三维数据访问的分布式服务器集群资源调度方法 Pending CN104683487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510143316.0A CN104683487A (zh) 2015-03-30 2015-03-30 基于三维数据访问的分布式服务器集群资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510143316.0A CN104683487A (zh) 2015-03-30 2015-03-30 基于三维数据访问的分布式服务器集群资源调度方法

Publications (1)

Publication Number Publication Date
CN104683487A true CN104683487A (zh) 2015-06-03

Family

ID=53318053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510143316.0A Pending CN104683487A (zh) 2015-03-30 2015-03-30 基于三维数据访问的分布式服务器集群资源调度方法

Country Status (1)

Country Link
CN (1) CN104683487A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581174A (zh) * 2019-02-18 2020-08-25 北京搜狗科技发展有限公司 基于分布式集群系统的资源管理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014002A (zh) * 2006-12-12 2007-08-08 华为技术有限公司 集群消息传送方法及分布式集群系统
CN101894050A (zh) * 2010-07-28 2010-11-24 山东中创软件工程股份有限公司 云资源池的jee应用资源弹性调度方法、装置及系统
CN102333120A (zh) * 2011-09-29 2012-01-25 广东高新兴通信股份有限公司 一种负载均衡处理的流存储系统
CN102571986A (zh) * 2012-02-27 2012-07-11 浙江大学 一种基于向量映射的负载均衡方法
CN103473139A (zh) * 2013-09-26 2013-12-25 四川中电启明星信息技术有限公司 虚拟机集群资源分配调度方法
CN103873576A (zh) * 2014-03-19 2014-06-18 浙江宇视科技有限公司 一种基于虚拟系统的监控管理方法和监控管理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014002A (zh) * 2006-12-12 2007-08-08 华为技术有限公司 集群消息传送方法及分布式集群系统
CN101894050A (zh) * 2010-07-28 2010-11-24 山东中创软件工程股份有限公司 云资源池的jee应用资源弹性调度方法、装置及系统
CN102333120A (zh) * 2011-09-29 2012-01-25 广东高新兴通信股份有限公司 一种负载均衡处理的流存储系统
CN102571986A (zh) * 2012-02-27 2012-07-11 浙江大学 一种基于向量映射的负载均衡方法
CN103473139A (zh) * 2013-09-26 2013-12-25 四川中电启明星信息技术有限公司 虚拟机集群资源分配调度方法
CN103873576A (zh) * 2014-03-19 2014-06-18 浙江宇视科技有限公司 一种基于虚拟系统的监控管理方法和监控管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581174A (zh) * 2019-02-18 2020-08-25 北京搜狗科技发展有限公司 基于分布式集群系统的资源管理方法及装置

Similar Documents

Publication Publication Date Title
CN102567072B (zh) 一种资源分配方法、装置及系统
CN103473139B (zh) 虚拟机集群资源分配调度方法
JP2017126975A (ja) データセンターのネットワークトラフィックスケジューリング方法及び装置
CN110597858A (zh) 任务数据处理方法、装置、计算机设备和存储介质
CN102801792A (zh) 基于统计预测的云cdn资源自动部署方法
US20180375957A1 (en) Access scheduling method and apparatus for terminal, and computer storage medium
CN109861850B (zh) 一种基于sla的无状态云工作流负载均衡调度的方法
WO2020244233A1 (zh) 一种数据存储方法及装置
CN110086726A (zh) 一种自动切换Kubernetes主节点的方法
CN111131486A (zh) 执行节点的负载调节方法、装置、服务器及存储介质
CN112469075A (zh) 节能小区的业务预测方法和装置
CN113852135A (zh) 一种虚拟电厂能源调度方法、装置、存储介质及平台
CN110990160A (zh) 一种基于负荷预测的静态安全分析容器云弹性伸缩方法
CN112214303A (zh) Kubernetes集群自动缩放系统
CN104683487A (zh) 基于三维数据访问的分布式服务器集群资源调度方法
CN107766154B (zh) 服务器的转换方法及装置
CN113742009A (zh) 桌面云环境资源调度方法、装置、设备及存储介质
Fan et al. Knative autoscaler optimize based on double exponential smoothing
CN112114976A (zh) 业务处理方法、装置、设备及存储介质
CN111181929A (zh) 基于共享虚拟机文件的异构混合云架构及管理方法
CN110995863B (zh) 基于负载需求特征的数据中心负载分配方法及系统
CN112540842A (zh) 动态调整系统资源的方法及装置
CN117714305B (zh) 一种智能家居网关连接方法及系统
CN116610533B (zh) 分布式数据中心运维管理方法及系统
CN116257360B (zh) 一种基于历史使用数据规划容器组资源的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150603

RJ01 Rejection of invention patent application after publication