CN111400044A - 一种基于机器性能的服务器集群任务分配方法 - Google Patents

一种基于机器性能的服务器集群任务分配方法 Download PDF

Info

Publication number
CN111400044A
CN111400044A CN202010177230.0A CN202010177230A CN111400044A CN 111400044 A CN111400044 A CN 111400044A CN 202010177230 A CN202010177230 A CN 202010177230A CN 111400044 A CN111400044 A CN 111400044A
Authority
CN
China
Prior art keywords
server
configuration
server cluster
machine
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010177230.0A
Other languages
English (en)
Inventor
郑中华
黎伟
胡淦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI BORYOU INFORMATION TECHNOLOGY CO LTD
Original Assignee
ANHUI BORYOU INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI BORYOU INFORMATION TECHNOLOGY CO LTD filed Critical ANHUI BORYOU INFORMATION TECHNOLOGY CO LTD
Priority to CN202010177230.0A priority Critical patent/CN111400044A/zh
Publication of CN111400044A publication Critical patent/CN111400044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于机器性能的服务器集群任务分配方法，根据服务器集群中各台服务器的机器配置信息，确定其在服务器集群中的权重值，再按照权重值确定服务器在哈希环中对应的虚拟节点数量，最后根据一致性哈希算法进行动态任务分配。本发明部署简单、扩展简单，充分利用服务器资源，无需强行要求服务器配置一致，实现无缝集群，同时资源分配较为均衡，适合用于大并发、高集群的集群环境中。

Description

一种基于机器性能的服务器集群任务分配方法
技术领域
本发明涉及服务器任务分配算法技术领域，尤其是一种基于机器性能的服务器集群动态任务分配方法。
背景技术
服务器集群是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。在多个服务器的集群环境中，为了使系统负载更均衡，需将执行任务尽量均衡地分散到各台服务器，充分利用服务器的资源。传统的处理方式有两种：第一，在集群中的各台服务器中做相应的参数标识，服务器每次执行操作前查询自身是否为被标识的服务器，若是则代表其有操作权限，正常执行，若否则代表其无操作权限，自动退出；第二，与第一种处理方式类似，将标识位放到一个所有服务器都可以读取的公共区域，并绑定能够区分各台服务器的识别信息，服务器每次执行操作前在公共区域查询被标识的服务器是否包含本机，若是则代表其有操作权限，正常执行，若否则代表其无操作权限，自动退出。这两种处理方式存在以下问题：1、服务器与允许执行的操作种类绑定，颗粒度较大，无法实现某台服务器执行某类操作中的某条数据；2、指定特定服务器执行某类操作，可能造成部分服务器在未改配置前无操作可执行，浪费服务器资源；3、第一种处理方式部署复杂，需要对每台服务器进行配置；4、第二种处理方式虽然只需配置一次，但是执行某操作对应的服务器撤销之后需要修改配置。
将待执行任务在服务器集群之间动态分配可以很好地解决上述问题。国家知识产权局于2019年12月13日公布的发明专利申请CN 110569124A公开了一种服务器集群的动态任务分配方法，通过服务器发送消息告知任务分配系统其在服务器集群环境中的运行情况，任务分配系统根据所有服务器的运行情况确定每个服务器的任务获取规则并发送，例如，任务分配系统通过负载低区分哪些服务器在线上而没有或运行少量任务，通过负载高区分哪些服务器在忙于处理任务，或者处理量高于该服务器的处理能力而需要其他服务器分担任务等，以此减少服务器之间的任务竞争，实现高效地动态任务分配。此方案未考虑集群中各台服务器机器性能不一致的问题，而机器性能往往决定着其处理效率。不考虑机器性能的任务分配一定程度上会存在任务分配失衡的问题，是无法做到资源最优配置的。
发明内容
针对上述问题，本发明提供一种基于机器性能的服务器集群任务分配方法。
一种基于机器性能的服务器集群任务分配方法，根据服务器集群中各台服务器的机器配置信息，确定其在服务器集群中的权重值，再按照权重值确定服务器在哈希环中对应的虚拟节点数量，最后根据一致性哈希算法进行动态任务分配。
上述任务分配方法具体包括以下步骤：
1、自动采集服务器集群中各台服务器的机器配置信息；
2、根据机器配置信息对各台服务器进行配置评分，得到各自的性能配置得分；
3、根据各台服务器的性能配置得分，得到各自在服务器集群中的权重值；
4、创建哈希环，根据各台服务器在服务器集群中的权重值分配其在哈希环中的虚拟节点数量；
5、根据目标任务的任务标识获取其哈希值，计算出该目标任务哈希值落于哈希环何处，若命中服务器节点就由该服务器执行该目标任务，否则由该处沿顺时针方向遇到的第一个服务器执行该目标任务。
进一步的，步骤1中的机器配置信息包括机器主板配置、CPU 配置、内存配置、硬盘配置，步骤2中的性能配置得分通过汇总各分项评分得出。
进一步的，步骤3中权重值通过各台服务器的性能配置得分与服务器分值权重表进行匹配得出，服务器分值权重表可采用Fibonacci 数列。
本发明公开的动态任务分配方法是一种非常便捷的权限分配方法，部署简单、扩展简单，充分利用服务器资源，无需强行要求服务器配置一致，实现无缝集群，同时资源分配较为均衡，适合用于大并发、高集群的集群环境中。
附图说明
图1为基于机器性能的服务器集群任务分配方法流程图；
图2为哈希环示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例
一种基于机器性能的服务器集群任务分配方法，如图1所示，具体包括以下步骤：
1、自动采集服务器集群中各台服务器的机器配置信息，机器配置信息主要包括机器主板配置、CPU配置、内存配置、硬盘配置，当然除此之外，还可以根据需要添加显卡等其他配置作为采集对象。
2、根据机器配置信息对各台服务器的各分项配置进行配置评分，通过汇总各分项配置评分得到各自的性能配置得分。
3、根据各台服务器的性能配置得分，得到各自在服务器集群中的权重值，权重值通过各台服务器的性能配置得分与服务器分值权重表进行匹配得出，服务器分值权重表可采用Fibonacci数列，具体权重分配如表1所示。
Figure RE-GDA0002462518300000051
表1
4、创建哈希环，根据各台服务器在服务器集群中的权重值分配其在哈希环中的虚拟节点数量。参照图2，A、B、C为真实服务器物理节点，考虑到A、B、C性能的不一致，假设A、B、C这三台服务器的性能权重比是1:2:4，虚拟节点基数为2，则服务器A对应2个虚拟节点，服务器B对应4个虚拟节点，服务器C对应6个虚拟节点。
5、根据目标任务的任务标识获取其哈希值，计算出该目标任务哈希值落于哈希环何处，若命中服务器节点就由该服务器执行该目标任务，否则由该处沿顺时针方向遇到的第一个服务器执行该目标任务。例如，哈希值落在T1的目标任务顺时针方向遇到的第一个虚拟节点是B3，对应真实服务器B，则该目标任务由服务器B来执行。这里的任务标识可以为任务数据key。
步骤1和2的操作现有电脑性能测试软件均可实现，当然具体评分标准可以根据任务操作对机器配置的要求进行调整。
一致性哈希算法现已普遍应用于数据存储技术领域，本发明创造性地将其与服务器机器性能相结合，用于服务器集群的动态任务分配，无需强行要求服务器配置一致，实现了服务器资源的充分利用。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (5)

1.一种基于机器性能的服务器集群任务分配方法，其特征在于，根据服务器集群中各台服务器的机器配置信息，确定其在服务器集群中的权重值，再按照权重值确定服务器在哈希环中对应的虚拟节点数量，最后根据一致性哈希算法进行动态任务分配。
2.根据权利要求1所述的服务器集群任务分配方法，其特征在于，具体包括以下步骤：
A1，自动采集服务器集群中各台服务器的机器配置信息；
A2，根据机器配置信息对各台服务器进行配置评分，得到各自的性能配置得分；
A3，根据各台服务器的性能配置得分，得到各自在服务器集群中的权重值；
A4，创建哈希环，根据各台服务器在服务器集群中的权重值分配其在哈希环中的虚拟节点数量；
A5，根据目标任务的任务标识获取其哈希值，计算出该目标任务哈希值落于哈希环何处，若命中服务器节点就由该服务器执行该目标任务，否则由该处沿顺时针方向遇到的第一个服务器执行该目标任务。
3.根据权利要求2所述的服务器集群任务分配方法，其特征在于，步骤A1中的机器配置信息包括机器主板配置、CPU配置、内存配置、硬盘配置，步骤A2中的性能配置得分通过汇总各分项评分得出。
4.根据权利要求2所述的服务器集群任务分配方法，其特征在于，步骤A3中权重值通过各台服务器的性能配置得分与服务器分值权重表进行匹配得出。
5.根据权利要求4所述的服务器集群任务分配方法，其特征在于，服务器分值权重表采用Fibonacci数列。
CN202010177230.0A 2020-03-13 2020-03-13 一种基于机器性能的服务器集群任务分配方法 Pending CN111400044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010177230.0A CN111400044A (zh) 2020-03-13 2020-03-13 一种基于机器性能的服务器集群任务分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177230.0A CN111400044A (zh) 2020-03-13 2020-03-13 一种基于机器性能的服务器集群任务分配方法

Publications (1)

Publication Number Publication Date
CN111400044A true CN111400044A (zh) 2020-07-10

Family

ID=71434761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177230.0A Pending CN111400044A (zh) 2020-03-13 2020-03-13 一种基于机器性能的服务器集群任务分配方法

Country Status (1)

Country Link
CN (1) CN111400044A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112139A (zh) * 2021-04-07 2021-07-13 上海联蔚盘云科技有限公司 云平台账单的处理方法和设备
CN113778627A (zh) * 2021-09-10 2021-12-10 龙坤(无锡)智慧科技有限公司 一种创建云资源的调度方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721532A (zh) * 2014-12-26 2016-06-29 乐视网信息技术（北京）股份有限公司 一种节点管理方法及装置
CN106161120A (zh) * 2016-10-08 2016-11-23 电子科技大学 动态均衡负载的分布式元数据管理方法
CN107197035A (zh) * 2017-06-21 2017-09-22 中国民航大学 一种基于一致性哈希算法的亲和性动态负载均衡方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721532A (zh) * 2014-12-26 2016-06-29 乐视网信息技术（北京）股份有限公司 一种节点管理方法及装置
CN106161120A (zh) * 2016-10-08 2016-11-23 电子科技大学 动态均衡负载的分布式元数据管理方法
CN107197035A (zh) * 2017-06-21 2017-09-22 中国民航大学 一种基于一致性哈希算法的亲和性动态负载均衡方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112139A (zh) * 2021-04-07 2021-07-13 上海联蔚盘云科技有限公司 云平台账单的处理方法和设备
CN113778627A (zh) * 2021-09-10 2021-12-10 龙坤(无锡)智慧科技有限公司 一种创建云资源的调度方法
CN113778627B (zh) * 2021-09-10 2024-03-12 龙坤(无锡)智慧科技有限公司 一种创建云资源的调度方法

Similar Documents

Publication Publication Date Title
US8694578B2 (en) Swarm-based synchronization over a network of object stores
US20080091806A1 (en) Dynamic On-Demand Clustering
CN111400044A (zh) 一种基于机器性能的服务器集群任务分配方法
CN111756841A (zh) 基于微服务集群的业务实现方法、装置、设备及存储介质
CN110798517A (zh) 去中心化集群负载均衡方法、系统、移动终端及存储介质
US11099767B2 (en) Storage system with throughput-based timing of synchronous replication recovery
WO2023040538A1 (zh) 一种数据迁移的方法、装置、设备、介质和计算机产品
CN111639309B (zh) 一种数据处理方法、装置、节点设备及存储介质
US20150365474A1 (en) Computer-readable recording medium, task assignment method, and task assignment apparatus
CN113051102A (zh) 文件备份方法、装置、系统、存储介质和计算机设备
US8650571B2 (en) Scheduling data analysis operations in a computer system
US11881996B2 (en) Input and output for target device communication
CN115563073A (zh) 分布式元数据的数据处理的方法、装置及电子设备
TW202315360A (zh) 微服務分配方法、電子設備及儲存介質
Zhang et al. PROAR: a weak consistency model for Ceph
CN111258821A (zh) 一种基于云计算的备份数据快速提取方法
JP6563807B2 (ja) 情報処理システム、情報処理装置、処理制御方法、及び処理制御プログラム
CN109144970A (zh) 流水数据处理方法及系统
CN112637327B (zh) 一种数据处理方法、装置及系统
Daraghmi et al. Advanced diffusion approach to dynamic load-balancing for cloud storage
JP4353869B2 (ja) 並列ソートシステム、並列ソートサーバ、クライアント、並列ソート方法、プログラム、記録媒体
US20230177006A1 (en) Information processing apparatus, information processing method, and information processing program
CN106484508A (zh) 一种基于云架构的电网地理信息系统及容错方法
CN115080527A (zh) 分布式数据处理方法、装置、设备及存储介质
CN117648053A (zh) 一种数据存储方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710