CN110781006A - 负载均衡方法、装置、节点及计算机可读存储介质 - Google Patents

负载均衡方法、装置、节点及计算机可读存储介质 Download PDF

Info

Publication number
CN110781006A
CN110781006A CN201911028231.2A CN201911028231A CN110781006A CN 110781006 A CN110781006 A CN 110781006A CN 201911028231 A CN201911028231 A CN 201911028231A CN 110781006 A CN110781006 A CN 110781006A
Authority
CN
China
Prior art keywords
storage
storage node
node
weight
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911028231.2A
Other languages
English (en)
Other versions
CN110781006B (zh
Inventor
章鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911028231.2A priority Critical patent/CN110781006B/zh
Publication of CN110781006A publication Critical patent/CN110781006A/zh
Application granted granted Critical
Publication of CN110781006B publication Critical patent/CN110781006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种负载均衡方法、装置、节点及计算机可读存储介质，涉及分布式存储领域，该方法及装置基于每个存储节点的存储空间剩余率确定每个存储空间的基础权重；判断存储节点的入选机率信息是否满足权重修正条件，若满足，则根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重；若不满足，则将存储节点的基础权重作为所述存储节点的目标权重；根据全部所述存储节点的目标权重，构成存储节点的优先级区间序列；获取存储节点的优先级区间序列中优先级最高的目标存储节点作为数据写入的存储节点，与现有技术相比，本发明能够避免在数据写入过程中因存储节点选择方式不当而造成分布式系统负载不均衡现象。

Description

负载均衡方法、装置、节点及计算机可读存储介质
技术领域
本发明涉及分布式存储领域，具体而言，涉及一种负载均衡方法、装置、节点及计算机可读存储介质。
背景技术
随着互联网访问量和数据流量的快速增长，分布式存储系统的工作负载也在逐渐增加，导致系统内节点的处理压力也来越大。当有数据写入分布式存储系统时，由于不同节点的服务能力不同，因此各个节点被分配的任务差异较大，这将导致各个节点之间的存储容量相差较大，集群中的数据分配不均匀，集群和节点出现负载不均衡的现象。
为了解决负载不平衡现象，现有技术将磁盘利用率，中央处理器CPU(CentralProcessing Unit，简称CPU)占用率和内存占用率等性能指标综合在一起作为节点的权重，并选择权重最大值对应的节点作为写入数据的节点，这一做法在进行动态负载均衡的时候，没有以磁盘的空间利用率为目的，仅单纯以某些性能指标的高低来选择可使用的节点，造成该节点可能重复被选择使得磁盘提前被写满，而其他节点没有被选择的机会，从而出现在数据写入的过程中因为存储节点的选择方式不当而造成分布式系统负载不能达到均衡状态的现象。
发明内容
有鉴于此，本发明的目的在于提供一种负载均衡方法、装置、节点及计算机可读存储介质，用于保证每个存储节点都有被选择的机率，从而避免在数据写入的过程中因为存储节点的选择方式不当而造成分布式系统负载不能达到均衡状态的现象。为了实现上述目的，本发明实施例采取的技术方案如下：
第一方面，本发明实施例提供一种负载均衡方法，应用于分布式存储系统中的管理节点，所述分布式存储系统还包括多个存储节点，所述方法包括：基于每个所述存储节点的存储空间剩余率确定每个所述存储节点的基础权重；
判断所述存储节点的入选机率信息是否满足权重修正条件；
若是，则根据修正参数对所述存储节点的基础权重进行修改，以获得所述存储节点的目标权重；若否，则将所述存储节点的基础权重作为所述存储节点的目标权重；
其中，所述存储节点的入选机率信息表征所述存储节点被选中用作数据写入的存储节点的机率；
根据全部所述存储节点的目标权重，构成优先级区间序列；所述优先级区间序列中每个区间与每个所述存储节点对应；获取所述优先级区间序列中优先级最高的区间对应的存储节点，作为数据写入的节点。
可选地，所述存储节点的入选机率信息包含所述存储节点的CPU占用率和内存占用率。
可选地，判断是否所述CPU占用率大于CPU占用率阈值，且所述内存占用率小于内存占用率阈值，若是，则所述根据修正参数对所述存储节点的基础权重进行修改的步骤，包括：计算所述CPU占用率阈值与所述CPU占用率之间的比值；将所述比值作为所述修正参数对所述存储节点的基础权重进行修改。
可选地，判断是否所述CPU占用率小于CPU占用率阈值，且所述内存占用率大于内存占用率阈值，则所述根据修正参数对所述存储节点的基础权重进行修改的步骤，包括：计算所述内存占用率阈值与所述内存占用率之间的比值；将所述比值作为所述修正参数对所述存储节点的基础权重进行修改。
可选地，判断是否所述CPU占用率大于CPU占用率阈值，且所述内存占用率大于内存占用率阈值，若是，则所述根据修正参数对所述存储节点的基础权重进行修改的步骤，包括：计算所述CPU占用率阈值与所述CPU占用率之间的第一比值；计算所述内存占用率阈值与所述内存占用率之间的第二比值；将所述第一比值和所述第二比值之间的乘积值作为所述修正参数对所述存储节点的基础权重进行修改。
可选地，所述存储节点的目标权重满足如下公式：
Figure BDA0002249296830000031
其中，i表征所述存储节点的序号；wi表征第i个所述存储节点的所述基础权重；Mi表征第i个所述存储节点的所述修正参数；Wi1表征第i个所述存储节点的目标权重。
可选地，所述根据全部所述存储节点的目标权重，构成全部所述存储节点的优先级区间序列的步骤，包括：获取剩余存储空间总数；根据所述目标权重和所述剩余存储空间总数计算每个所述存储节点对应的优先级值；通过所述优先级值构成全部所述存储节点的优先级区间序列。
可选地，所述存储节点的优先级值满足如下公式：
Figure BDA0002249296830000032
其中，i表征所述存储节点的序号；V[i-1]表征第i个所述存储节点的优先级；Sum表征所述剩余存储空间总数；Wj表征第j个所述目标权重；
Figure BDA0002249296830000033
表征将第一个所述存储节点的目标权重到第i个所述存储节点目标权重与所述剩余存储空间总数的乘积值逐个相加。
可选地，获取所述优先级区间序列中优先级最高的区间对应的存储节点，作为数据写入的存储节点的步骤，包括：获得随机值；确定所述随机值落入的所述区间为优先级最高的区间；将所述优先级最高的区间对应的存储节点作为数据写入的存储节点。
可选地，所述随机值满足以下关系式：R＝Rand mod Vmax，其中，Rand表征随机数；Vmax表征所述优先级区间序列中的最大值；“mod”表征所述随机数除以所述最大值获得的余数为所述随机值。
第二方面，本发明实施例提供一种负载均衡装置，包括：确定模块、判断模块、权重处理模块和获取模块。
所述确定模块，用于基于每个所述存储节点的存储空间剩余率确定每个所述存储节点的基础权重；
所述判断模块，用于判断所述存储节点的入选机率信息是否满足权重修正条件；
若满足，则所述权重处理模块用于根据修正参数对所述存储节点的基础权重进行修改，以获得所述存储节点的目标权重；若不满足，则所述权重处理模块用于将所述存储节点的基础权重作为所述存储节点的目标权重；
其中，所述存储节点的入选机率信息表征所述存储节点被选中用作数据写入的存储节点的机率；
所述权重处理模块，用于根据全部所述存储节点的目标权重，构成优先级区间序列；所述优先级区间序列中每个区间与每个所述存储节点对应；所述获取模块，获取所述优先级区间序列中优先级最高的区间对应的存储节点，作为数据写入的节点。
第三方面，本发明实施例提供一种节点，该节点部署有第二方面所述的负载均衡装置，该节点还包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的负载均衡方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的负载均衡方法。
通过上述描述可知，本发明实施例具有以下有益效果：
本发明实施例提供的一种负载均衡方法、装置、节点及计算机可读存储介质，该方法及装置基于每个存储节点的存储空间剩余率确定每个存储空间的基础权重，再判断存储节点的入选机率信息是否满足权重修正条件，若满足，则根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重；若不满足，则将存储节点的基础权重作为所述存储节点的目标权重；根据全部所述存储节点的目标权重，构成存储节点的优先级区间序列；最后获取存储节点的优先级区间序列中优先级最高的目标存储节点，作为数据写入的存储节点，与现有技术相比，本发明能够根据存储节点信息动态的改变存储节点的基础权重，通过修改基础权重调整存储节点的入选概率，保证每个存储节点都有被选择的机率，从而避免在数据写入过程中因存储节点选择方式不当而造成分布式系统负载不均衡现象。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种分布式存储系统架构示意图；
图2为本发明实施例提供的一种负载均衡方法的示意性流程图；
图3为本发明实施例提供的另一种负载均衡方法的示意性流程图；
图4为本发明实施例提供的另一种负载均衡方法的示意性流程图；
图5为本发明实施例提供的另一种负载均衡方法的示意性流程图；
图6为本发明实施例提供的另一种负载均衡方法的示意性流程图；
图7为本发明实施例提供的另一种负载均衡方法的示意性流程图；
图8为本发明实施例提供的一种负载均衡装置的组成示意图；
图9为本发明实施例提供的一种节点的方框示意图。
图标：10-存储管理节点；20-数据存储节点；21-数据存储节点；40-负载均衡装置；401-确定模块；402-判断模块；403-权重处理模块；404-获取模块；50-节点；501-存储器；502-通信接口；503-处理器。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对本发明实施例进行详细解释说明之前，先对分布式存储系统架构进行示意性说明。目前现有的分布式存储系统通常可以包含存储管理节点和数据存储节点。
示例性地，图1为一种分布式存储系统架构示意图，参见图1，该分布式存储系统可以包含一个存储管理节点和N个数据存储节点，每个数据存储节点内可以包含有M个磁盘。
对于存储管理节点10而言，其可以用于维护N个数据存储节点的资源信息，例如，该资源信息可以是每个存储节点的可写入的数据量、系统中剩余可用存储空间总数等；还可以用于根据各个数据存储节点不同的性能状态、服务能力等因素选择最佳的数据存储节点来承担数据写入任务。例如，参见图1，当系统有数据写入需求时，存储管理节点10可以从数据存储节点21至数据存储节点N中随机挑选一个或多个来执行数据写入任务，还可以结合每个存储节点的服务能力挑选最佳的存储节点来执行数据写入任务。
对于数据存储节点20、数据存储节点21至数据存储节点N而言，各个数据存储节点可以接收来自存储管理节点10分配的数据写入任务，还可以用于维护其内部多个磁盘的存储资源、性能等信息，其中，磁盘的信息可以包括磁盘每秒进行读写操作的次数(Input/Output Operations Per Second，简称IOPS)、磁盘可靠性、响应效率等磁盘性能指标，并可以根据这些信息从多个磁盘中选择出最佳的磁盘来写入数据。例如，继续参见图1，假设存储管理节点10选择数据存储节点21来执行数据写入任务，则数据存储节点21可以从磁盘1至磁盘M中随机挑选一个或多个来进行数据写入，还可以结合每个磁盘的资源信息挑选最佳的磁盘来写入数据。
需要说明的是，图1仅作为示例对分布式存储系统的架构进行说明，而对于不同的场景需求，分布式存储系统可以包含更多或者更少的节点，当然，随着技术的演进，其也可以包含一些满足新的技术标准的设备、节点；本发明对于分布式存储系统的具体架构不予限定。
对于现有技术，在图1示出的分布式存储系统中，部署有大量的存储节点来分担工作负载，各个存储节点由于其服务能力不同，所能承担的任务数量也不同，所以在为各个存储节点分配任务时，随机挑选一个或多个来执行数据写入任务可能会出现负载不均衡的现象。
例如，参见图1，当数据存储节点21被多次选择来执行数据写入任务，那么数据存储节点21的磁盘就会被提前占满，其CPU占用率和内存占用率也会逐渐升高，导致该节点的性能降低，同时，由于数据存储节点22至数据存储节点N没有被选择或者被选择的次数较少，那么数据存储节点22至数据存储节点N中写入的数据量也偏少，最终导致数据在整个系统中分布不均衡。
现有技术为了克服负载不均衡的困难，考虑将性能值和磁盘利用率共同作用于节点的权重值，将权重值大时对应的节点选择为目标节点，但是，这一做法在进行态负载均衡的时候，会出现同一个节点可能重复被选择使得磁盘提前被写满，而其他节点没有被选择的机会，最终使得集群负载不均衡。
因此要综合考虑节点的资源、性能等因素，选择出最佳的节点来执行任务，避免由负载不均衡造成系统处理任务的能力和效率下降。为了解决现有技术中出现的问题，本发明实施例提出以磁盘空间利用率为目的，同时考虑节点当前性能状态的一种动态均衡算法，其核心在于降低使用频率过高的存储节点的选择概率，保证使用频率较低的其他存储节点拥有被选择的机率，最终保证所有存储节点都有数据写入，以使系统内数据分布均衡。
为了便于理解，下面将结合图1，以图1中的存储管理节点10为执行主体，详细介绍本发明实施例提供的一种负载均衡方法的技术方案。
示例性地，图2为本发明实施例提供的一种负载均衡方法的流程图，参见图2，该负载均衡发发包括以下步骤：
步骤300、基于每个存储节点的存储空间剩余率确定每个存储节点的基础权重。
可以理解的是，存储空间剩余率可以表征该存储节点能够承担数据写入的能力。在本发明实施例中，每个存储节点的存储空间剩余率可以是每个存储节点的剩余存储空间在整个系统中剩余存储空间总数中所占的比例。
步骤302、判断存储节点的入选机率信息是否满足权重修正条件。
可以理解的是，存储节点的入选机率信息表征当存储节点被选中用作数据写入的存储节点时，造成分布式存储系统负载不均衡时对应的节点性能信息，根据该信息判断存储节点是否需要修正权重，这样一来，存储管理节点就可以动态的关注每个存储节点当前的工作状态，结合状态信息选择出最佳的存储节点来执行数据写入任务，能够在保证系统性能正常的情况下进行动态负载均衡。
若满足，执行步骤303；若不满足，执行步骤304。
步骤303、根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重。
应理解，在本发明实施例中，修正参数可以根据提供的存储节点的入选机率信息获得，在另一些实施例中，修正参数还可以根据存储节点的其他性能信息获得，其目的可以是用来调整为每个存储节点设置的权重，以实现改变存储节点被选择概率的效果。
步骤304、则将存储节点的基础权重作为存储节点的目标权重。
步骤305、根据全部存储节点的目标权重，构成存储节点的优先级区间序列。
应理解，存储节点的优先级区间序列包含每个存储节点对应的优先级值。通过构建优先级区间序列，可以根据优先级区间序列中每个存储节点对应的优先级值来选择最佳的节点，使得选择最佳存储节点的过程变得简洁、方便。
步骤306、获取存储节点的优先级区间序列中优先级最高的目标存储节点，作为数据写入的存储节点。
本发明实施例提供的一种负载均衡方法，该方法首先基于每个存储节点的存储空间剩余率确定每个存储空间的基础权重，再判断存储节点的入选机率信息是否满足权重修正条件，若满足，则根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重；若不满足，则将存储节点的基础权重作为所述存储节点的目标权重；根据全部所述存储节点的目标权重，构成存储节点的优先级区间序列；最后获取存储节点的优先级区间序列中优先级最高的目标存储节点，作为数据写入的存储节点，与现有技术相比，本发明能够根据存储节点信息动态的改变存储节点的基础权重，通过修改基础权重调整存储节点的入选概率，保证每个存储节点都有被选择的机率，从而能够避免在数据写入的过程中因为存储节点的选择方式不当而造成分布式系统负载不能达到均衡状态的现象。
可选地，对于步骤300涉及的“存储空间剩余率”，在一种可能的实现方式中，其可以通过计算单个节点的剩余存储空间和所有节点的剩余存储空间总数之间的比例获得。
例如，参见图1，假设该分布式存储系统中存在5个数据存储节点，即N＝5，每个存储节点可存储的空间大小为20000，5当前剩余可使用的存储空间分别为{DN1＝10000,DN2＝8000,DN3＝7000,DN4＝10000,DN5＝15000}，则整个系统中剩余存储空间总数为
Figure BDA0002249296830000111
其中i表示节点序号，则可以根据可以获得5个数据存储节点的基础权重为{0.2,0.16,0.14,0.2,0.3}。
可选地，在另一些实施例中，存储空间剩余率还可以是每个存储节点的剩余存储空间的二次方在整个系统中剩余存储空间总数中所占的比例，这样可以使每个存储节选择概率之间差别增大，让剩余空间大的节点有更大的概率被选择，从而可以加快负载均衡速率。
通过上述实施例介绍的技术方案可知，在获得存储节点的基础权重之后，并不是根据基础权重的大小来直接选择用于数据写入的存储节点，而需要结合存储节点当前的入选机率信息来判断存储节点在当前状态下是否需要调整权重，从而选择出最佳的节点用于执行数据写入任务。
入选机率信息可以用于判断存储节点在当前状态下是否需要调整权重，在本发明实施例中，入选机率信息可以是存储节点的CPU占用率和内存占用率，在其他一些实施例中，入选机率信息还可以是存储节点的线程使用率、正在处理的任务数量、数据读写成功率等中的一个或多个等信息，在此不予限定。
下面将以入选机率信息为CPU占用率和内存占用率为例，详细描述如何通过判断CPU占用率和内存占用率信息是否满足权重条件来改变权重的步骤。
可选地，在一些实施例中，当存储节点只有CPU占用率超过正常范围，而内存占用率处于正常范围内时，选择该存储节点进行数据写入可能会出现负载不均衡现象，因此，为了防止CPU占用率过高的这类存储节点频繁被选择使用，需要对这类存储节点的权重进行调整，以降低其被选择的概率，下面在图2的基础上，给出一种如何根据入选概率信息确定修改基础权重的过程，参见图3，图3为本发明实施例提供的另一种负载均衡方法的流程图，其中，步骤302的一种可能的实现方式：
步骤302a、判断是否CPU占用率大于CPU占用率阈值，且内存占用率小于内存占用率阈值，若是，则执行步骤303a。
相应地，步骤303的一种可能的实现方式：
步骤303a-1、计算CPU占用率阈值与CPU占用率之间的比值。
步骤303a-2、将比值作为修正参数对存储节点的基础权重进行修改。
可以理解的是，在本发明实施例中，当存储节点的CPU占用率大于CPU占用率阈值时，表明在此加权最佳节点随机的过程中，该节点被选中的概率偏高，因此，本发明实施例通过修正参数调节基础权重的方式来适当降低存储节点的入选概率，从而可以实现存储节点性能在正常范围时进行负载的动态均衡的目的。
例如，参见图1，假设数据存储节点21的CPU占用率阈值和内存占用率阈值分别为a，b，存储管理节点10获取到数据存储节点21当前的CPU占用率为a1、内存占用率为b1，当CPU占用率大于CPU占用率阈值，且内存占用率小于内存占用率阈值，即a<a1且b>b1时，表明数据存储节点21被选择使用的概率偏高，导致CPU占用率偏高，为了降低其被选择的概率，可以将CPU占用率阈值与CPU占用率之间的比值作为修正参数对存储节点的基础权重进行修正，即，假设可以用M表示修正参数，则M满足关系式：
Figure BDA0002249296830000131
其表示的意义是将存储节点当前的基础权重调整至原来的
Figure BDA0002249296830000132
倍，例如，数据存储节点21的CPU占用率阈值为0.7，而当前的CPU占用率为0.9，则可以将当前的占用率降低到原来的
Figure BDA0002249296830000133
倍，以调节存储节点到性能正常的范围内，从而可以实现存储节点性能在正常范围时进行动态负载均衡的目的。
可选地，在另一些实施例中，当存储节点只有内存占用率超过正常范围，而CPU占用率处于正常范围内时时，选择该存储节点进行数据写入也可能会出现负载不均衡现象，因此，需要对这类存储节点的权重进行调整，以降低其被选择的概率，下面在图2的基础上，给出另一种如何根据入选概率信息确定修改基础权重的过程，参见图4，图4为本发明实施例提供的另一种负载均衡方法的示意性流程图，其中，步骤302的另一种可能的实现方式可以为：
步骤302b、判断是否CPU占用率小于CPU占用率阈值，且内存占用率大于内存占用率阈值，若是，执行步骤303b。
相应地，步骤303的另一种可能的实现方式可以为：
步骤303b-1、计算内存占用率阈值与内存占用率之间的比值。
步骤303b-2、将比值作为修正参数对存储节点的基础权重进行修改。
可以理解的是，在本发明实施例中，存储节点的内存占用率大于内存占用率阈值时，其表明的含义与CPU占用率大于CPU占用率阈值时的情况类似，因此可以采取与上述实施例相同的方法来调整基础权重。
例如，参见图1，继续以数据存储节点21为例，当其CPU占用率小于CPU占用率阈值，且内存占用率大于内存占用率阈值时，即a>a1且b<b1，为了降低其被选择的概率，可以将内存占用率阈值与内存占用率之间的比值作为修正参数对存储节点的基础权重进行修正，即，修正参数M满足关系式：
Figure BDA0002249296830000141
通过修正参数M以将存储节点调节性能正常的范围以内，进而，可以根据基础权重w和修正参数M，获得节点调整后的权重。
可选地，在另一种实施例中，当存储节点内存占用率和内存占用率都超过正常范围时，为了防止这类存储节点造成的负载不均衡现象，需要对这类存储节点的权重进行调整，以降低其被选择的概率，下面在图2的基础上，给出另一种如何根据入选概率信息确定修改基础权重的过程，参见图5，图5为本发明实施例提供的另一种负载均衡方法的示意性流程图，其中，步骤302的另一种可能的实现方式可以为：
步骤302c、判断是否CPU占用率大于CPU占用率阈值，且内存占用率大于内存占用率阈值，若是，执行步骤303c。
相应地，步骤303的另一种可能的实现方式可以为：
步骤303c-1、计算CPU占用率阈值与CPU占用率之间的第一比值。
步骤303c-2、计算内存占用率阈值与内存占用率之间的第二比值。
步骤303c-3、将第一比值和第二比值之间的乘积值作为修正参数对存储节点的基础权重进行修改。
可以理解是，通过调整权重可以适当降低一些使用次数过高的存储节点的选择概率，让其他选择次数低的存储节点也有被选择的机率，可以避免同一个节点反复写入数据，造成数据分布不均衡的现象。
例如，参见图1，继续以数据存储节点21为例，当CPU占用率大于CPU占用率阈值，且内存占用率大于内存占用率阈值时，即a>a1且b>b1，则修正参数M满足关系式为：
Figure BDA0002249296830000151
进而，可以根据基础权重w和修正参数M，结合上述实施例中的目标权重W计算表达式获得节点调整后的权重。
需要说明的是，对于上文图3、图4以及图5中提供的步骤302、303的三种不同的实现方式，其可以作为独立的实现方式被执行，也可以以任意两个或全部的组合方式结合实现。具体的，对于其组合方式，可以基于具体的场景需求进行设置，此处不予限定。而对于包含至少两个实现方式的情况，其执行的先后在此不予限定，例如，若将图3与图4的流程结合时，可以首先判断图3中步骤302a，当判断是否CPU占用率大于CPU占用率阈值，且内存占用率小于内存占用率阈值的结果为是时，则执行步骤303a；当判断是否CPU占用率大于CPU占用率阈值，且内存占用率小于内存占用率阈值的结果为否时，则执行图4中的步骤302b。当然继续场景需求，这种判断的先后顺序是可以调整的。
可选地，通过上述实施例确定存储节点的修正参数之后，就可以用得到的修正参数调整对需要调节权重的存储节点进行权重修改，在本发明实施例中，目标权重W可以满足关系式(1)：
Figure BDA0002249296830000152
式(1)中，i表征所述存储节点的序号，wi表征第i个所述存储节点的所述基础权重，Mi表征第i个所述存储节点的所述修正参数，Wi1表征第i个所述存储节点的目标权重。
获得的目标权重可以理解为存储节点的性能在正常阈值以内时对应的权重，通过调整权重可以适当降低一些使用次数过高的存储节点的选择概率，让其他选择次数低的存储节点也有被选择的机率。
例如，参见图1，假设该分布式存储系统中存在5个数据存储节点的基础权重{w1:0.2,w2:0.16,w3:0.14,w4:0.2,w5:0.3}，其中节点1、节点4、节点5的入选机率信息均满足权重修改条件，节点2、3的入选机率信息均满足权重修改条件，则可以设5个节点对应的修正参数为{M1:0.9；M2:1；M3:1；M4:0.9；M5:0.8}则根据式(1)可得到5个数据存储节点的目标权重分别为{W1:0.1978；W2:0.16；W3:0.14；W4:0.1978；W5:0.2553}，进而可以根据得到的目标权重进行最佳节点的选择。
通过上述实施例可知，可以通过修正参数可以存储节点的基础权重，以使系统能够在性能正常的范围内进行负载均衡，因此调整后得到的目标权重可以用构成全部存储节点的优先级区间序列，以根据优先级区间序列完成最佳存储节点的选择，下面将详细描述构建优先级区间序列的过程，示例性的，在图2的基础上，给出可能的一种实现方式，参见图6，图6为本发明实施例提供的另一种负载均衡方法的流程图，其中，步骤305可以具体包括：
步骤305-1、获取剩余存储空间总数。
可以理解的是，剩余存储空间总数可以是所述存储节点的剩余存储空间之和。
步骤305-2、根据目标权重和剩余存储空间总数计算每个存储节点对应的优先级值。
可以理解的是，在本发明实施例中，每个存储节点对应的优先级值可以通过目标权重和剩余空间总数获得，它们之间满足关系式(2)：
Figure BDA0002249296830000171
式(2)中，V[i-1]表征第i个所述存储节点的优先级值，Sum表征所述剩余存储空间总数，Wj表征第j个所述目标权重，表征将第一个所述存储节点的目标权重到第i个所述存储节点目标权重与所述剩余存储空间总数的乘积值逐个相加。
步骤305-3、通过优先级值构成全部存储节点的优先级区间序列。
例如，继续参见图1，假设该分布式存储系统中存在的5个数据存储节点的目标权重为{W1:0.1978；W2:0.16；W3:0.14；W4:0.1978；W5:0.2553}，剩余存储空间总数Sum＝50000，则根据关系式(2)可以得到5个数据存储节点的优先级值为[9890；17890；24890；34780；47545]，其中，优先级值9890可以代指第1个节点的剩余存储空间，优先级值17890可以代指节点1和节点2的剩余存储空间的总数，以此类推，优先级值47545可以代指节点1、节点2、节点3、节点4、节点5的剩余存储空间总数。
根据优先级值获得的优先级区间序列为：{[0,9890)、[9890,17890)、[17890,24890)、[24890,34780)、[34780,47545)}。
上述实施例详细介绍了构建用于选择最佳存储节点的优先级区间序列，为了将根据优先级区间序列选择出最佳的存储节点的过程详细介绍，示例性的，在图2的基础上，给出可能的一种实现方式，参见图7，图7为本发明实施例提供的另一种负载均衡方法的流程图，其中，步骤306可以具体包括：
步骤306-1、获得随机值。
可选地，在本发明实施例中，获得随机的方式可以是通过产生一个随机数，可以利用C标准库函数rand()产生一个随机数，还可以使用本领域技术人员所熟知的其他随机数产生方法，将该随机数除以优先级区间序列中最大值后得到的余数最为随机值的方式获得，它们之间满足关系式(3)：
R＝Rand mod Vmax，……(3)
式(3)中，Rand表征随机数，Vmax表征所述优先级区间序列中的最大值，“mod”表征所述随机数除以所述最大值获得的余数。
需要说明的是，由于余数是随机的，所以随机值的范围处于优先级区间序列中最大值以内，且出现的概率是基本相同。
步骤306-2、确定随机值落入的区间为优先级最高的区间。
可以理解是，优先级区间序列中区间的个数与节点的个数相同，每个存储节点与唯一一个区间匹配，节点对应的区间可以表征该节点被选择的概率区间。通过划分概率区间，可以实现每个存储节点都有被选择的机率，从而可以避免出现数据分布不均衡的现象。
例如，参见图1，假设该分布式存储系统中存在的5个数据存储节点，通过上述实施例得到优先级区间序列为：[0,9890)、[9890,17890)、[17890,24890)、[24890,34780)、[34780,47545)，这5个区间分别对应节点1、节点2、节点3、节点4、节点5，随机值可以随机落入这5个区间中的其中一个区间内。
步骤306-3、将所述优先级最高的区间对应的存储节点作为数据写入的存储节点。
例如，继续参见图1，假设该分布式存储系统中存在5个数据存储节点，通过得到的优先级区间序列获得5个节点的概率区间为[0,9890)、[9890,17890)、[17890,24890)、[24890,34780)、[34780,47545)，假设产生一个随机数为25746，由于24890<25746<34780，所以随机值落入的区间为[24890,34780)，该区间为此次选择中优先级最高的区间，该区间对应的节点为节点4，则可以将节点4作为数据写入的存储节点。
需要说明的是，在一次加权随机选择的过程中，选择出来的区间可以作为此次选择过程中优先级最高的区间，此次选择结束后，各个节点对应的区间并没有优先级高低之分，直到下一次选择进行时，重新选择出来的区间可以作为新的优先级最高的区间，进而可以再次根据该区间获取用于数据写入的节点。
还需要说明的是，根据区间的大小不同，就能保证随机值落在每个区间的概率不同，同时每次数据写完之后，节点的权重值也会发生变化，在第二次选择的时候就需要根据变化后的磁盘利用率构建新的权重以及优先级区间序列来随机选择存储节点。这样一来，当有数据写入的时候，系统就可以根据每个存储节点当前的状态，动态地控制每个存储节点的使用频次，保证每个存储节点都能写入数据，从而避免出现节点之间负载不均衡的现象。
可选地，在一些实施例中，上述实施例所描述的负载均衡方法还可以应用于被选择出来执行数据写入任务的存储节点内。需要说明的是，由于每个存储节点维护的是内部磁盘的信息，例如磁盘每秒进行读写操作的次数(Input/Output Operations Per Second，简称IOPS)、磁盘可靠性、响应效率等磁盘性能指标，所以在存储节点内部执行负载均衡方法时，可以相应的考虑磁盘的上述性能指标，动态地控制每个磁盘的使用频次，保证每个存储节点都能写入数据，从而避免出现节点之间负载不均衡的现象。
为了实现上述实施例的各个步骤，以达到对应的技术效果，本发明实施例可以根据上述方法示例提供一种负载均衡装置，通过对该负载均衡装置采用对应各个功能划分各个功能模块的方式，示例性地，图8示出了本发明实施例提供的一种负载均衡装置的组成示意图，如图8所示，该负载均衡装置40可以包括：确定模块401、判断模块402、权重处理模块403、获取模块404。
确定模块401，用于基于每个存储节点的存储空间剩余率确定每个存储节点的基础权重。
判断模块402，用于判断存储节点的入选机率信息是否满足权重修正条件。
若满足，则权重处理模块403用于根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重；若不满足，则权重处理模块403用于将存储节点的基础权重作为存储节点的目标权重。
可以理解的是，存储节点的入选机率信息表征存储节点被选中用作数据写入的存储节点的机率。
权重处理模块403，根据全部存储节点的目标权重，构成优先级区间序列。
可以理解的是，优先级区间序列中每个区间与每个存储节点对应。
获取模块404，用于获取优先级区间序列中优先级最高的区间对应的存储节点，作为数据写入的节点。
本发明实施例提供的一种负载均衡装置，包括确定模块，判断模块、权重处理模块和获取模块；其中确定模块用于基于每个存储节点的存储空间剩余率确定每个存储空间的基础权重，判断模块用于判断存储节点的入选机率信息是否满足权重修正条件，若满足，则权重处理模块用于根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重；若不满足，则权重处理模块用于将存储节点的基础权重作为所述存储节点的目标权重，根据全部所述存储节点的目标权重，构成存储节点的优先级区间序列；最后获取模块用于获取存储节点的优先级区间序列中优先级最高的目标存储节点，作为数据写入的存储节点，该装置能够根据存储节点信息动态的改变存储节点的基础权重，通过修改基础权重调整存储节点的入选概率，保证每个存储节点都有被选择的机率，从而避免在数据写入的过程中因为存储节点的选择方式不当而造成分布式系统负载不能达到均衡状态的现象。可以理解的是，获取模块404可以用于执行步骤306，确定模块401可以用于执行步骤300，判断模块402可以用于执行步骤302，权重处理模块403可以用于执行步骤303、步骤304、步骤305。
上述装置可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中，为此，本发明实施例提供一种可以部署上述负载均衡装置30的节点，图9示出了本发明实施例提供的一种节点的方框示意图，参见图9，在本发明实施例中，节点50可以是图1中的存储管理节点10，所述节点50包括存储器501、通信接口502、处理器503和总线504，所述存储器501、通信接口502和处理器503通过总线504连接，处理器503用于执行存储器501中存储的可执行模块，例如计算机程序。
其中，存储器501可能包含高速随机读写存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口502(可以是有线或者无线)实现该节点50与至少一个其他存储节点、以及外部存储设备之间的通信连接。
总线504可以是ISA总线、PCI总线或EISA总线等。图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器501用于存储程序，所述处理器503在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的负载均衡方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器503执行时实现上述实施例揭示的负载均衡方法。
综上所述，本发明实施例提供了一种负载均衡方法、装置、节点及计算机可读存储介质，该方法及装置基于每个存储节点的存储空间剩余率确定每个存储空间的基础权重，再判断存储节点的入选机率信息是否满足权重修正条件，若满足，则根据修正参数对存储节点的基础权重进行修改，以获得存储节点的目标权重；若不满足，则将存储节点的基础权重作为所述存储节点的目标权重；根据全部所述存储节点的目标权重，构成存储节点的优先级区间序列；最后获取存储节点的优先级区间序列中优先级最高的目标存储节点，作为数据写入的存储节点，与现有技术相比，本发明能够根据存储节点信息动态的改变存储节点的基础权重，通过修改基础权重调整存储节点的入选概率，保证每个存储节点都有被选择的机率，从而能够避免在数据写入的过程中因为存储节点的选择方式不当而造成分布式系统负载不能达到均衡状态的现象。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种负载均衡方法，其特征在于，应用于分布式存储系统中的管理节点，所述分布式存储系统还包括多个存储节点，所述方法包括：
基于每个所述存储节点的存储空间剩余率确定每个所述存储节点的基础权重；
判断所述存储节点的入选机率信息是否满足权重修正条件；
若是，则根据修正参数对所述存储节点的基础权重进行修改，以获得所述存储节点的目标权重；若否，则将所述存储节点的基础权重作为所述存储节点的目标权重；
其中，所述存储节点的入选机率信息表征所述存储节点被选中用作数据写入的存储节点的机率；
根据全部所述存储节点的目标权重，构成优先级区间序列；所述优先级区间序列中每个区间与每个所述存储节点对应；获取所述优先级区间序列中优先级最高的区间对应的存储节点，作为数据写入的节点。
2.根据权利要求1所述的负载均衡方法，其特征在于，所述存储节点的入选机率信息包含所述存储节点的CPU占用率和内存占用率；所述判断所述存储节点的入选机率信息是否满足权重修正条件的步骤，包括：
判断是否所述CPU占用率大于CPU占用率阈值，且所述内存占用率小于内存占用率阈值，若是，则所述根据修正参数对所述存储节点的基础权重进行修改的步骤，包括：
计算所述CPU占用率阈值与所述CPU占用率之间的比值；
将所述比值作为所述修正参数对所述存储节点的基础权重进行修改；
判断是否所述CPU占用率小于CPU占用率阈值，且所述内存占用率大于内存占用率阈值，若是，则所述根据修正参数对所述存储节点的基础权重进行修改的步骤，包括：
计算所述内存占用率阈值与所述内存占用率之间的比值；
将所述比值作为所述修正参数对所述存储节点的基础权重进行修改；
判断是否所述CPU占用率大于CPU占用率阈值，且所述内存占用率大于内存占用率阈值，若是，则所述根据修正参数对所述存储节点的基础权重进行修改的步骤，包括：
计算所述CPU占用率阈值与所述CPU占用率之间的第一比值；
计算所述内存占用率阈值与所述内存占用率之间的第二比值；
将所述第一比值和所述第二比值之间的乘积值作为所述修正参数对所述存储节点的基础权重进行修改。
3.根据权利要求2所述的负载均衡方法，其特征在于，所述存储节点的目标权重满足如下公式：
Figure FDA0002249296820000021
其中，i表征所述存储节点的序号；wi表征第i个所述存储节点的所述基础权重；Mi表征第i个所述存储节点的所述修正参数；
Figure FDA0002249296820000022
表征第i个所述存储节点的目标权重。
4.根据权利要求1所述的负载均衡方法，其特征在于，所述根据全部所述存储节点的目标权重，构成全部所述存储节点的优先级区间序列的步骤，包括：
获取剩余存储空间总数；
根据所述目标权重和所述剩余存储空间总数计算每个所述存储节点对应的优先级值；
通过所述优先级值构成全部所述存储节点的优先级区间序列。
5.根据权利要求4所述的负载均衡方法，其特征在于，所述存储节点的优先级值满足如下公式：
Figure FDA0002249296820000031
其中，i表征所述存储节点的序号；V[i-1]表征第i个所述存储节点的优先级；Sum表征所述剩余存储空间总数；Wj表征第j个所述目标权重；
Figure FDA0002249296820000032
表征将第一个所述存储节点的目标权重到第i个所述存储节点目标权重与所述剩余存储空间总数的乘积值逐个相加。
6.根据权利要求1所述的负载均衡方法，其特征在于，获取所述优先级区间序列中优先级最高的区间对应的存储节点，作为数据写入的存储节点的步骤，包括：
获得随机值；
确定所述随机值落入的所述区间为优先级最高的区间；
将所述优先级最高的区间对应的存储节点作为数据写入的存储节点。
7.根据权利要求6所述的负载均衡方法，其特征在于，所述随机值满足以下关系式：
R＝Rand mod Vmax
其中，Rand表征随机数；Vmax表征所述优先级区间序列中的最大值；“mod”表征所述随机数除以所述最大值获得的余数为所述随机值。
8.一种负载均衡装置，其特征在于，包括：确定模块、判断模块、权重处理模块和获取模块；
所述确定模块，用于基于每个所述存储节点的存储空间剩余率确定每个所述存储节点的基础权重；
所述判断模块，用于判断所述存储节点的入选机率信息是否满足权重修正条件；
若满足，则所述权重处理模块用于根据修正参数对所述存储节点的基础权重进行修改，以获得所述存储节点的目标权重；若不满足，则所述权重处理模块用于将所述存储节点的基础权重作为所述存储节点的目标权重；
其中，所述存储节点的入选机率信息表征所述存储节点被选中用作数据写入的存储节点的机率；
所述权重处理模块，用于根据全部所述存储节点的目标权重，构成存储节点的优先级区间序列；
所述获取模块，用于获取所述存储节点的优先级区间序列中优先级最高的存储节点，作为数据写入的存储节点。
9.一种节点，其特征在于，部署有权利要求8中所述的负载均衡装置，所述节点还包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的负载均衡方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的负载均衡方法。
CN201911028231.2A 2019-10-28 2019-10-28 负载均衡方法、装置、节点及计算机可读存储介质 Active CN110781006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911028231.2A CN110781006B (zh) 2019-10-28 2019-10-28 负载均衡方法、装置、节点及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911028231.2A CN110781006B (zh) 2019-10-28 2019-10-28 负载均衡方法、装置、节点及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110781006A true CN110781006A (zh) 2020-02-11
CN110781006B CN110781006B (zh) 2022-06-03

Family

ID=69387040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911028231.2A Active CN110781006B (zh) 2019-10-28 2019-10-28 负载均衡方法、装置、节点及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110781006B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324464A (zh) * 2020-03-12 2020-06-23 北京首汽智行科技有限公司 一种基于微服务架构的负载分配方法
CN111552441A (zh) * 2020-04-29 2020-08-18 重庆紫光华山智安科技有限公司 数据存储方法和装置、主节点及分布式系统
CN111737003A (zh) * 2020-06-24 2020-10-02 重庆紫光华山智安科技有限公司 Pod均衡调度方法、装置、主节点及存储介质
CN111858068A (zh) * 2020-07-31 2020-10-30 重庆紫光华山智安科技有限公司 一种Java程序性能问题定位方法及装置
CN111949218A (zh) * 2020-08-25 2020-11-17 重庆紫光华山智安科技有限公司 一种高可用存储系统负载均衡方法、系统、介质及终端
CN113760172A (zh) * 2020-06-04 2021-12-07 杭州海康威视数字技术股份有限公司 一种分片分配方法、装置及电子设备
CN114281256A (zh) * 2021-12-20 2022-04-05 广州炒米信息科技有限公司 基于分布式存储系统的数据同步方法、装置、设备及介质
CN114281260A (zh) * 2021-12-23 2022-04-05 广州炒米信息科技有限公司 应用于分布式存储系统的存储方法、装置、设备及介质
CN115202591A (zh) * 2022-09-16 2022-10-18 厦门大学 一种分布式数据库系统的存储装置、方法及存储介质
CN115509463A (zh) * 2022-11-15 2022-12-23 北京云成金融信息服务有限公司 一种基于数据中台的均衡化数据存储方法及系统
CN116450054A (zh) * 2023-06-16 2023-07-18 成都泛联智存科技有限公司 Io请求处理方法、装置、主机和计算机可读存储介质
CN116939228A (zh) * 2023-07-27 2023-10-24 北京和德宇航技术有限公司 遥感影像的分布式处理方法、装置、设备及存储介质
CN117082083A (zh) * 2023-08-30 2023-11-17 杭州浩联智能科技有限公司 一种基于分布式物联网架构的数据存储方法、装置及介质
CN117149099A (zh) * 2023-10-31 2023-12-01 江苏华鲲振宇智能科技有限责任公司 一种计算存储分体式服务器系统及控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611735A (zh) * 2011-12-21 2012-07-25 奇智软件（北京）有限公司 一种应用服务的负载均衡方法及系统
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
CN105007312A (zh) * 2015-07-03 2015-10-28 叶秀兰 一种云计算服务器自适应负载均衡控制方法及控制系统
CN106598870A (zh) * 2016-12-26 2017-04-26 中国建设银行股份有限公司 一种跨组件交易一致性测试方法及系统
CN108965381A (zh) * 2018-05-31 2018-12-07 康键信息技术（深圳）有限公司 基于Nginx的负载均衡实现方法、装置、计算机设备和介质
US20190212183A1 (en) * 2018-01-08 2019-07-11 The Boeing Company Aircraft passenger luggage bin load weight and balance system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611735A (zh) * 2011-12-21 2012-07-25 奇智软件（北京）有限公司 一种应用服务的负载均衡方法及系统
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
CN105007312A (zh) * 2015-07-03 2015-10-28 叶秀兰 一种云计算服务器自适应负载均衡控制方法及控制系统
CN106598870A (zh) * 2016-12-26 2017-04-26 中国建设银行股份有限公司 一种跨组件交易一致性测试方法及系统
US20190212183A1 (en) * 2018-01-08 2019-07-11 The Boeing Company Aircraft passenger luggage bin load weight and balance system
CN108965381A (zh) * 2018-05-31 2018-12-07 康键信息技术（深圳）有限公司 基于Nginx的负载均衡实现方法、装置、计算机设备和介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324464A (zh) * 2020-03-12 2020-06-23 北京首汽智行科技有限公司 一种基于微服务架构的负载分配方法
CN111552441B (zh) * 2020-04-29 2023-02-28 重庆紫光华山智安科技有限公司 数据存储方法和装置、主节点及分布式系统
CN111552441A (zh) * 2020-04-29 2020-08-18 重庆紫光华山智安科技有限公司 数据存储方法和装置、主节点及分布式系统
CN113760172A (zh) * 2020-06-04 2021-12-07 杭州海康威视数字技术股份有限公司 一种分片分配方法、装置及电子设备
CN113760172B (zh) * 2020-06-04 2024-09-03 杭州海康威视数字技术股份有限公司 一种分片分配方法、装置及电子设备
CN111737003A (zh) * 2020-06-24 2020-10-02 重庆紫光华山智安科技有限公司 Pod均衡调度方法、装置、主节点及存储介质
CN111737003B (zh) * 2020-06-24 2023-04-28 重庆紫光华山智安科技有限公司 Pod均衡调度方法、装置、主节点及存储介质
CN111858068A (zh) * 2020-07-31 2020-10-30 重庆紫光华山智安科技有限公司 一种Java程序性能问题定位方法及装置
CN111949218A (zh) * 2020-08-25 2020-11-17 重庆紫光华山智安科技有限公司 一种高可用存储系统负载均衡方法、系统、介质及终端
CN111949218B (zh) * 2020-08-25 2021-05-25 重庆紫光华山智安科技有限公司 一种高可用存储系统负载均衡方法、系统、介质及终端
CN114281256A (zh) * 2021-12-20 2022-04-05 广州炒米信息科技有限公司 基于分布式存储系统的数据同步方法、装置、设备及介质
CN114281260A (zh) * 2021-12-23 2022-04-05 广州炒米信息科技有限公司 应用于分布式存储系统的存储方法、装置、设备及介质
CN115202591B (zh) * 2022-09-16 2022-11-18 厦门大学 一种分布式数据库系统的存储装置、方法及存储介质
CN115202591A (zh) * 2022-09-16 2022-10-18 厦门大学 一种分布式数据库系统的存储装置、方法及存储介质
CN115509463B (zh) * 2022-11-15 2023-04-11 北京云成金融信息服务有限公司 一种基于数据中台的均衡化数据存储方法及系统
CN115509463A (zh) * 2022-11-15 2022-12-23 北京云成金融信息服务有限公司 一种基于数据中台的均衡化数据存储方法及系统
CN116450054A (zh) * 2023-06-16 2023-07-18 成都泛联智存科技有限公司 Io请求处理方法、装置、主机和计算机可读存储介质
CN116450054B (zh) * 2023-06-16 2023-09-26 成都泛联智存科技有限公司 Io请求处理方法、装置、主机和计算机可读存储介质
CN116939228A (zh) * 2023-07-27 2023-10-24 北京和德宇航技术有限公司 遥感影像的分布式处理方法、装置、设备及存储介质
CN117082083A (zh) * 2023-08-30 2023-11-17 杭州浩联智能科技有限公司 一种基于分布式物联网架构的数据存储方法、装置及介质
CN117149099A (zh) * 2023-10-31 2023-12-01 江苏华鲲振宇智能科技有限责任公司 一种计算存储分体式服务器系统及控制方法
CN117149099B (zh) * 2023-10-31 2024-03-12 江苏华鲲振宇智能科技有限责任公司 一种计算存储分体式服务器系统及控制方法

Also Published As

Publication number Publication date
CN110781006B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110781006B (zh) 负载均衡方法、装置、节点及计算机可读存储介质
US8893146B2 (en) Method and system of an I/O stack for controlling flows of workload specific I/O requests
CN108089814B (zh) 一种数据存储方法及装置
US10165048B2 (en) Data copy storage method, terminal apparatus, and server apparatus
CN110362402B (zh) 一种负载均衡方法、装置、设备及可读存储介质
US9092259B2 (en) Apparatus and method for controlling a resource utilization policy in a virtual environment
EP3432157A1 (en) Data table joining mode processing method and apparatus
CN109189329B (zh) 存储节点权重的调整方法和装置
CN111290699B (zh) 数据迁移方法、装置及系统
CN111078391A (zh) 一种业务请求处理方法、装置及设备
WO2019170011A1 (zh) 任务分配方法及装置、分布式存储系统
CN112118314B (zh) 负载均衡方法和装置
CN113132176A (zh) 一种控制边缘节点的方法、节点及边缘计算系统
US10254973B2 (en) Data management system and method for processing distributed data
CN108200185B (zh) 一种实现负载均衡的方法及装置
CN112269657B (zh) 一种分布式存储系统中节点的带宽均衡控制方法及装置
CN112948104B (zh) 负载均衡的数据采集方法及装置
CN111917823B (zh) 一种基于分布式存储Ceph的数据重构方法与装置
CN106021026B (zh) 一种备份方法及装置
CN116909953A (zh) 一种多路径规划方法、装置及介质
JP2024016782A (ja) リソース割り当ての決定方法、装置、計算装置及びコンピュータプログラム
CN115941758A (zh) 基于动态规划的云服务控制台部署方法、系统及存储介质
CN113805802A (zh) 访问限流的方法、服务器及存储介质
CN116450054B (zh) Io请求处理方法、装置、主机和计算机可读存储介质
CN110278233B (zh) 一种负载调整方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant