CN109189329B - 存储节点权重的调整方法和装置 - Google Patents

存储节点权重的调整方法和装置 Download PDF

Info

Publication number
CN109189329B
CN109189329B CN201810896590.9A CN201810896590A CN109189329B CN 109189329 B CN109189329 B CN 109189329B CN 201810896590 A CN201810896590 A CN 201810896590A CN 109189329 B CN109189329 B CN 109189329B
Authority
CN
China
Prior art keywords
preset
data volume
storage node
object storage
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810896590.9A
Other languages
English (en)
Other versions
CN109189329A (zh
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN201810896590.9A priority Critical patent/CN109189329B/zh
Publication of CN109189329A publication Critical patent/CN109189329A/zh
Application granted granted Critical
Publication of CN109189329B publication Critical patent/CN109189329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0617Improving the reliability of storage systems in relation to availability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明提出一种存储节点权重的调整方法和装置,应用于分布式存储集群平台中,分布式存储集群平台中具有多个对象存储节点Object Storage Device,该方法包括获取分布式存储集群平台当前的写入数据量;根据写入数据量对各对象存储节点对应的权重进行动态调整。通过本发明能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。

Description

存储节点权重的调整方法和装置
技术领域
本发明涉及集群技术领域,尤其涉及一种存储节点权重的调整方法和装置。
背景技术
分布式存储集群平台中,虚拟存储节点VNode中的用户数据,映射到对象存储节点OSD,是依据对象存储节点OSD的权重,状态和位置信息,其中,权重信息又确定了一个对象存储节点OSD可以承载的虚拟存储节点VNode的个数,权重越高,承载的虚拟存储节点VNode的个数越多。目前主流的分布式存储集群平台均通过对象存储节点OSD的磁盘容量来确定权重。
对象存储节点OSD节点间会有心跳报文,同时,也会定时向监控节点(Mon)上报OS其邻居对象存储节点OSD的状态。如果Mon节点收到的某个对象存储节点OSD变为down状态的报文,则会更新此对象存储节点OSD的权重为0,而后,将新的集群状态广播给所有的对象存储节点OSD,对象存储节点OSD节点根据最新的集群状态信息重新计算虚拟存储节点VNode和对象存储节点OSD的映射关系,虚拟存储节点VNode根据新的映射关系进行数据副本的重建或进行数据迁移。
对象存储节点OSD的权重对分布式存储集群中数据分布和故障恢复有重要意义,但是相关技术中,主流的分布式存储集群平台对权重的设置方式非常单一,对于使用容量不均等磁盘构建的分布式存储集群平台,不同的磁盘虽容量不同,但性能基本一致,按容量设置权重值,容易导致容量较大的对象存储节点OSD出现性能瓶颈。另外,不同对象存储节点OSD的网络带宽也可能不一致,网络带宽小的对象存储节点OSD也可能成为性能瓶颈。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种存储节点权重的调整方法,能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。
本发明的另一个目的在于提出一种存储节点权重的调整装置。
为达到上述目的,本发明第一方面实施例提出的存储节点权重的调整方法,应用于分布式存储集群平台中,所述分布式存储集群平台中具有多个对象存储节点ObjectStorage Device,包括:获取所述分布式存储集群平台当前的写入数据量;根据所述写入数据量对各所述对象存储节点对应的权重进行动态调整。
本发明第一方面实施例提出的存储节点权重的调整方法,通过获取分布式存储集群平台当前的写入数据量;根据写入数据量对各对象存储节点对应的权重进行动态调整,能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。
为达到上述目的,本发明第二方面实施例提出的存储节点权重的调整装置,应用于分布式存储集群平台中,所述分布式存储集群平台中具有多个对象存储节点ObjectStorage Device,包括:获取模块,用于获取所述分布式存储集群平台当前的写入数据量;动态调整模块,用于根据所述写入数据量对各所述对象存储节点对应的权重进行动态调整。
本发明第二方面实施例提出的存储节点权重的调整装置,通过获取分布式存储集群平台当前的写入数据量;根据写入数据量对各对象存储节点对应的权重进行动态调整,能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的存储节点权重的调整方法的流程示意图;
图2为本发明实施例中写入数据量变化示意图;
图3是本发明另一实施例提出的存储节点权重的调整方法的流程示意图;
图4是本发明一实施例提出的存储节点权重的调整装置的结构示意图;
图5是本发明另一实施例提出的存储节点权重的调整装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的存储节点权重的调整方法的流程示意图。
本实施例以存储节点权重的调整方法被配置为存储节点权重的调整装置中来举例说明。
本实施例中存储节点权重的调整方法可以被配置在存储节点权重的调整装置中,存储节点权重的调整装置可以设置在服务器中,或者也可以设置在电子设备中,本发明实施例对此不作限制。
本实施例以存储节点权重的调整方法被配置在服务器中为例,其中的服务器可以具体为集群服务器。
本实施例中存储节点权重的调整方法应用于分布式存储集群平台中,分布式存储集群平台中具有多个对象存储节点Object Storage Device。
需要说明的是,本发明实施例的执行主体,在硬件上可以例如为服务器或者电子设备中的中央处理器(Central Processing Unit,CPU),在软件上可以例如为服务器或者电子设备中的相关的后台服务,对此不作限制。
分布式存储集群平台中,虚拟存储节点VNode中的用户数据,映射到对象存储节点OSD,是依据对象存储节点OSD的权重,状态和位置信息,其中,权重信息又确定了一个对象存储节点OSD可以承载的虚拟存储节点VNode的个数,权重越高,承载的虚拟存储节点VNode的个数越多。目前主流的分布式存储集群平台均通过对象存储节点OSD的磁盘容量来确定权重。
对象存储节点OSD节点间会有心跳报文,同时,也会定时向监控节点(Mon)上报OS其邻居对象存储节点OSD的状态。如果Mon节点收到的某个对象存储节点OSD变为down状态的报文,则会更新此对象存储节点OSD的权重为0,而后,将新的集群状态广播给所有的对象存储节点OSD,对象存储节点OSD节点根据最新的集群状态信息重新计算虚拟存储节点VNode和对象存储节点OSD的映射关系,虚拟存储节点VNode根据新的映射关系进行数据副本的重建或进行数据迁移。
对象存储节点OSD的权重对分布式存储集群中数据分布和故障恢复有重要意义,但是相关技术中,主流的分布式存储集群平台对权重的设置方式非常单一,对于使用容量不均等磁盘构建的分布式存储集群平台,不同的磁盘虽容量不同,但性能基本一致,按容量设置权重值,容易导致容量较大的对象存储节点OSD出现性能瓶颈。另外,不同对象存储节点OSD的网络带宽也可能不一致,网络带宽小的对象存储节点OSD也可能成为性能瓶颈。
为了解决上述技术问题,本发明实施例中提供一种存储节点权重的调整方法,通过获取分布式存储集群平台当前的写入数据量;根据写入数据量对各对象存储节点对应的权重进行动态调整,能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。
参见图1,该方法包括:
S101:获取分布式存储集群平台当前的写入数据量。
本发明实施例中的分布式存储集群平台可以具体应用于网络购票、在线申请等应用场景下,在前述的应用场景下,分布式存储集群平台的写入数据量有周期性的变化,典型的写入数据量随时间的关系如图2所示。图2为本发明实施例中写入数据量变化示意图。在开始阶段,写入数据量持续低于低水位;中间阶段写入数据量上升高于低水位,而后,持续上升超过高水位,并维持一段时间;结束阶段写入数据量下降,开始降到高水位以下,并持续下降最终低于低水位。在前述的应用场景下,在高峰时期对于分布式存储集群平台的写入能力有较高的要求,而剩余的时间对于分布式存储集群平台的写入能力要求较低,有明显的“峰-谷”变化。
本发明实施例中,可以具体应用在分布式存储集群平台应用于网络购票、在线申请等应用场景时,根据写入数据量对各对象存储节点对应的权重进行动态调整,能够有效满足实际应用场景下对写入能力的需求,提升用户使用体验度,能够达到在较高写入压力下提升分布式存储集群平台的整体存储写入性能的目的,同时,给出写入压力降低情况下动态调整对象存储节点OSD权重,以降低写入不均衡程度,有效减少均衡时间,提高分布式存储集群平台的可用性。
本发明实施例在具体执行的过程中,可以实时地或者每隔预设时间周期对分布式存储集群平台当前的写入数据量进行监测,并对监测得到的结果进行分析处理,以获取分布式存储集群平台当前的写入数据量,该写入数据量可以用bit来表示,对此不作限制。
S102:根据写入数据量对各对象存储节点对应的权重进行动态调整。
可选地,一些实施例中,参见图3,S102可以包括:
S301:将写入数据量与预设阈值进行比对,预设阈值包括:预设数据量阈值和预设时间阈值。
S302:在写入数据量与预设数据量阈值的比对结果符合预设条件,且比对结果符合预设条件所持续的时间达到预设时间阈值,触发对各对象存储节点对应的权重进行动态调整。
其中的预设数据量阈值和预设时间阈值可以是由分布式存储集群平台的管理用户进行配置的,或者,也可以由分布式存储集群平台的出厂程序预先设定,对此不作限制。
通过将写入数据量与预设阈值进行比对,预设阈值包括:预设数据量阈值和预设时间阈值,在写入数据量与预设数据量阈值的比对结果符合预设条件,且比对结果符合预设条件所持续的时间达到预设时间阈值,触发对各对象存储节点对应的权重进行动态调整,能够实现对权重进行精准的动态调整,且其中的预设数据量阈值和预设时间阈值为具体根据分布式存储集群平台的运行性能与实际的应用场景需求进行预先设置的,因此,使得对权重进行的动态调整更契合于分布式存储集群平台的运行性能。
可选地,本发明实施例中为了在技术上实现对权重进行动态的调整,还可以依据不同的比对结果确定分布式存储集群平台所处于的状态,并执行不同的调整步骤,使得权重调整方式更为灵活。
具体地,本发明实施例中配置预设数据量阈值包括:第一预设数据量阈值,第一预设数据量阈值用于指示分布式存储集群平台的状态进入写入突发状态,在写入数据量与预设数据量阈值的比对结果符合预设条件,且比对结果符合预设条件所持续的时间达到预设时间阈值,触发对各对象存储节点对应的权重进行动态调整,包括:在写入数据量大于或者等于第一预设数据量阈值时,确定比对结果符合预设条件;在比对结果符合预设条件的持续时间达到预设时间阈值时,读取各对象存储节点对应的最大写入能力值;基于第一预设比例值,结合最大写入能力值对各对象存储节点的权重进行动态调整,使得调整后各对象存储节点OSD的权重与其对应的最大写入能力值成正比例。
其中的最大写入能力值可以是预先对各对象存储节点进行测试得到的,例如,监控节点定期测试每个对象存储节点OSD的最大写入能力值,该最大写入能力值的确定方法是:如果分布式存储集群平台的I/O负载低于一定门限值,认为可以测试并且不会影响正常业务,从监控节点写入一定量的测试数据到对象存储节点OSD的测试数据池中,确定出对象存储节点OSD的最大写入能力值,如果分布式存储集群平台的I/O负载等于或者高于一定门限值,不进行测试,采用上次测试的数据作为本次测试数据。编号为i的对象存储节点OSD的最大写入能力值可以记为Capability(i,normal)。在分布式存储集群平台处于写入突发状态和写入突发松弛状态时,监控节点不进行定期测试每个对象存储节点OSD的最大写入能力值的操作,最大写入能力值暂时不更新。在分布式存储集群平台处于正常状态时,分布式存储集群平台恢复定期更新。
本发明实施例中,可以依据写入数据量将分布式存储集群平台的工作状态划分为三种状态:正常状态,写入突发状态和写入突发松弛状态。在分布式存储集群平台初始化时或者写入压力不大时,一般处于正常状态;在分布式存储集群平台写入压力较大,需要发挥全部写入能力时,分布式存储集群平台处于写入突发状态;在分布式存储集群平台写入压力降低,需要均衡写入突发状态造成的数据不均衡时,分布式存储集群平台处于写入突发松弛状态,原来写入多的对象存储节点OSD减小权重,写入少的对象存储节点OSD增大权重,本发明实施例中为了均衡对象存储节点OSD容量的使用,分布式存储集群平台一般会在容量使用偏差较大时进行数据均衡,本发明实施例中引入写入突发松弛状态可以有效减少对象存储节点OSD均衡的负担。
可选地,本发明实施例中还可以配置预设数据量阈值包括:第二预设数据量阈值,第二预设数据量阈值用于指示分布式存储集群平台的状态进入写入突发松弛状态,在写入数据量与预设数据量阈值的比对结果符合预设条件,且比对结果符合预设条件所持续的时间达到预设时间阈值,触发对各对象存储节点对应的权重进行动态调整,包括:在写入数据量小于或者等于第二预设数据量阈值时,确定比对结果符合预设条件;在比对结果符合预设条件的持续时间达到预设时间阈值时,读取在分布式存储集群平台的状态进入写入突发状态时,各对象存储节点调整后的第一目标权重值;读取在分布式存储集群平台的状态进入正常状态时,各对象存储节点调整后的第二目标权重值;基于第二预设比例值,结合第一目标权重值、第二目标权重值对各对象存储节点的权重进行动态调整,使得调整后各对象存储节点OSD的权重与正常状态下调整后的第二目标权重值的平方成正比例,与写入突发状态下调整后的第一目标权重值成反比例。
可选地,本发明实施例中还可以配置在写入数据量与预设数据量阈值的比对结果不符合预设条件,或者比对结果符合预设条件所持续的时间未达到预设时间阈值,则确定分布式存储集群平台的状态为正常状态;读取各对象存储节点对应的容量;基于第三预设比例值,结合对应的容量对各对象存储节点的权重进行动态调整,使得调整后各对象存储节点OSD的权重与其对应的容量成正比例。
本发明实施例在具体执行的过程中,如果分布式存储集群平台的剩余存储容量不多,写入突发状态可以设置最大写入数据量,以防止把对象存储节点OSD提前写满,若达到设置的最大写入数据量则触发退出写入突发状态。如果分布式存储集群平台具备自动进行数据均衡的功能,则可以在写入突发状态和写入突发松弛状态下,暂时关闭自动数据均衡功能,防止干扰最大写入能力的发挥或者影响反向数据写入均衡的效果。
本发明实施例通过执行上述步骤,实现动态测试对象存储节点OSD的写入能力,在业务压力增大时根据写入能力调整对象存储节点OSD权重,最大化存储分布式存储集群平台的写入能力,使分布式存储集群平台能够更好地度过业务峰值。在业务压力减小时,反向设置对象存储节点OSD的权重,能有效地对写入数据量的偏差进行补偿,减少了后期分布式存储集群平台数据均衡的负担。
本实施例中,通过获取分布式存储集群平台当前的写入数据量;根据写入数据量对各对象存储节点对应的权重进行动态调整,能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。
图4是本发明一实施例提出的存储节点权重的调整装置的结构示意图。
参见图4,该装置400包括:获取模块401和动态调整模块402,其中,
获取模块401,用于获取分布式存储集群平台当前的写入数据量。
动态调整模块402,用于根据写入数据量对各对象存储节点对应的权重进行动态调整。
可选地,一些实施例中,参见图5,动态调整模块402,包括:
比对子模块4021,用于将写入数据量与预设阈值进行比对,预设阈值包括:预设数据量阈值和预设时间阈值。
动态调整子模块4022,用于在写入数据量与预设数据量阈值的比对结果符合预设条件,且比对结果符合预设条件所持续的时间达到预设时间阈值,触发对各对象存储节点对应的权重进行动态调整。
可选地,一些实施例中,预设数据量阈值包括:第一预设数据量阈值,第一预设数据量阈值用于指示分布式存储集群平台的状态进入写入突发状态,动态调整子模块4022,具体用于:
在写入数据量大于或者等于第一预设数据量阈值时,确定比对结果符合预设条件;
在比对结果符合预设条件的持续时间达到预设时间阈值时,读取各对象存储节点对应的最大写入能力值;
基于第一预设比例值,结合最大写入能力值对各对象存储节点的权重进行动态调整。
可选地,一些实施例中,预设数据量阈值包括:第二预设数据量阈值,第二预设数据量阈值用于指示分布式存储集群平台的状态进入写入突发松弛状态,动态调整子模块4022,还具体用于:
在写入数据量小于或者等于第二预设数据量阈值时,确定比对结果符合预设条件;
在比对结果符合预设条件的持续时间达到预设时间阈值时,读取在分布式存储集群平台的状态进入写入突发状态时,各对象存储节点调整后的第一目标权重值;
读取在分布式存储集群平台的状态进入正常状态时,各对象存储节点调整后的第二目标权重值;
基于第二预设比例值,结合第一目标权重值、第二目标权重值对各对象存储节点的权重进行动态调整。
可选地,一些实施例中,动态调整子模块4022,还具体用于:
在写入数据量与预设数据量阈值的比对结果不符合预设条件,或者比对结果符合预设条件所持续的时间未达到预设时间阈值,则确定分布式存储集群平台的状态为正常状态;
读取各对象存储节点对应的容量;
基于第三预设比例值,结合对应的容量对各对象存储节点的权重进行动态调整。
需要说明的是,前述图1-图3实施例中对存储节点权重的调整方法实施例的解释说明也适用于该实施例的存储节点权重的调整装置400,其实现原理类似,此处不再赘述。
本实施例中,通过获取分布式存储集群平台当前的写入数据量;根据写入数据量对各对象存储节点对应的权重进行动态调整,能够有效避免各对象存储节点OSD产生性能瓶颈,提升分布式存储集群平台整体的存储写入性能,提高分布式存储集群平台的可用性。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种存储节点权重的调整方法,其特征在于,应用于分布式存储集群平台中,所述分布式存储集群平台中具有多个对象存储节点Object Storage Device,所述方法包括以下步骤:
获取所述分布式存储集群平台当前的写入数据量;
根据所述写入数据量对各所述对象存储节点对应的权重进行动态调整,其中,所述权重是所述对象存储节点OSD可承载的虚拟存储节点VNode的个数;
所述根据所述写入数据量对各所述对象存储节点对应的权重进行动态调整,包括:
将所述写入数据量与预设阈值进行比对,所述预设阈值包括:预设数据量阈值和预设时间阈值;
在所述写入数据量与所述预设数据量阈值的比对结果符合预设条件,且所述比对结果符合所述预设条件所持续的时间达到所述预设时间阈值,触发对各所述对象存储节点对应的权重进行动态调整;
其中,所述预设数据量阈值和所述预设时间阈值由所述分布式存储集群平台的管理用户进行配置,或者,由所述分布式存储集群平台的出厂程序预先设定。
2.如权利要求1所述的存储节点权重的调整方法,其特征在于,所述预设数据量阈值包括:第一预设数据量阈值,所述第一预设数据量阈值用于指示所述分布式存储集群平台的状态进入写入突发状态,所述在所述写入数据量与所述预设数据量阈值的比对结果符合预设条件,且所述比对结果符合所述预设条件所持续的时间达到所述预设时间阈值,触发对各所述对象存储节点对应的权重进行动态调整,包括:
在所述写入数据量大于或者等于所述第一预设数据量阈值时,确定所述比对结果符合所述预设条件;
在所述比对结果符合所述预设条件的持续时间达到所述预设时间阈值时,读取各所述对象存储节点对应的最大写入能力值;
基于第一预设比例值,结合所述最大写入能力值对所述各所述对象存储节点的权重进行动态调整。
3.如权利要求2所述的存储节点权重的调整方法,其特征在于,所述预设数据量阈值包括:第二预设数据量阈值,所述第二预设数据量阈值用于指示所述分布式存储集群平台的状态进入写入突发松弛状态,所述在所述写入数据量与所述预设数据量阈值的比对结果符合预设条件,且所述比对结果符合所述预设条件所持续的时间达到所述预设时间阈值,触发对各所述对象存储节点对应的权重进行动态调整,包括:
在所述写入数据量小于或者等于所述第二预设数据量阈值时,确定所述比对结果符合所述预设条件;
在所述比对结果符合所述预设条件的持续时间达到所述预设时间阈值时,读取在所述分布式存储集群平台的状态进入所述写入突发状态时,各所述对象存储节点调整后的第一目标权重值;
读取在所述分布式存储集群平台的状态进入正常状态时,各所述对象存储节点调整后的第二目标权重值;
基于第二预设比例值,结合所述第一目标权重值、所述第二目标权重值对所述各所述对象存储节点的权重进行动态调整。
4.如权利要求3所述的存储节点权重的调整方法,其特征在于,还包括:
在所述写入数据量与所述预设数据量阈值的比对结果不符合所述预设条件,或者所述比对结果符合所述预设条件所持续的时间未达到所述预设时间阈值,则确定所述分布式存储集群平台的状态为所述正常状态;
读取各所述对象存储节点对应的容量;
基于第三预设比例值,结合所述对应的容量对所述各所述对象存储节点的权重进行动态调整。
5.一种存储节点权重的调整装置,其特征在于,应用于分布式存储集群平台中,所述分布式存储集群平台中具有多个对象存储节点Object Storage Device,所述装置包括:
获取模块,用于获取所述分布式存储集群平台当前的写入数据量;
动态调整模块,用于根据所述写入数据量对各所述对象存储节点对应的权重进行动态调整,其中,所述权重是所述对象存储节点OSD可承载的虚拟存储节点VNode的个数;
所述动态调整模块,包括:
比对子模块,用于将所述写入数据量与预设阈值进行比对,所述预设阈值包括:预设数据量阈值和预设时间阈值;
动态调整子模块,用于在所述写入数据量与所述预设数据量阈值的比对结果符合预设条件,且所述比对结果符合所述预设条件所持续的时间达到所述预设时间阈值,触发对各所述对象存储节点对应的权重进行动态调整;
其中,所述预设数据量阈值和所述预设时间阈值由所述分布式存储集群平台的管理用户进行配置,或者,由所述分布式存储集群平台的出厂程序预先设定。
6.如权利要求5所述的存储节点权重的调整装置,其特征在于,所述预设数据量阈值包括:第一预设数据量阈值,所述第一预设数据量阈值用于指示所述分布式存储集群平台的状态进入写入突发状态,所述动态调整子模块,具体用于:
在所述写入数据量大于或者等于所述第一预设数据量阈值时,确定所述比对结果符合所述预设条件;
在所述比对结果符合所述预设条件的持续时间达到所述预设时间阈值时,读取各所述对象存储节点对应的最大写入能力值;
基于第一预设比例值,结合所述最大写入能力值对所述各所述对象存储节点的权重进行动态调整。
7.如权利要求6所述的存储节点权重的调整装置,其特征在于,所述预设数据量阈值包括:第二预设数据量阈值,所述第二预设数据量阈值用于指示所述分布式存储集群平台的状态进入写入突发松弛状态,所述动态调整子模块,还具体用于:
在所述写入数据量小于或者等于所述第二预设数据量阈值时,确定所述比对结果符合所述预设条件;
在所述比对结果符合所述预设条件的持续时间达到所述预设时间阈值时,读取在所述分布式存储集群平台的状态进入所述写入突发状态时,各所述对象存储节点调整后的第一目标权重值;
读取在所述分布式存储集群平台的状态进入正常状态时,各所述对象存储节点调整后的第二目标权重值;
基于第二预设比例值,结合所述第一目标权重值、所述第二目标权重值对所述各所述对象存储节点的权重进行动态调整。
8.如权利要求7所述的存储节点权重的调整装置,其特征在于,所述动态调整子模块,还具体用于:
在所述写入数据量与所述预设数据量阈值的比对结果不符合所述预设条件,或者所述比对结果符合所述预设条件所持续的时间未达到所述预设时间阈值,则确定所述分布式存储集群平台的状态为所述正常状态;
读取各所述对象存储节点对应的容量;
基于第三预设比例值,结合所述对应的容量对所述各所述对象存储节点的权重进行动态调整。
CN201810896590.9A 2018-08-08 2018-08-08 存储节点权重的调整方法和装置 Active CN109189329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810896590.9A CN109189329B (zh) 2018-08-08 2018-08-08 存储节点权重的调整方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810896590.9A CN109189329B (zh) 2018-08-08 2018-08-08 存储节点权重的调整方法和装置

Publications (2)

Publication Number Publication Date
CN109189329A CN109189329A (zh) 2019-01-11
CN109189329B true CN109189329B (zh) 2022-05-17

Family

ID=64920539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810896590.9A Active CN109189329B (zh) 2018-08-08 2018-08-08 存储节点权重的调整方法和装置

Country Status (1)

Country Link
CN (1) CN109189329B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111416869A (zh) * 2020-03-26 2020-07-14 华泰证券股份有限公司 一种分布式集群中节点权重调整的方法
CN111708492B (zh) * 2020-06-10 2023-04-25 深圳证券通信有限公司 一种基于ceph的数据分布不平均调整方法
CN112422611B (zh) * 2020-09-11 2023-04-18 深圳市证通电子股份有限公司 基于分布式对象存储的虚拟桶存储处理方法和系统
CN114116774B (zh) * 2022-01-28 2022-06-28 北京安帝科技有限公司 日志数据的查询方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302641A (zh) * 2014-06-04 2016-02-03 杭州海康威视数字技术股份有限公司 虚拟化集群中进行节点调度的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427475B (zh) * 2011-12-08 2014-01-29 无锡城市云计算中心有限公司 一种云计算环境中负载均衡调度的系统
KR101569038B1 (ko) * 2013-10-30 2015-11-13 에스코어 주식회사 가상 머신이 자동으로 확장 및 축소되는 클러스터에 대한 고가용성 부하 분산 방법 및 고가용성 부하 분산 장치
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302641A (zh) * 2014-06-04 2016-02-03 杭州海康威视数字技术股份有限公司 虚拟化集群中进行节点调度的方法及装置

Also Published As

Publication number Publication date
CN109189329A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109189329B (zh) 存储节点权重的调整方法和装置
CN110781006B (zh) 负载均衡方法、装置、节点及计算机可读存储介质
US10320649B2 (en) Method and system for implementing virtual network function performance monitoring
US9712404B2 (en) Performance evaluation method and information processing device
US10887167B2 (en) Adaptive software-defined storage for cloud storage workloads
US9826032B2 (en) Automated server cluster selection for virtual machine deployment
US9274917B2 (en) Provisioning resources in a federated cloud environment
CN110222013B (zh) 一种集群存储容量确定的方法、系统、设备及存储介质
CN110515917B (zh) 一种控制重构速度的方法、装置及介质
US20140047115A1 (en) Immediately launching applications
US9934000B2 (en) Balancing consumption of random data
CN111562884B (zh) 一种数据存储方法、装置及电子设备
CN105306507A (zh) 分布式架构中的容灾处理方法及容灾处理装置
CN111159195A (zh) 区块链系统中的数据存储控制方法及设备
CN111290699A (zh) 数据迁移方法、装置及系统
CN110297743B (zh) 一种负载测试方法、装置和存储介质
US20160050112A1 (en) Distributed caching systems and methods
US20160094392A1 (en) Evaluating Configuration Changes Based on Aggregate Activity Level
US10890959B2 (en) Voltage correlation calculation
US20170289061A1 (en) Soft reservation techniques and systems for virtualized environments
CN112118314B (zh) 负载均衡方法和装置
US20150347303A1 (en) Adjusting allocation of storage devices
CN111866210A (zh) 一种虚拟ip均衡分配方法、系统、终端及存储介质
JP7214287B1 (ja) リソース割り当ての決定方法、装置、計算装置及びコンピュータプログラム
CN112748862A (zh) 用于管理盘的方法、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant