CN110278233B - 一种负载调整方法及装置 - Google Patents

一种负载调整方法及装置 Download PDF

Info

Publication number
CN110278233B
CN110278233B CN201810219337.XA CN201810219337A CN110278233B CN 110278233 B CN110278233 B CN 110278233B CN 201810219337 A CN201810219337 A CN 201810219337A CN 110278233 B CN110278233 B CN 110278233B
Authority
CN
China
Prior art keywords
node
adjusted
nodes
storage
values corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810219337.XA
Other languages
English (en)
Other versions
CN110278233A (zh
Inventor
荆文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201810219337.XA priority Critical patent/CN110278233B/zh
Publication of CN110278233A publication Critical patent/CN110278233A/zh
Application granted granted Critical
Publication of CN110278233B publication Critical patent/CN110278233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种负载调整方法及装置。所述方法包括:ceph系统中的管理节点获取与该管理节点连接的多个待调整节点的容量以及该管理节点与多个待调整节点之间的多个网络带宽,并根据多个待调整节点的容量和多个网络带宽来确定多个待调整节点对应的权重值,从而可以根据多个待调整节点对应的权重值,对多个待调整节点的负载进行调整。如此,根据节点的容量和节点与管理节点之间的网络带宽来确定每个节点对应的权重值,能够提高节点对应的权重值的合理性,从而能够更加合理地调整节点的负载,有效避免节点的负载与节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。

Description

一种负载调整方法及装置
技术领域
本发明涉及数据存储技术领域,尤其涉及一种负载调整方法及装置。
背景技术
随着信息技术的不断发展,我们迎来了大数据时代。在大数据时代下,传统的集中式存储服务器已经逐渐无法满足数据存储的需求,而分布式存储很好的解决了这一问题。ceph作为一种分布式文件系统,是基于crush算法完成数据的寻址操作,crush算法具有相当强大的扩展性,基于此,ceph系统理论上能够支持多个节点同时运行,并且,每个节点内部可以包括数千个负责存储数据的存储节点。
目前,ceph系统通常采用默认的参数值来确定各个节点、各个存储节点的权重值,进而确定各个节点、各个存储节点的负载情况。然而,由于不同的节点之间存在差异性,因此,采用默认的参数值来确定各个节点的负载容易导致该节点的负载与该节点的性能之间存在不匹配的问题,从而影响ceph系统的整体性能。
基于此,目前亟需一种负载调整方法,用于解决现有技术采用默认的参数值确定各个节点的负载容易导致该负载与对应的节点的性能之间存在不匹配的问题。
发明内容
本发明实施例提供一种负载调整方法及装置,以解决现有技术采用默认的参数值确定各个节点的负载容易导致该负载与对应的节点的性能之间存在不匹配的技术问题。
本发明实施例提供一种负载调整方法,所述方法应用于ceph系统中,所述ceph系统中包括管理节点和与所述管理节点连接的多个待调整节点;所述方法包括:
所述管理节点根据多个待调整节点的容量以及所述管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值;
所述管理节点根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整。
可选地,所述管理节点根据多个待调整节点的容量以及管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值,包括:
针对于每个待调整节点,所述管理节点根据所述每个待调整节点的容量、所述多个网络带宽中的最大值和所述每个待调整节点的网络带宽,确定所述每个待调整节点对应的权重值。
可选地,所述每个待调整节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000021
其中,W为所述每个待调整节点对应的权重值;Y为所述每个待调整节点的容量;M为所述每个待调整节点的网络带宽;Mmax为所述多个网络带宽中的最大值。
本发明实施例提供一种负载调整方法,所述方法应用于ceph系统中,所述ceph系统中包括第一节点和所述第一节点包括的多个存储节点,所述方法包括:
所述第一节点根据所述多个存储节点的IOPS,确定所述多个存储节点对应的权重值;
所述第一节点根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整。
可选地,所述多个存储节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000031
其中,wi为第i个存储节点对应的权重值;xi为第i个存储节点的IOPS;xmax为所述多个存储节点的IOPS的最大值;i为大于等于1的整数。
本发明实施例提供一种负载调整装置,所述装置包括:
处理单元,用于根据多个待调整节点的容量以及所述管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值;
调整单元,用于根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整。
可选地,所述处理单元具体用于:
针对于每个待调整节点,根据所述每个待调整节点的容量、所述多个网络带宽中的最大值和所述每个待调整节点的网络带宽,确定所述每个待调整节点对应的权重值。
可选地,所述每个待调整节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000032
其中,W为所述每个待调整节点对应的权重值;Y为所述每个待调整节点的容量;M为所述每个待调整节点的网络带宽;Mmax为所述多个网络带宽中的最大值。
本发明实施例提供一种负载调整装置,所述装置包括:
处理单元,用于根据所述多个存储节点的IOPS,确定所述多个存储节点对应的权重值;
调整单元,用于根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整。
可选地,所述多个存储节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000041
其中,wi为第i个存储节点对应的权重值;xi为第i个存储节点的IOPS;xmax为所述多个存储节点的IOPS的最大值;i为大于等于1的整数。
本发明实施例中,ceph系统中的管理节点获取与该管理节点连接的多个待调整节点的容量以及该管理节点与多个待调整节点之间的多个网络带宽,并根据多个待调整节点的容量和多个网络带宽来确定多个待调整节点对应的权重值,从而可以根据多个待调整节点对应的权重值,对多个待调整节点的负载进行调整。本发明实施例中,在确定每个节点对应的权重值时,综合考虑了节点的容量和节点与管理节点之间的网络带宽,相比于现有技术中采用默认的参数值确定各个节点的权重值的方式而言,能够提高节点对应的权重值的合理性,从而能够更加合理地调整节点的负载,有效避免节点的负载与节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
相应地,ceph系统中的第一节点获取第一节点包括的多个存储节点的IOPS,并根据多个存储节点的IOPS来确定多个存储节点对应的权重值,从而可以根据多个存储节点对应的权重值,对多个存储节点的负载进行调整。本发明实施例中,通过获取存储节点的IOPS来确定每个存储节点对应的权重值,相比于现有技术中采用默认的参数值确定各个存储节点的权重值的方式而言,能够根据存储节点的性能来调整存储节点的权重值,进而调整存储节点的负载,从而有效避免存储节点的负载与存储节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例适用的系统架构图;
图2a为本发明实施例提供的一种负载调整方法所对应的流程示意图;
图2b为Sigmod函数的示意图;
图3为本发明实施例中所涉及到一种负载调整方法所对应的整体性流程示意图;
图4为本发明实施例提供的另一种负载调整方法所对应的流程示意图;
图5为本发明实施例中所涉及到另一种负载调整方法所对应的整体性流程示意图;
图6为本发明实施例提供的一种负载调整装置的结构示意图;
图7为本发明实施例提供的另一种负载调整装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示例性示出了本发明实施例适用的系统架构图,该系统可以为ceph分布式文件系统,如图1所示,本发明实施例适用的系统架构100包括两种类型的子系统,如图1中输出的容器(Bucket)类型的子系统11和对象存储设备(Object Storage Device,OSD)类型的子系统12。
其中,Bucket类型的子系统11包括第一级别节点(如图1中示出的第一级别节点101、第一级别节点102、第一级别节点103、第一级别节点104)、第二级别节点(如图1中示出的第二级别节点111、第二级别节点112、第二级别节点113、第二级别节点114)……第N-1级别节点(如图1中示出的第N-1级别节点121、第N-1级别节点122)、第N级别节点(如图1中示出的第N级别节点131)。进一步地,上一级别的节点可以包括至少一个下一级别的节点,如图1中示出的第N级别节点131可以包括第N-1级别节点121和第N-1级别节点122;第二级别节点111可以包括第一级别节点101、第一级别节点102和第一级别节点103。
更进一步地,针对同一级别的节点,本发明实施例中可以设置一个管理节点来控制同一级别的多个节点,比如,图1中所示出的第一级别节点101、第一级别节点102、第一级别节点103和第一级别节点104可以由同一个管理节点(图1中未示出)来控制;或者,在其它可能的实施例中,可以设置多个个管理节点来控制同一级别的多个节点,比如,图1中所示出的第一级别节点101、第一级别节点102和第一级别节点103可以由一个管理节点(图1中未示出)来控制,而第一级别节点104和其它第一级别节点(图1中未示出)可以由另一个管理节点(图1中未示出)来控制,具体不做限定。
OSD类型的子系统12中可以包括每个第一级别节点所包括的多个存储节点,如图1中示出的第一级别节点101所包括的存储节点1011、存储节点1012、存储节点1013。
需要说明的是,针对上文所描述的Bucket类型的子系统11和OSD类型的子系统12,本发明实施例可以分别针对这两个类型的子系统进行负载调整方法。
基于图1所示的系统架构,图2a示例性示出了本发明实施例提供的一种负载调整方法所对应的流程示意图,所述方法应用于ceph系统中,所述ceph系统中包括管理节点和与所述管理节点连接的多个待调整节点,如图1中示出该方法第一级别节点101、第一级别节点102、第一级别节点103和第一级别节点104可以由同一个管理节点(图1中未示出)来控制。也就是说,该方法可用于对图1中示出的Bucket类型的子系统11进行负载调整。具体包括以下步骤:
步骤201,管理节点根据多个待调整节点的容量以及所述管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值。
步骤202,管理节点根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整。
本发明实施例中,在确定每个节点对应的权重值时,综合考虑了节点的容量和节点与管理节点之间的网络带宽,相比于现有技术中采用默认的参数值确定各个节点的权重值的方式而言,能够提高节点对应的权重值的合理性,从而能够更加合理地调整节点的负载,有效避免节点的负载与节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
具体来说,在执行步骤201之前,管理节点可以先获取多个待调整节点的容量,以及所述管理节点与所述多个待调整节点之间的多个网络带宽。其中,多个待调整节点为同一级别的多个节点,以图1所示出的系统架构为例,多个待调整节点可以包括第一级别节点,或者也可以包括第二级别节点,但不可以既包括第一级别节点又包括第二级别节点。
进一步地,待调整节点的容量可以为待调整节点所包括的多个存储节点的存储容量,如图1中所示出的系统架构,以第一级别节点101为多个待调整节点中的一个待调整节点为例,第一级别节点101的容量为存储节点1011对应的存储容量、存储节点1012对应的存储容量和存储节点1013对应的存储容量之和。
进一步地,网络带宽可以通过多种方式获取,比如,管理节点与待调整节点之间的网络带宽可以是采用网络检测工具检测得到的,比如通过Iperf检测工具检测得到;或者也可以是预先设置的,具体不做限定。
步骤201中,确定多个待调整节点对应的权重值的方式有多种,一种可能的实现方式为,针对于每个待调整节点,根据每个待调整节点的容量、多个网络带宽中的最大值和每个待调整节点的网络带宽,确定每个待调整节点对应的权重值。如此,通过节点的容量和节点与管理节点之间的网络带宽来确定每个节点对应的权重值,能够提高节点对应的权重值的合理性,从而能够更加合理地调整节点的负载,有效避免节点的负载与节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
进一步地,考虑到根据上述方式得到的每个待调整节点对应的权重值的范围可能较大,容易导致各个待调整节点对应的权重值之间的差异过大,本发明实施例中可以通过Sigmod函数进行收敛,如图2b所述,为Sigmod函数的示意图,采用Sigmod函数能够将变量映射到[0,1]这一区间内。Sigmod函数的具体表示方式如下:
Figure BDA0001599742950000081
其中,x为变量。
本发明实施例可以通过上文所描述的Sigmod函数对待调整节点对应的权重值,也就是说,每个待调整节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000082
其中,W为所述每个待调整节点对应的权重值;M为所述每个待调整节点的网络带宽;Mmax为所述多个网络带宽中的最大值;Y用于表示所述每个待调整节点的容量,以TB为单位。
举个例子,待调整节点的容量为0.8TB,待调整节点的网络带宽为400kb/s,多个网络带宽中的最大值为500kb/s,则根据上文所描述的内容可知,该待调整节点对应的权重值为:
Figure BDA0001599742950000083
在其它可能的实施例中,多个待调整节点对应的权重值也可以根据其它方式来确定,比如,可以根据待调整节点的容量对应的数值与待调整节点和管理节点之间的网络带宽对应的数值的乘积来确定待调整节点对应的权重值,本领域技术人员可以根据经验和实际情况自行选择确定待调整节点对应的权重值的方式,具体不做限定。
为了更清楚地介绍上述负载调整方法,下面结合图3,对本发明实施例中所涉及到的流程进行整体性说明。如图3所示,可以包括以下步骤:
步骤301,管理节点获取多个待调整节点的容量。
步骤302,管理节点采用Iperf检测与多个待调整节点之间的多个网络带宽。
步骤303,管理节点根据多个网络带宽,确定多个网络带宽中的最大值。
步骤304,管理节点根据多个待调整节点的网络带宽以及多个网络带宽中的最大值,确定多个待调整节点的网络带宽与多个网络带宽中的最大值之间的比值。
步骤305,管理节点根据多个待调整节点的容量以及多个待调整节点的网络带宽与多个网络带宽中的最大值之间的比值,确定多个待调整节点对应的权重值。
步骤306,管理节点根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整。
本发明实施例中,在确定每个节点对应的权重值时,综合考虑了节点的容量和节点与管理节点之间的网络带宽,相比于现有技术中采用默认的参数值确定各个节点的权重值的方式而言,能够提高节点对应的权重值的合理性,从而能够更加合理地调整节点的负载,有效避免节点的负载与节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
基于图1所示的系统架构,图4示例性示出了本发明实施例提供的另一种负载调整方法所对应的流程示意图,所述方法应用于ceph系统中,所述ceph系统中包括第一节点和所述第一节点包括的多个存储节点,如图1中示出第一级别节点101和第一级别节点101包括的存储节点1011、存储节点1012和存储节点1013;具体包括以下步骤:
步骤401,第一节点根据所述多个存储节点的IOPS,确定所述多个存储节点对应的权重值。
具体来说,在执行步骤401之前,第一节点可以先获取所述多个存储节点的每秒进行读写操作的次数IOPS。其中,IOPS可以通过多种方式获取,比如,可以是通过磁盘检测工具检测得到的,比如通过Fio检测工具检测得到;或者也可以是预先设置的,具体不做限定。
进一步地,确定存储节点对应的权重值的方式有多种,一种可能的实现方式为,根据每个存储节点的IOPS和多个存储节点的IOPS中的最大值,确定多个存储节点对应的权重值。如此,通过获取存储节点的IOPS来确定每个存储节点对应的权重值,能够根据存储节点的性能来调整存储节点的权重值,进而调整存储节点的负载,从而有效避免存储节点的负载与存储节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
进一步地,考虑到根据上述方式得到的多个存储节点对应的权重值的范围可能较大,容易导致各个存储节点对应的权重值之间的差异过大,本发明实施例中可以通过Sigmod函数进行收敛,从而能够将变量映射到[0,1]这一区间内。Sigmod函数的具体表示方式如下:
Figure BDA0001599742950000101
其中,x为变量。
本发明实施例可以通过上文所描述的Sigmod函数对存储节点对应的权重值,也就是说,多个存储节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000102
其中,wi为第i个存储节点对应的权重值;xi为第i个存储节点的IOPS;xmax为所述多个存储节点的IOPS的最大值;i为大于等于1的整数。
举个例子,存储节点1的IOPS为80,多个存储节点的IOPS的最大值为100,则根据上文所描述的内容可知,存储节点1对应的权重值为:
Figure BDA0001599742950000103
在其它可能的实施例中,多个存储节点对应的权重值也可以根据其它方式来确定,比如,可以直接根据存储节点的IOPS来确定存储节点对应的权重值,本领域技术人员可以根据经验和实际情况自行选择确定存储节点对应的权重值的方式,具体不做限定。
步骤402,第一节点根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整。
为了更清楚地介绍上述负载调整方法,下面结合图5,对本发明实施例中所涉及到的流程进行整体性说明。如图5所示,可以包括以下步骤:
步骤501,第一节点获取多个存储节点的IOPS。
步骤502,第一节点根据多个存储节点的IOPS,确定多个IOPS中的最大值。
步骤503,第一节点根据多个存储节点的IOPS以及多个IOPS中的最大值,确定多个存储节点的IOPS与多个IOPS中的最大值之间的比值。
步骤504,第一节点根据多个存储节点的IOPS与多个IOPS中的最大值之间的比值,确定多个存储节点对应的权重值。
步骤505,第一节点根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整。
本发明实施例中,通过获取存储节点的IOPS来确定每个存储节点对应的权重值,相比于现有技术中采用默认的参数值确定各个存储节点的权重值的方式而言,能够根据存储节点的性能来调整存储节点的权重值,进而调整存储节点的负载,从而有效避免存储节点的负载与存储节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
基于同样的发明构思,图6示例性示出了本发明实施例提供的一种负载调整装置的结构示意图,如图6所示,该装置包括处理单元601、调整单元602;其中,
处理单元601,用于根据多个待调整节点的容量以及所述管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值;
调整单元602,用于根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整。
可选地,所述处理单元601具体用于:
针对于每个待调整节点,根据所述每个待调整节点的容量、所述多个网络带宽中的最大值和所述每个待调整节点的网络带宽,确定所述每个待调整节点对应的权重值。
可选地,所述每个待调整节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000121
其中,W为所述每个待调整节点对应的权重值;Y为所述每个待调整节点的容量;M为所述每个待调整节点的网络带宽;Mmax为所述多个网络带宽中的最大值。
如此,ceph系统中的管理节点获取与该管理节点连接的多个待调整节点的容量以及该管理节点与多个待调整节点之间的多个网络带宽,并根据多个待调整节点的容量和多个网络带宽来确定多个待调整节点对应的权重值,从而可以根据多个待调整节点对应的权重值,对多个待调整节点的负载进行调整。本发明实施例中,在确定每个节点对应的权重值时,综合考虑了节点的容量和节点与管理节点之间的网络带宽,相比于现有技术中采用默认的参数值确定各个节点的权重值的方式而言,能够提高节点对应的权重值的合理性,从而能够更加合理地调整节点的负载,有效避免节点的负载与节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
基于同样的发明构思,图7示例性示出了本发明实施例提供的一种负载调整装置的结构示意图,如图7所示,该装置包括处理单元701、调整单元702;其中,
处理单元701,用于根据所述多个存储节点的IOPS,确定所述多个存储节点对应的权重值;
调整单元702,用于根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整。
可选地,所述多个存储节点对应的权重值的具体确定方式如下:
Figure BDA0001599742950000131
其中,wi为第i个存储节点对应的权重值;xi为第i个存储节点的IOPS;xmax为所述多个存储节点的IOPS的最大值;i为大于等于1的整数。
如此,ceph系统中的第一节点获取第一节点包括的多个存储节点的IOPS,并根据多个存储节点的IOPS来确定多个存储节点对应的权重值,从而可以根据多个存储节点对应的权重值,对多个存储节点的负载进行调整。本发明实施例中,通过获取存储节点的IOPS来确定每个存储节点对应的权重值,相比于现有技术中采用默认的参数值确定各个存储节点的权重值的方式而言,能够根据存储节点的性能来调整存储节点的权重值,进而调整存储节点的负载,从而有效避免存储节点的负载与存储节点的性能之间存在不匹配的问题,进而提高ceph系统的整体性能。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种负载调整方法,其特征在于,所述方法应用于ceph系统中,所述ceph系统中包括管理节点和与所述管理节点连接的多个待调整节点;所述方法包括:
所述管理节点根据多个待调整节点的容量以及所述管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值,其中,多个待调整节点为同一级别的多个节点;
所述管理节点根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整;
所述每个待调整节点对应的权重值的具体确定方式如下:
Figure FDA0003514618620000011
其中,W为所述每个待调整节点对应的权重值;Y为所述每个待调整节点的容量;M为所述每个待调整节点的网络带宽;Mmax为所述多个网络带宽中的最大值。
2.一种负载调整方法,其特征在于,所述方法应用于ceph系统中,所述ceph系统中包括第一节点和第一节点包括的多个存储节点,所述方法包括:
所述第一节点根据所述多个存储节点的每秒进行读写操作的次数IOPS,确定所述多个存储节点对应的权重值;
所述第一节点根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整;
所述多个存储节点对应的权重值的具体确定方式如下:
Figure FDA0003514618620000012
其中,wi为第i个存储节点对应的权重值;xi为第i个存储节点的IOPS;xmax为所述多个存储节点的IOPS的最大值;i为大于等于1的整数。
3.一种负载调整装置,其特征在于,所述装置应用于ceph系统,所述ceph系统中包括管理节点和与所述管理节点连接的多个待调整节点;所述装置包括:
处理单元,用于根据多个待调整节点的容量以及所述管理节点与所述多个待调整节点中的每个待调整节点之间的网络带宽,确定所述多个待调整节点对应的权重值,其中,多个待调整节点为同一级别的多个节点;
调整单元,用于根据所述多个待调整节点对应的权重值,对所述多个待调整节点的负载进行调整,其中,多个待调整节点为同一级别的多个节点;所述每个待调整节点对应的权重值的具体确定方式如下:
Figure FDA0003514618620000021
其中,W为所述每个待调整节点对应的权重值;Y为所述每个待调整节点的容量;M为所述每个待调整节点的网络带宽;Mmax为所述多个网络带宽中的最大值。
4.一种负载调整装置,其特征在于,所述装置应用于ceph系统,所述ceph系统中包括第一节点和第一节点包括的多个存储节点;所述装置包括:
处理单元,用于根据所述多个存储节点的IOPS,确定所述多个存储节点对应的权重值;
调整单元,用于根据所述多个存储节点对应的权重值,对所述多个存储节点的负载进行调整;所述多个存储节点对应的权重值的具体确定方式如下:
Figure FDA0003514618620000022
其中,wi为第i个存储节点对应的权重值;xi为第i个存储节点的IOPS;xmax为所述多个存储节点的IOPS的最大值;i为大于等于1的整数。
CN201810219337.XA 2018-03-16 2018-03-16 一种负载调整方法及装置 Active CN110278233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810219337.XA CN110278233B (zh) 2018-03-16 2018-03-16 一种负载调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810219337.XA CN110278233B (zh) 2018-03-16 2018-03-16 一种负载调整方法及装置

Publications (2)

Publication Number Publication Date
CN110278233A CN110278233A (zh) 2019-09-24
CN110278233B true CN110278233B (zh) 2022-06-03

Family

ID=67958907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810219337.XA Active CN110278233B (zh) 2018-03-16 2018-03-16 一种负载调整方法及装置

Country Status (1)

Country Link
CN (1) CN110278233B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596973A (zh) * 2020-11-17 2021-04-02 新华三大数据技术有限公司 一种数据对象存储方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139302A (zh) * 2013-02-07 2013-06-05 浙江大学 考虑负载均衡的实时副本调度方法
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法
CN104331253A (zh) * 2014-10-30 2015-02-04 浪潮电子信息产业股份有限公司 一种对象存储系统中对象迁移的计算方法
CN107729514A (zh) * 2017-10-25 2018-02-23 郑州云海信息技术有限公司 一种基于hadoop的副本放置节点确定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139302A (zh) * 2013-02-07 2013-06-05 浙江大学 考虑负载均衡的实时副本调度方法
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法
CN104331253A (zh) * 2014-10-30 2015-02-04 浪潮电子信息产业股份有限公司 一种对象存储系统中对象迁移的计算方法
CN107729514A (zh) * 2017-10-25 2018-02-23 郑州云海信息技术有限公司 一种基于hadoop的副本放置节点确定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FastDFS分布式文件系统负载均衡算法的改进研究;熊建波;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20150715;全文 *

Also Published As

Publication number Publication date
CN110278233A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN108009016B (zh) 一种资源负载均衡控制方法及集群调度器
CN110289994B (zh) 一种集群容量调整方法及装置
CN107483351B (zh) 一种限流方法及装置
US10712958B2 (en) Elastic storage volume type selection and optimization engine for public cloud environments
CN107317864B (zh) 一种存储设备的数据均衡方法及装置
CN103929366A (zh) 流量控制方法、装置及设备
CN112099345B (zh) 一种基于输入磁滞的模糊跟踪控制方法、系统及介质
CN114138194B (zh) 一种数据分布存储方法、装置、设备及介质
WO2023030230A1 (en) Using a machine learning module to determine a group of execution paths of program code and a computational resource allocation to use to execute the group of execution paths
CN107391039B (zh) 一种数据对象存储方法和装置
CN110278233B (zh) 一种负载调整方法及装置
CN114429195A (zh) 混合专家模型训练的性能优化方法和装置
CN109995818A (zh) 一种服务器负载均衡的方法及装置
CN105740076B (zh) 一种负载均衡方法及装置
CN118036661A (zh) 大语言模型混合精度量化方法、装置、电子设备及介质
CN107615183A (zh) 模型预测控制应用程序中相对于最佳性能值的优良性能的系统和方法
CN112637286A (zh) 网络架构调整方法、装置、系统和计算机可读存储介质
CN111506254B (zh) 分布式存储系统及其管理方法、装置
CN110378464B (zh) 人工智能平台的配置参数的管理方法和装置
CN104883394A (zh) 一种均衡服务器负载的方法和系统
CN108259583B (zh) 一种数据动态迁移方法及装置
CN103905341A (zh) 资源调度方法、装置及系统
CN114020218B (zh) 混合重复数据删除调度方法及系统
WO2021174515A1 (en) Systems and methods for data storage in the expansion of object-based storage systems
CN114089924A (zh) 区块链账本数据存储系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant