CN110727392B - 一种云存储数据单元调度方法和装置 - Google Patents
一种云存储数据单元调度方法和装置 Download PDFInfo
- Publication number
- CN110727392B CN110727392B CN201810786209.3A CN201810786209A CN110727392B CN 110727392 B CN110727392 B CN 110727392B CN 201810786209 A CN201810786209 A CN 201810786209A CN 110727392 B CN110727392 B CN 110727392B
- Authority
- CN
- China
- Prior art keywords
- physical machine
- physical
- disk
- determining
- data units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000015654 memory Effects 0.000 description 16
- 230000005856 abnormality Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提出一种云存储数据单元调度方法和装置,所述方法包括:采集云存储系统中每个物理机的负荷参数;根据所述每个物理机的反馈信息和采集的所述每个物理机的负荷参数,确定候选物理机;对候选物理机的负荷参数进行评估,确定目标物理机,将磁盘当前的数据单元集合调度至所述目标物理机,本申请确定出一种分组方案实现降维,减少调度的计算量,同时也不会影响到用户的使用,也不会在节点故障的情况影响SLA的方案;本申请的评估方案具有自适应的效果,在集群规模变化,以及集群内在运行的推进,能够调整权重,给出最适合的目标物理机。针对集群内的扰动和噪声,可以有效的抑制,使得整个系统具有很强的鲁棒性。
Description
技术领域
本发明涉及信息处理技术领域,具体涉及一种云存储数据单元调度方法和装置。
背景技术
在云计算环境中,一个数据中心的计算资源通过虚拟化技术切分为大量VM(Virtual Machine,虚拟机),每个VM都有至少一个块设备,也就是盘,每个盘是有独立的存储集群池来提供的,不同的集群具有不同的能力,即具有不同的IOPS(Input/OutputOperations Per Second,每秒进行读写操作的次数),吞吐,延时,大小,成本等。在新型的云存储环境下,用户可以根据自己VM里面部署的不同应用选择不同的能力的盘,如有的是开发与测试业务、小型负载数据库或系统盘,有的是I/O密集型应用、中大型关系数据库或NoSQL(非关系型数据库),场景不同选择的盘也不一样。
现有技术中,在资源选择的过程中,为了保证请求的响应效率,达到响应时间、负载均衡的平衡,根据存储对象的容量和存储节点的信息,选择目标存储节点,现有技术相当于是SISO(simple input simple output,单输入单输出),在新型的云存储环境下,数据中心内部都由一个个集群组成,存在若干个计算集群,还有若干个存储集群,每个计算集群服务器上部署着虚拟化平台、业务管理监控系统等;每一个存储集群服务器部署着底层存储系统,存储集群是分布式的,每个盘由若干的存储数据单元即segment(数据单元)组成,每个存储集群又有若干个物理机组成,而对于每一个segment都要分配一个物理机,这个过程是一个MIMO过程,即输入一组segment,输出一组物理机列表,而MIMO过程相比于SISO过程,复杂度的增加不是线性的,而是指数级的。现有技术没有涉及到多输入多输出的场景,都是基于单输入单输出的场景,而单输入单输出场景的方式是不可能复用在多输入多输出的场景下。
发明内容
本申请提供一种云存储数据单元调度方法和装置,针对于MIMO场景进行自适应数据单元调度。
采取的技术方案如下:
第一方面,本发明提供一种云存储数据单元调度方法,包括:
采集云存储系统中每个物理机的负荷参数;
根据所述每个物理机的反馈信息和采集的所述每个物理机的负荷参数,确定候选物理机;
对候选物理机的负荷参数进行评估,确定目标物理机,将磁盘当前的数据单元集合调度至所述目标物理机。
优选地,所述方法应用于多输入多输出系统。
优选地,所述方法还包括:
对磁盘的数据单元进行分组,确定多个数据单元集合。
优选地,对磁盘的数据单元进行分组,确定多个数据单元集合包括:
将所述磁盘的所有数据单元平均分为M个数据单元集合,所述7≤M≤14。
优选地,所述数据单元集合的数量M为2*N-1和7中的较大值,并且为2*N-1和14中的较小值,其中,N为云存储系统中物理机的数量。
优选地,负荷参数包括以下至少之一:
物理机负载,物理机剩余数据单元数量,物理机剩余数据单元的IOPS,输入和输出网络数据。
优选地,确定候选物理机包括:
根据所述每个物理机的反馈信息,确定出现读写异常的物理机;
根据所述物理机的负荷参数,确定断开连接的物理机;
将出现读写异常的物理机和断开连接的物理机排除,将其余的物理机作为候选物理机。
优选地,将其余的物理机作为候选物理机之前还包括:
将已经分配给磁盘当前的数据单元集合的物理机排除。
优选地,根据所述物理机的负荷参数,确定断开连接的物理机包括:
周期性向各个物理机的进程发送RPC请求;
接收每个物理机进程响应的负荷参数值;
确定多次没有响应RPC请求的物理机为断连状态。
优选地,对候选物理机的负荷参数进行评估包括:
对每个候选物理机的全部负荷参数进行加权求和,获得每个候选物理机的评估结果,其中,每个负荷参数的权重根据将磁盘的数据单元集合调度至所述目标物理机后的服务等级协议达标率进行确定。
优选地,确定目标物理机包括:
根据评估结果的排序,确定目标物理机。
优选地,对每个候选物理机的全部负荷参数进行加权求和包括:
对每个候选物理机的物理机负载、物理机剩余数据单元数量、物理机剩余数据单元的IOPS和输入和输出网络数据按照如下公式进行计算:
Y=f(A1*I+A2*L+A3*Ne+A4*C)
其中,Y为评估结果,A1、A2、A3和A4分别为物理机剩余数据单元的IOPS的权重、物理机负载的权重、输入和输出网络数据的权重和物理机剩余数据单元数量的权重,A1+A2+A3+A4=1。
优选地,输入和输出网络数据的权重A3取值范围为0-0.3,物理机剩余数据单元数量的权重A4取值范围为0.3-0.5。
第二方面,本发明提供一种云存储数据单元调度装置,包括:
物理机数据采集模块,设置为采集云存储系统中每个物理机的负荷参数;
物理机选择模块,设置为根据所述每个物理机的反馈信息和采集的所述每个物理机的负荷参数,确定候选物理机;
磁盘调度模块,设置为对候选物理机的负荷参数进行评估,确定目标物理机,将磁盘当前的数据单元集合调度至所述目标物理机。
优选地,所述的装置还包括:
磁盘调度分组模块,设置为对磁盘的数据单元进行分组,确定多个数据单元集合。
优选地,所述磁盘调度分组模块对磁盘的数据单元进行分组,确定多个数据单元集合包括:
将所述磁盘的所有数据单元平均分为M个数据单元集合,所述7≤M≤14。
优选地,所述物理机选择模块确定候选物理机包括:
根据所述每个物理机的反馈信息,确定出现读写异常的物理机;
根据所述物理机的负荷参数,确定断开连接的物理机;
将出现读写异常的物理机和断开连接的物理机排除,将其余的物理机作为候选物理机。
优选地,所述物理机选择模块将其余的物理机作为候选物理机之前还包括:
将已经分配给磁盘当前的数据单元集合的物理机排除。
优选地,所述物理机选择模块根据所述物理机的负荷参数,确定断开连接的物理机包括:
周期性向各个物理机的进程发送RPC请求;
接收每个物理机进程响应的负荷参数值;
确定多次没有响应RPC请求的物理机为断连状态。
优选地,所述磁盘调度模块对候选物理机的负荷参数进行评估包括:
对每个候选物理机的全部负荷参数进行加权求和,获得每个候选物理机的评估结果,其中,每个负荷参数的权重根据将磁盘的数据单元集合调度至所述目标物理机后的服务等级协议达标率进行确定。
优选地,所述磁盘调度模块确定目标物理机包括:
根据评估结果的排序,确定目标物理机。
本申请和现有技术相比,具有如下有益效果:
本申请针对于MIMO场景,在海量的segment分组方案,确定出一种分组方案实现降维,减少调度的计算量,同时也不会影响到用户的使用,也不会在节点故障的情况影响SLA的方案;本申请的评估方案具有自适应的效果,在集群规模变化,以及集群内在运行的推进,能够调整权重,给出最适合的目标物理机。针对集群内的扰动和噪声,可以有效的抑制,使得整个系统具有很强的鲁棒性。
附图说明
图1为本发明实施例的多输入多输出云存储数据单元调度方法的流程图;
图2为本发明实施例的确定候选物理机的流程图;
图3为本发明实施例的多输入多输出云存储数据单元调度装置的结构示意图。
具体实施方式
下面将结合附图及实施例对本申请的技术方案进行更详细的说明。
需要说明的是,如果不冲突,本申请实施例以及实施例中的各个特征可以相互结合,均在本申请的保护范围之内。另外,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在一种配置中,进行多输入多输出云存储数据单元调度的计算设备可包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存(memory)。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。内存可能包括一个或多个模块。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM),快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
实施例一
在云计算环境中,VM至少会有一个系统盘,存放操作系统,可能有多个数据盘,数据盘存放对应的业务数据,每个系统盘或者数据盘会被划分成若干的segment,每个segment被调度到一个物理机上面,每个segment对接底层的分布式文件系统,用户的磁盘IO,从VM里面出来会根据IO的offset(偏移量)找到对应的segment,将IO发给对应segment所在的物理机,然后再发给底层的分布式文件系统。
如图1所示,本发明实施例本为了实现新型MIMO云存储segment自适应调度,提供一种云存储数据单元调度方法,包括:
S101、采集云存储系统中每个物理机的负荷参数;
S102、根据所述每个物理机的反馈信息和采集的所述每个物理机的负荷参数,确定候选物理机;
S103、对候选物理机的负荷参数进行评估,确定目标物理机,将磁盘当前的数据单元集合调度至所述目标物理机。
本实施例步骤S101中,本实施例会对云存储系统各个物理机的负荷参数做定时同步采集,其中,负荷参数包括:物理机负载,物理机剩余数据单元数量,物理机剩余数据单元的IOPS,输入和输出网络数据等。
本实施例中,所述方法之前还包括:
对磁盘的数据单元进行分组,确定多个数据单元集合。
云计算环境下,本实施例通过对磁盘的数据单元进行分组,实现磁盘到segment粒度的划分,每个磁盘会被划分成若干个数据单元集合,而这些数据单元集合又包括若干个segment,本实施例通过对磁盘的数据单元进行分组能够对调度的segment进行降维,减少调度的计算量,同时也不会影响到用户的使用,也不会在节点故障的情况影响SLA(Service-Level Agreement,服务等级协议)。
本实施例中,对磁盘的数据单元进行分组,确定多个数据单元集合包括:
将所述磁盘的所有数据单元平均分为M个数据单元集合,所述7≤M≤14。
本实施例中,在对磁盘进行分组时,既要考虑到性能、迁移成本,还有故障的影响范围,对磁盘进行分组时,分为7至14组。
如图2所示,本实施例中,步骤S102中确定候选物理机包括:
S1021、根据所述每个物理机的反馈信息,确定出现读写异常的物理机;
S1022、根据所述物理机的负荷参数,确定断开连接的物理机;
S1023、将出现读写异常的物理机和断开连接的物理机排除,将其余的物理机作为候选物理机。
本实施例对VM侧的反馈信息进行判断,对于出现读写异常的segment的物理机,由物理机客户端及时发送反馈信息,这样可以及时知道有异常节点,因此,会比根据负荷参数判断某个物理机出现异常更为及时发现问题。
本实施例中,将其余的物理机作为候选物理机之前还包括:
将已经分配给磁盘当前的数据单元集合的物理机排除。
一种实现方式,可以应用在再次进行磁盘调度分配的时候,这时在确定候选物理机时,需要将步骤S1021确定的出现读写异常的物理机和步骤S1022确定的断开连接的物理机,从云存储系统中剔除掉,将其余的物理机作为候选物理机。
另一种实现方式,可以应用在创建磁盘的时候,这时在确定候选物理机时,需要将步骤S1021确定的出现读写异常的物理机、步骤S1022确定的断开连接的物理机和已经分配给磁盘当前的数据单元集合的物理机,从云存储系统中剔除掉,将其余的物理机作为候选物理机。
本实施例中,步骤S1022根据所述物理机的负荷参数,确定断开连接的物理机包括:
周期性向各个物理机的进程发送RPC请求;
接收每个物理机进程响应的负荷参数值;
确定多次没有响应RPC请求的物理机为断连状态。
本实施例中,对物理机的负荷参数做定时同步采集,包括:物理机负载,物理机剩余数据单元数量,物理机剩余数据单元的IOPS,输入和输出网络数据等一系列的数据会定时的得到同步。主要流程为:每隔一段时间,发送RPC请求给各个物理机的进程,进程将自己内存中存放的值上报给RPC请求返回,对于多次没有响应请求的物理机会设置为断连状态。
本实施例中,对候选物理机的负荷参数进行评估包括:
对每个候选物理机的全部负荷参数进行加权求和,获得每个候选物理机的评估结果,其中,每个负荷参数的权重根据将磁盘的数据单元集合调度至所述目标物理机后的服务等级协议达标率进行确定。
本实施例中,确定目标物理机包括:
根据评估结果的排序,确定目标物理机。
本实施例中,一般确定评估结果最大的物理机作为目标物理机。
实施例二
如图3所示,本实施例提供一种云存储数据单元调度装置,包括:
物理机数据采集模块100,设置为采集云存储系统中每个物理机的负荷参数;
物理机选择模块200,设置为根据所述每个物理机的反馈信息和采集的所述每个物理机的负荷参数,确定候选物理机;
磁盘调度模块300,设置为对候选物理机的负荷参数进行评估,确定目标物理机,将磁盘当前的数据单元集合调度至所述目标物理机。
本实施例中,所述的装置还包括:
磁盘调度分组模块400,设置为对磁盘的数据单元进行分组,确定多个数据单元集合。
所述磁盘调度分组模块400对磁盘的数据单元进行分组,确定多个数据单元集合包括:
将所述磁盘的所有数据单元平均分为M个数据单元集合,所述7≤M≤14。
所述物理机选择模块200确定候选物理机包括:
根据所述每个物理机的反馈信息,确定出现读写异常的物理机;
根据所述物理机的负荷参数,确定断开连接的物理机;
将出现读写异常的物理机和断开连接的物理机排除,将其余的物理机作为候选物理机。
所述物理机选择模块200将其余的物理机作为候选物理机之前还包括:
将已经分配给磁盘当前的数据单元集合的物理机排除。
所述物理机选择模块200根据所述物理机的负荷参数,确定断开连接的物理机包括:
周期性向各个物理机的进程发送RPC请求;
接收每个物理机进程响应的负荷参数值;
确定多次没有响应RPC请求的物理机为断连状态。
所述磁盘调度模块300对候选物理机的负荷参数进行评估包括:
对每个候选物理机的全部负荷参数进行加权求和,获得每个候选物理机的评估结果,其中,每个负荷参数的权重根据将磁盘的数据单元集合调度至所述目标物理机后的服务等级协议达标率进行确定。
所述磁盘调度模块300确定目标物理机包括:
根据评估结果的排序,确定目标物理机。
实施例三
本实施例说明磁盘调度分组模块400进行分组的过程:
磁盘调度分组模块400是云存储系统调度的预处理模块,由于在分布式云存储系统中,单盘的大小理论上是没有上限的,取决于集群的规模,当盘的大小到一定容量的时候,分成的segment数量大于物理机的数量,同时由于单个segment的不可用会导致整个磁盘的不可用,所以如果不分组,整个集群微小的抖动,单机的异常都会对VM的磁盘IO带来很大的影响,因此磁调度分组模块400会对磁盘所有的segent进行分组,由于N个segment的排列组合分组的组数非常多,基于输入输出寻求最优解计算量非常大,对磁盘调度模块300的计算负载消耗很大,本实施例基于实验数据和集群规模,以及磁盘性能数据拟合出一个公式,即M=2*N-1<7?7:2*N-1,M=2*N-1<14?2*N-1:14,其中,M为2*N-1和7中的较大值,并且为2*N-1和14中的较小值,N是集群网络物理机(磁盘)的数量,即在集群很小的情况,本身单点故障概率就非常小,为了发挥多segment的带来的性能优势,M选择一个经验值7,当集群规模增大的时候,也需要不断提高,大到一定程度的时候,M取上限是经验值14,根据实验可知,如果超过这个值,基于SLA的定义,性能已经在SLA的线上波动,所以最大取14。最后基于M将磁盘所有的segment取模分组,分为M个数据单元集合。
实施例四
本实施例说明磁盘调度模块300进行调度的过程:
磁盘调度模块300是云存储系统调度的核心处理模块,对于磁盘调度分组模块400中已经分好的数据单元集合,分配特定的物理机,对于有T个物理机的集群来说,一个M组的数据单元集合,会有T^M种选择,分配的时候分为两种情况,一种是创建磁盘时候的分配,一种再次调度时候的分配。
对于第一种情况:
首先根据每个物理机的反馈信息去除掉发现已经异常的物理机;
根据物理机的负荷参数过滤已经异常,断连的物理机;
根据物理机数据采集模块100采集的数据,对每一组的数据单元集合,选择候选物理机,有一个原则,将已经分配给这个数据单元集合的物理机从候选中剔除掉,对于候选物理机要走一整个评分流程,这个评分流程包含多个参数,例如下面这些,I=iops,L=load,Ne=Net(Nin,Nout),C=segment count:
Y=f(A1*I+A2*L+A3*Ne+A4*C),其中Y是评估结果,A1..A4是权重,A1+A2+A3+A4=1。
本实施例中,输入和输出网络数据的权重A3取值范围为0-0.3,物理机剩余数据单元数量的权重A4取值范围为0.3-0.5。
对这些负荷参数加权,权重的确定,是通过基于在大量的实验基础上,在不同的典型规模的集群上面创建大量磁盘和节点异常演练,最后根据所有的磁盘的SLA的达标率来判断调度参数是否符合预期,最后得出的值保存到磁盘调度模块300中,随着磁盘的创建,集群的运行,磁盘调度模块300能够自适应的调节各个指标的权重,合理为数据单元集合分配物理机。最后对于经过评分流程排序的物理机选择目标物理机调度。
对于第二种情况:
前面两步是一样的,第三步在评分流程的时候,为了防止物理机间微小的差距,导致数据单元集合的二次调度,而带来磁盘的不可用,会将当前数据单元集合所在物理机的权重动态调整提高,防止带来的抖动问题。
虽然本发明所揭示的实施方式如上,但其内容只是为了便于理解本发明的技术方案而采用的实施方式,并非用于限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭示的核心技术方案的前提下,可以在实施的形式和细节上做任何修改与变化,但本发明所限定的保护范围,仍须以所附的权利要求书限定的范围为准。
Claims (15)
1.一种云存储数据单元调度方法,其特征在于,应用于多输入多输出系统,包括:
对磁盘的数据单元进行分组,确定多个数据单元集合;
周期性采集云存储系统中每个物理机的负荷参数;
根据所述每个物理机的反馈信息,确定出现读写异常的物理机;根据所述物理机的负荷参数,确定断开连接的物理机;将出现读写异常的物理机和断开连接的物理机排除,将其余的物理机作为候选物理机;
对候选物理机的负荷参数进行评估,确定目标物理机,将所述磁盘当前的数据单元集合调度至所述目标物理机。
2.如权利要求1所述的方法,其特征在于:对磁盘的数据单元进行分组,确定多个数据单元集合包括:
将所述磁盘的所有数据单元平均分为M个数据单元集合,其中7≤M≤14。
3.如权利要求1所述的方法,其特征在于:负荷参数包括以下至少之一:
物理机负载,物理机剩余数据单元数量,物理机剩余数据单元的IOPS,输入和输出网络数据。
4.如权利要求1所述的方法,其特征在于:将其余的物理机作为候选物理机之前还包括:
将已经分配给磁盘当前的数据单元集合的物理机排除。
5.如权利要求1所述的方法,其特征在于:根据所述物理机的负荷参数,确定断开连接的物理机包括:
周期性向各个物理机的进程发送RPC请求;
接收每个物理机进程响应的负荷参数值;
确定多次没有响应RPC请求的物理机为断连状态。
6.如权利要求1所述的方法,其特征在于:对候选物理机的负荷参数进行评估包括:
对每个候选物理机的全部负荷参数进行加权求和,获得每个候选物理机的评估结果,其中,每个负荷参数的权重根据将磁盘的数据单元集合调度至所述目标物理机后的服务等级协议达标率进行确定。
7.如权利要求6所述的方法,其特征在于:确定目标物理机包括:
根据评估结果的排序,确定目标物理机。
8.如权利要求6所述的方法,其特征在于:对每个候选物理机的全部负荷参数进行加权求和包括:
对每个候选物理机的物理机负载、物理机剩余数据单元数量、物理机剩余数据单元的IOPS和输入和输出网络数据按照如下公式进行计算:
Y=f(A1*I + A2*L+ A3*Ne + A4*C)
其中,Y为评估结果,I表示物理机剩余数据单元的IOPS,L表示物理机负载, Ne表示输入和输出网络数据,C表示物理机剩余数据单元数量,A1 、A2 、A3和A4分别为物理机剩余数据单元的IOPS的权重、物理机负载的权重、输入和输出网络数据的权重和物理机剩余数据单元数量的权重,A1+A2+A3+A4=1。
9.如权利要求8所述的方法,其特征在于:输入和输出网络数据的权重 A3取值范围为0- 0.3,物理机剩余数据单元数量的权重 A4取值范围为0.3 - 0.5。
10.一种云存储数据单元调度装置,其特征在于,应用于多输入多输出系统,包括:
磁盘调度分组模块,设置为对磁盘的数据单元进行分组,确定多个数据单元集合;
物理机数据采集模块,设置为周期性采集云存储系统中每个物理机的负荷参数;
物理机选择模块,设置为根据所述每个物理机的反馈信息,确定出现读写异常的物理机;根据所述物理机的负荷参数,确定断开连接的物理机;将出现读写异常的物理机和断开连接的物理机排除,将其余的物理机作为候选物理机;
磁盘调度模块,设置为对候选物理机的负荷参数进行评估,确定目标物理机,将所述磁盘当前的数据单元集合调度至所述目标物理机。
11.如权利要求10所述的装置,其特征在于:所述磁盘调度分组模块对磁盘的数据单元进行分组,确定多个数据单元集合包括:
将所述磁盘的所有数据单元平均分为M个数据单元集合,其中7≤M≤14。
12.如权利要求10所述的装置,其特征在于:所述物理机选择模块将其余的物理机作为候选物理机之前还包括:
将已经分配给磁盘当前的数据单元集合的物理机排除。
13.如权利要求10所述的装置,其特征在于:所述物理机选择模块根据所述物理机的负荷参数,确定断开连接的物理机包括:
周期性向各个物理机的进程发送RPC请求;
接收每个物理机进程响应的负荷参数值;
确定多次没有响应RPC请求的物理机为断连状态。
14.如权利要求10所述的装置,其特征在于:所述磁盘调度模块对候选物理机的负荷参数进行评估包括:
对每个候选物理机的全部负荷参数进行加权求和,获得每个候选物理机的评估结果,其中,每个负荷参数的权重根据将磁盘的数据单元集合调度至所述目标物理机后的服务等级协议达标率进行确定。
15.如权利要求14所述的装置,其特征在于:所述磁盘调度模块确定目标物理机包括:
根据评估结果的排序,确定目标物理机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810786209.3A CN110727392B (zh) | 2018-07-17 | 2018-07-17 | 一种云存储数据单元调度方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810786209.3A CN110727392B (zh) | 2018-07-17 | 2018-07-17 | 一种云存储数据单元调度方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110727392A CN110727392A (zh) | 2020-01-24 |
CN110727392B true CN110727392B (zh) | 2023-07-14 |
Family
ID=69217562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810786209.3A Active CN110727392B (zh) | 2018-07-17 | 2018-07-17 | 一种云存储数据单元调度方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110727392B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103970612A (zh) * | 2014-05-07 | 2014-08-06 | 田文洪 | 一种基于虚拟机预分割的负载均衡方法和装置 |
CN104102523A (zh) * | 2013-04-03 | 2014-10-15 | 华为技术有限公司 | 迁移虚拟机的方法和资源调度平台 |
WO2014192132A1 (ja) * | 2013-05-31 | 2014-12-04 | 株式会社日立製作所 | 負荷分散装置及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011110026A1 (zh) * | 2010-10-29 | 2011-09-15 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
CN102207891B (zh) * | 2011-06-10 | 2013-03-06 | 浙江大学 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
CN104111800B (zh) * | 2013-04-18 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种虚拟磁盘的io口调度方法及其调度装置 |
CN107967164B (zh) * | 2016-10-19 | 2021-08-13 | 阿里巴巴集团控股有限公司 | 一种虚拟机热迁移的方法及系统 |
-
2018
- 2018-07-17 CN CN201810786209.3A patent/CN110727392B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102523A (zh) * | 2013-04-03 | 2014-10-15 | 华为技术有限公司 | 迁移虚拟机的方法和资源调度平台 |
WO2014192132A1 (ja) * | 2013-05-31 | 2014-12-04 | 株式会社日立製作所 | 負荷分散装置及び方法 |
CN103970612A (zh) * | 2014-05-07 | 2014-08-06 | 田文洪 | 一种基于虚拟机预分割的负载均衡方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110727392A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2791813B1 (en) | Load balancing in cluster storage systems | |
CN103246592B (zh) | 一种监控采集系统及方法 | |
KR20220058844A (ko) | 리소스 스케줄링 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품 | |
CN107479950B (zh) | 一种虚拟机调度方法、设备及系统 | |
CN107122126B (zh) | 数据的迁移方法、装置和系统 | |
CN106713396B (zh) | 服务器调度方法和系统 | |
CN103516807A (zh) | 一种云计算平台服务器负载均衡系统及方法 | |
CN110287245A (zh) | 用于分布式etl任务调度执行的方法及系统 | |
CN109189578B (zh) | 存储服务器分配方法、装置、管理服务器以及存储系统 | |
CN110058940B (zh) | 一种多线程环境下的数据处理方法及装置 | |
CN103077197A (zh) | 一种数据存储方法装置 | |
US10664458B2 (en) | Database rebalancing method | |
CN106445677A (zh) | 负载均衡方法及设备 | |
CN111045808A (zh) | 一种分布式网络任务调度方法及装置 | |
CN105915626B (zh) | 一种面向云存储的数据副本初始放置方法 | |
CN110209693A (zh) | 高并发数据查询方法、装置、系统、设备及可读存储介质 | |
CN105915630A (zh) | 跨网络数据传输系统及负载均衡调度方法 | |
CN110727392B (zh) | 一种云存储数据单元调度方法和装置 | |
CN107273413B (zh) | 中间表的创建方法、查询方法及相关装置 | |
CN108664322A (zh) | 数据处理方法及系统 | |
CN115952005B (zh) | 一种元数据负载均衡方法、装置、设备及可读存储介质 | |
CN104899072B (zh) | 基于虚拟化平台的细粒度资源调度系统及方法 | |
CN115442262B (zh) | 一种资源评估方法、装置、电子设备及存储介质 | |
CN107566341A (zh) | 一种基于联邦分布式文件存储系统的数据持久化存储方法及系统 | |
CN115994029A (zh) | 容器资源调度方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231207 Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province Patentee after: Aliyun Computing Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Patentee before: ALIBABA GROUP HOLDING Ltd. |