CN109002264B - 一种基于系统扩容确定数据分布的方法和装置 - Google Patents

一种基于系统扩容确定数据分布的方法和装置 Download PDF

Info

Publication number
CN109002264B
CN109002264B CN201810820779.XA CN201810820779A CN109002264B CN 109002264 B CN109002264 B CN 109002264B CN 201810820779 A CN201810820779 A CN 201810820779A CN 109002264 B CN109002264 B CN 109002264B
Authority
CN
China
Prior art keywords
hard disk
homing
distribution
target
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810820779.XA
Other languages
English (en)
Other versions
CN109002264A (zh
Inventor
甄天桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810820779.XA priority Critical patent/CN109002264B/zh
Publication of CN109002264A publication Critical patent/CN109002264A/zh
Application granted granted Critical
Publication of CN109002264B publication Critical patent/CN109002264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于系统扩容确定数据分布的方法和装置,该方法包括:从系统扩容硬盘集合和归置组集合中分别任意选择一块硬盘和一个归置组为目标硬盘和目标归置组;根据目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;若目标硬盘和移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将目标归置组从分布在移除硬盘替换为分布在目标硬盘,并根据归置组集合中归置组数量,更新归置组集合,直至满足归置组分布需求,其他硬盘为分布硬盘集合中除移除硬盘之外的硬盘。可见,从系统扩容硬盘集合选择新硬盘代替旧硬盘分布归置组,保证每个归置组重新分布时能够选定新硬盘,避免选定旧硬盘无效数据迁移的情况。

Description

一种基于系统扩容确定数据分布的方法和装置
技术领域
本申请涉及数据处理分析技术领域,尤其涉及一种基于系统扩容确定数据分布的方法和装置。
背景技术
现阶段,分布式存储系统由多个存储池组成,每个存储池都有其对应的数据分布规则,例如,副本规则或者纠删规则。为了方便管理数据分布,每个存储池划分成多个虚拟单位—归置组(英文:Placement Group,简称:PG),其中,每个PG基于其所属存储池对应的副本规则或者纠删规则,按照特定的随机算法分布选定若干块硬盘。
由于数据存储需求等原因,常常需要对分布式存储系统进行扩容,增加新硬盘以减轻旧硬盘上PG分布数量,因此,系统扩容时就需要重新分布PG。现有技术中,PG重新分布的方式和原先PG分布采用相同的方式,均是基于其所属存储池对应的副本规则或者纠删规则,在所有的硬盘中按特定的随机算法进行选定若干块硬盘。
发明人经过研究发现,系统扩容时现有技术中PG重新分布的方式可能存在:某些PG在重新分布时仍然分布选定旧硬盘的问题,则需要将数据迁移到旧硬盘上,并不能实现系统扩容减轻旧硬盘上PG分布数量的目的,即,采用现有的PG重新分布的方式,容易出现PG重新分布不合理的问题,从而造成无效数据迁移,进而数据迁移的效率低下。
发明内容
本申请所要解决的技术问题是,提供一种基于系统扩容确定数据分布的方法和装置,保证每个归置组重新分布时能够选定系统扩容硬盘集合中的新硬盘,避免重新分布时选定旧硬盘出现无效数据迁移的情况,进而避免造成数据迁移的效率低下的问题。
第一方面,本申请实施例提供了一种基于系统扩容确定数据分布的方法,该方法包括:
从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘;
从归置组集合中任意选择一个归置组确定为目标归置组;
根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;
若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。
可选的,所述故障域分布条件包括节点故障域分布条件。
可选的,根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定为移除硬盘集合,包括:
获得所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量;
将所述归置组分布数量最多硬盘确定为所述移除硬盘集合。
可选的,所述根据所述归置组集合中归置组数量,更新所述归置组集合,包括:
若所述归置组集合中归置组数量大于1,从所述归置组集合中移除所述目标归置组;
若所述归置组集合中归置组数量为1,重置复原所述归置组集合。
可选的,所述归置组分布需求是指系统硬盘集合中各块硬盘归置组分布数量和所述系统扩容硬盘集合中各块硬盘归置组分布数量差值小于预设阈值。
第二方面,本申请实施例提供了一种基于系统扩容确定数据分布的装置,该装置包括:
第一确定单元,用于从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘;
第二确定单元,用于从归置组集合中任意选择一个归置组确定为目标归置组;
第三确定单元,用于根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;
替换更新单元,用于若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。
可选的,所述故障域分布条件包括节点故障域分布条件。
可选的,所述第三确定单元包括:
获得子单元,用于获得所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量;
确定子单元,用于将所述归置组分布数量最多硬盘确定为所述移除硬盘集合。
可选的,所述替换更新单元包括:
移除子单元,用于若所述归置组集合中归置组数量大于1,从所述归置组集合中移除所述目标归置组;
重置子单元,用于若所述归置组集合中归置组数量为1,重置复原所述归置组集合。
可选的,所述归置组分布需求是指系统硬盘集合中各块硬盘归置组分布数量和所述系统扩容硬盘集合中各块硬盘归置组分布数量差值小于预设阈值。
与现有技术相比,本申请至少具有以下优点:
采用本申请实施例的技术方案,首先,从系统扩容硬盘集合和归置组集合中分别任意选择一块硬盘为目标硬盘,任意选择一个归置组为目标归置组;然后,根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;最后,若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。由此可见,系统扩容归置组重新分布时,从系统扩容硬盘集合选择新硬盘代替旧硬盘分布归置组,保证每个归置组重新分布时能够选定系统扩容硬盘集合中的新硬盘,避免重新分布时选定旧硬盘出现无效数据迁移的情况,进而避免造成数据迁移的效率低下的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的系统框架示意图;
图2为本申请实施例提供的一种基于系统扩容确定数据分布的方法的流程示意图;
图3为本申请实施例提供的一种基于系统扩容确定数据分布的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
一般地,为了方便管理分布式存储系统中的数据分布,分布式存储系统的每个存储池划分成多个PG,每个PG基于其所属存储池对应的副本规则或者纠删规则,按照特定的随机算法分布选定若干块硬盘。例如,PG基于4+2的纠删规则,按照特定的随机算法分布选定6块硬盘来保存数据。分布式存储系统扩容的目的是增加新硬盘以减轻旧硬盘上PG分布数量,因此,系统扩容时就需要重新分布PG。
但是,发明人经过研究发现,现有的PG重新分布的方式也是基于其所属存储池对应的副本规则或者纠删规则,在所有的硬盘(新硬盘加旧硬盘)中按特定的随机算法进行选定若干块硬盘。该方式可能存在某些PG在重新分布时仍然分布选定旧硬盘的问题,则需要将数据迁移到旧硬盘上,并不能实现系统扩容减轻旧硬盘上PG分布数量的目的。例如,PG1重新分布时选到原先PG1未分布的旧硬盘3,PG1中的某些数据需要迁移到旧硬盘3上。这种方式容易出现PG重新分布不合理的问题,从而造成无效数据迁移,进而数据迁移的效率低下。
为了解决这一问题,在本申请实施例中,首先,从系统扩容硬盘集合和归置组集合中分别任意选择一块硬盘为目标硬盘,任意选择一个归置组为目标归置组;然后,根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;最后,若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。由此可见,系统扩容归置组重新分布时,从系统扩容硬盘集合选择新硬盘代替旧硬盘分布归置组,保证每个归置组重新分布时能够选定系统扩容硬盘集合中的新硬盘,避免重新分布时选定旧硬盘出现无效数据迁移的情况,进而避免造成数据迁移的效率低下的问题。
举例来说,本申请实施例的场景之一,可以是应用到如图1所示的场景中,该场景包括处理器101、系统扩容硬盘集合102和系统硬盘集合103。通过处理器101与系统扩容硬盘集合102进行交互,处理器101通过与系统硬盘集合103进行交互,系统扩容硬盘集合102与系统硬盘集合103进行交互,实施本申请实施例的各种实施方式。
可以理解的是,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。
下面结合附图,通过实施例来详细说明本申请实施例中基于系统扩容确定数据分布的方法和装置的具体实现方式。
示例性方法
参见图2,示出了本申请实施例中一种基于系统扩容确定数据分布的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤201:从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘。
可以理解的是,由于现有的PG重新分布的方式可能存在某些PG在重新分布时仍然选定旧硬盘,需要将数据迁移到旧硬盘上的问题,并不能实现系统扩容以减轻旧硬盘上PG分布数量的目的。因此,在本实施例中,区分系统原本存在的旧硬盘和系统扩容获得的新硬盘,将所有旧硬盘归为系统硬盘集合,将所有新硬盘归为系统扩容硬盘集合。基于此,在PG重新分布时,应该先确定一块硬盘,可以从系统扩容硬盘集合中选择一个新硬盘,即,执行步骤201,以便后续确定该新硬盘是否可以分担某个旧硬盘上的某个PG分布。
例如,假设某系统扩容硬盘集合包括新硬盘1、新硬盘2、……和新硬盘M,系统扩容硬盘集合共包括M个新硬盘,比如M为10,从该系统扩容硬盘集合中任意选择(随机选择)新硬盘2确定为目标硬盘。
步骤202:从归置组集合中任意选择一个归置组确定为目标归置组。
可以理解的是,在本实施例中,系统扩容PG重新分布即是需要重新确定PG分布选定新硬盘,应该先确定一个PG,因此,在PG重新分布时,可以从归置组集合中选择一个归置组,以便后续确定该归置组是否可以分布在某个新硬盘,即,执行步骤201。
例如,假设上述系统扩容硬盘集合对应的系统硬盘集合对应的某归置组集合包括归置组1(PG1)、归置组2(PG2)、……、归置组N(PGN)共N个归置组,比如N为1000,从该归置组集合中任意选择(随机选择)归置组15(PG15)确定为目标归置组。
需要说明的是,在本实施例中,并不限定所述步骤201和所述步骤202的执行顺序。既可以先执行所述步骤201,再执行所述步骤202;也可以先执行所述步骤202,再执行所述步骤201;还可以同时执行所述步骤201和所述步骤202。
步骤203:根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合。
可以理解的是,由于系统扩容前每个归置组分布选定若干块硬盘,即,系统扩容前目标归置组分布选定若干块硬盘,归为目标归置组对应的分布硬盘集合,在步骤201-步骤202确定目标硬盘和目标归置组之后,针对目标归置组对应的分布硬盘集合,首先需要确定目标硬盘可以分担该分布硬盘集合中哪些硬盘上的目标归置组的分布,这些硬盘归为移除硬盘集合,即执行步骤203。其中,移除硬盘集合是考虑该分布硬盘集合上各块硬盘归置组分布数量确定得到的。
需要说明的是,考虑到对于一个硬盘而言,其归置组分布数量越多,其负担就越大,应该最先减轻上述分布硬盘集合中归置组分布数量最多的硬盘的负担。则对于确定移除硬盘集合,首先应该明确分布硬盘集合中各块硬盘归置组分布数量,然后,选择归置组分布数量最多的硬盘形成集合。因此,在本实施例的一些实施方式中,根据所述步骤203例如可以包括以下步骤:
步骤A:获得所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量;
步骤B:将所述归置组分布数量最多硬盘确定为所述移除硬盘集合。
例如,归置组15(PG15)为目标归置组,其对应的分布硬盘集合为旧硬盘1、旧硬盘2、旧硬盘3、旧硬盘4、旧硬盘5和旧硬盘6,分别获得所述旧硬盘1、旧硬盘2、旧硬盘3、旧硬盘4、旧硬盘5和旧硬盘6归置组分布数量,将其中归置组分布数量最多旧硬盘确定为移除硬盘集合。
还需要说明的是,目标归置组对应的分布硬盘集合中归置组分布数量最多硬盘可能是一个,也可能是多个。比如,旧硬盘1的归置组分布数量为100,旧硬盘2的归置组分布数量为100,旧硬盘3的归置组分布数量为100,旧硬盘4的归置组分布数量为100,旧硬盘5的归置组分布数量为98和旧硬盘6的归置组分布数量为98,则移除硬盘集合为旧硬盘1、旧硬盘2、旧硬盘3和旧硬盘4。
步骤204:若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。
需要说明的是,在分布式存储系统中常见的故障域分布条件可以是节点故障域分布条件,即目标硬盘和移除硬盘集合中一个移除硬盘对应的其他硬盘均来自不同节点,这样才能最大程度的保障数据存储分布式存储。
例如,目标硬盘为新硬盘2,移除硬盘集合为旧硬盘1、旧硬盘2、旧硬盘3和旧硬盘4,目标归置组为PG15,判断新硬盘2与PG15对应的分布硬盘集合中除旧硬盘1(旧硬盘2、旧硬盘3或旧硬盘4)之外的其它硬盘是否满足节点故障域分布条件,只要其中一次判断满足,比如,新硬盘2与PG15对应的分布硬盘集合中除旧硬盘3之外的其它硬盘满足节点故障域分布条件,将PG15从分布在旧硬盘3替换为分布在新硬盘2。
需要说明的是,当将目标归置组从分布在移除硬盘替换为分布在目标硬盘后,目标归置组已经是重新分布过一次,在下一次从系统扩容硬盘集合中任意选择一块硬盘确定为下一个目标硬盘时,应该从原归置组集合中除目标归置组之外的其他归置组任意选择一个归置组确定为下一个目标归置组,也就是说,每次替换完成后需要从归置组集合中移除目标归置组,以完成归置组集合的更新。但是需要注意的是,归置组集合只剩一个归置组作为目标归置组,并完成后续替换后,相当于每个归置组均完成一次重新分布,此时不再是从归置组集合中移除目标归置组,而是采用重置复原所述归置组集合的方式,以完成归置组集合的更新。因此,在本实施例的一些实施方式中,所述步骤204中的根据所述归置组集合中归置组数量,更新所述归置组集合的步骤例如可以包括以下步骤:
步骤C:若所述归置组集合中归置组数量大于1,从所述归置组集合中移除所述目标归置组;
步骤D:若所述归置组集合中归置组数量为1,重置复原所述归置组集合。
需要说明的是,系统扩容最终理想是希望最大程度上减轻旧硬盘上PG分布数量,只有最终系统硬盘集合和系统扩容硬盘集合中各个硬盘归置组分布数量应该相差不大时,这样系统扩容后每个硬盘的数据存储负担才较为理想。因此,在本实施例的一些实施方式中,所述归置组分布需求是指系统硬盘集合中各块硬盘归置组分布数量和所述系统扩容硬盘集合中各块硬盘归置组分布数量差值小于预设阈值。
通过本实施例提供的各种实施方式,首先,从系统扩容硬盘集合和归置组集合中分别任意选择一块硬盘为目标硬盘,任意选择一个归置组为目标归置组;然后,根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;最后,若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。由此可见,系统扩容归置组重新分布时,从系统扩容硬盘集合选择新硬盘代替旧硬盘分布归置组,保证每个归置组重新分布时能够选定系统扩容硬盘集合中的新硬盘,避免重新分布时选定旧硬盘出现无效数据迁移的情况,进而避免造成数据迁移的效率低下的问题。
示例性设备
参见图3,示出了本申请实施例中一种基于系统扩容确定数据分布的装置的结构示意图。在本实施例中,所述装置例如具体可以包括:
第一确定单元301,用于从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘;
第二确定单元302,用于从归置组集合中任意选择一个归置组确定为目标归置组;
第三确定单元303,用于根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;
替换更新单元304,用于若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。
可选的,所述故障域分布条件包括节点故障域分布条件。
可选的,所述第三确定单元303包括:
获得子单元,用于获得所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量;
确定子单元,用于将所述归置组分布数量最多硬盘确定为所述移除硬盘集合。
可选的,所述替换更新单元304包括:
移除子单元,用于若所述归置组集合中归置组数量大于1,从所述归置组集合中移除所述目标归置组;
重置子单元,用于若所述归置组集合中归置组数量为1,重置复原所述归置组集合。
可选的,所述归置组分布需求是指系统硬盘集合中各块硬盘归置组分布数量和所述系统扩容硬盘集合中各块硬盘归置组分布数量差值小于预设阈值。
通过本实施例提供的各种实施方式,第一确定单元用于从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘;第二确定单元用于从归置组集合中任意选择一个归置组确定为目标归置组;第三确定单元用于根据所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量,确定移除硬盘集合;替换更新单元用于若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。由此可见,系统扩容归置组重新分布时,从系统扩容硬盘集合选择新硬盘代替旧硬盘分布归置组,保证每个归置组重新分布时能够选定系统扩容硬盘集合中的新硬盘,避免重新分布时选定旧硬盘出现无效数据迁移的情况,进而避免造成数据迁移的效率低下的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请。任何熟悉本领域的技术人员,在不脱离本申请技术方案范围情况下,都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本申请技术方案保护的范围内。

Claims (8)

1.一种基于系统扩容确定数据分布的方法,其特征在于,包括:
从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘;
从归置组集合中任意选择一个归置组确定为目标归置组;
获得所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量;将所述归置组分布数量最多硬盘确定为移除硬盘集合;
若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。
2.根据权利要求1所述的方法,其特征在于,所述故障域分布条件包括节点故障域分布条件。
3.根据权利要求1所述的方法,其特征在于,所述根据所述归置组集合中归置组数量,更新所述归置组集合,包括:
若所述归置组集合中归置组数量大于1,从所述归置组集合中移除所述目标归置组;
若所述归置组集合中归置组数量为1,重置复原所述归置组集合。
4.根据权利要求1所述的方法,其特征在于,所述归置组分布需求是指系统硬盘集合中各块硬盘归置组分布数量和所述系统扩容硬盘集合中各块硬盘归置组分布数量差值小于预设阈值。
5.一种基于系统扩容确定数据分布的装置,其特征在于,包括:
第一确定单元,用于从系统扩容硬盘集合中任意选择一块硬盘确定为目标硬盘;
第二确定单元,用于从归置组集合中任意选择一个归置组确定为目标归置组;
第三确定单元,用于获得所述目标归置组对应的分布硬盘集合中各块硬盘归置组分布数量;将所述归置组分布数量最多硬盘确定为移除硬盘集合;
替换更新单元,用于若所述目标硬盘和所述移除硬盘集合中一个移除硬盘对应的其他硬盘满足故障域分布条件,将所述目标归置组从分布在所述移除硬盘替换为分布在所述目标硬盘,并根据所述归置组集合中归置组数量,更新所述归置组集合,直至满足归置组分布需求,所述其他硬盘为所述分布硬盘集合中除所述移除硬盘之外的硬盘。
6.根据权利要求5所述的装置,其特征在于,所述故障域分布条件包括节点故障域分布条件。
7.根据权利要求5所述的装置,其特征在于,所述替换更新单元包括:
移除子单元,用于若所述归置组集合中归置组数量大于1,从所述归置组集合中移除所述目标归置组;
重置子单元,用于若所述归置组集合中归置组数量为1,重置复原所述归置组集合。
8.根据权利要求5所述的装置,其特征在于,所述归置组分布需求是指系统硬盘集合中各块硬盘归置组分布数量和所述系统扩容硬盘集合中各块硬盘归置组分布数量差值小于预设阈值。
CN201810820779.XA 2018-07-24 2018-07-24 一种基于系统扩容确定数据分布的方法和装置 Active CN109002264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810820779.XA CN109002264B (zh) 2018-07-24 2018-07-24 一种基于系统扩容确定数据分布的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810820779.XA CN109002264B (zh) 2018-07-24 2018-07-24 一种基于系统扩容确定数据分布的方法和装置

Publications (2)

Publication Number Publication Date
CN109002264A CN109002264A (zh) 2018-12-14
CN109002264B true CN109002264B (zh) 2021-06-29

Family

ID=64597242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810820779.XA Active CN109002264B (zh) 2018-07-24 2018-07-24 一种基于系统扩容确定数据分布的方法和装置

Country Status (1)

Country Link
CN (1) CN109002264B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752483B (zh) * 2020-05-28 2022-07-22 苏州浪潮智能科技有限公司 一种存储集群中存储介质变更减少重构数据的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754756A (en) * 1995-03-13 1998-05-19 Hitachi, Ltd. Disk array system having adjustable parity group sizes based on storage unit capacities
CN103778255A (zh) * 2014-02-25 2014-05-07 深圳市中博科创信息技术有限公司 一种分布式文件系统及其数据分布方法
CN106503237A (zh) * 2016-11-04 2017-03-15 郑州云海信息技术有限公司 一种pg成员选择方法、装置、存储池和分布式文件系统
CN107391039A (zh) * 2017-07-27 2017-11-24 郑州云海信息技术有限公司 一种数据对象存储方法和装置
CN108255413A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种存储系统扩容后数据迁移的方法、存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754756A (en) * 1995-03-13 1998-05-19 Hitachi, Ltd. Disk array system having adjustable parity group sizes based on storage unit capacities
CN103778255A (zh) * 2014-02-25 2014-05-07 深圳市中博科创信息技术有限公司 一种分布式文件系统及其数据分布方法
CN106503237A (zh) * 2016-11-04 2017-03-15 郑州云海信息技术有限公司 一种pg成员选择方法、装置、存储池和分布式文件系统
CN108255413A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种存储系统扩容后数据迁移的方法、存储系统
CN107391039A (zh) * 2017-07-27 2017-11-24 郑州云海信息技术有限公司 一种数据对象存储方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ceph分布式文件系统的研究及性能测试;李翔;《中国优秀硕士学位论文全文数据库(电子期刊)》;20141031;I137-56 *
The Study of Mixed Storage Scheme of Private Cloud;Zuoyang Qu etal.;《International Conference on Network, Communication, Computer Engineering (NCCE 2018)》;20180526;第255-261页 *
负载均衡的大数据分布存储方法研究与实现;贺昱洁;《中国优秀硕士学位论文全文数据库(电子期刊)》;20160430;I138-913 *

Also Published As

Publication number Publication date
CN109002264A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN111858130B (zh) 用于拆分盘集的方法、设备和计算机程序产品
CN111031096B (zh) 一种基于拟态防御的分布式存储系统构建方法
WO2017143957A1 (zh) 一种数据重分布的方法及装置
CN109002259B (zh) 一种归置组所属硬盘分配方法、系统、装置及存储介质
CN110188084B (zh) 一种分布式文件存储系统及文件存储方法
CN107169009B (zh) 一种分布式存储系统的数据分裂方法及装置
CN108769264B (zh) 一种区块链分域方法
CN107026900B (zh) 一种拍摄任务分配方法及装置
CN108958991B (zh) 集群节点故障业务快速恢复方法、装置、设备及存储介质
CN109992206B (zh) 数据分布存储方法及相关装置
CN104702691B (zh) 分布式负载均衡方法和装置
CN106453549A (zh) 一种分布式软件版本发布方法及系统
CN111125065A (zh) 可视化数据同步方法、系统、终端和计算机可读存储介质
CN109002264B (zh) 一种基于系统扩容确定数据分布的方法和装置
CN108646987B (zh) 一种文件卷的管理方法、装置、存储介质及终端
CN114416286A (zh) 一种ps节点的资源配额处理方法和装置
CN104346210B (zh) 基于时空相关的虚拟机在线迁移方法及系统
CN110928481A (zh) 分布式深度神经网络及其参数的存储方法
CN108200185A (zh) 一种实现负载均衡的方法及装置
WO2020133962A1 (zh) 基于区块链的数据存储方法、相关设备及存储介质
CN106557581B (zh) 一种基于多层次框架及超边迁移的超图划分方法
CN105897828A (zh) 节点缓存机制的确定方法及系统
CN112015708B (zh) 一种分布式存储系统数据均衡的方法和相关装置
CN106599006A (zh) 一种数据恢复方法和装置
CN104580324A (zh) 一种数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant