CN104731915B - 一种分布式存储系统中磁盘设备映射方法 - Google Patents

一种分布式存储系统中磁盘设备映射方法 Download PDF

Info

Publication number
CN104731915B
CN104731915B CN201510131148.3A CN201510131148A CN104731915B CN 104731915 B CN104731915 B CN 104731915B CN 201510131148 A CN201510131148 A CN 201510131148A CN 104731915 B CN104731915 B CN 104731915B
Authority
CN
China
Prior art keywords
disk
unique identification
memory system
distributed memory
virtual unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510131148.3A
Other languages
English (en)
Other versions
CN104731915A (zh
Inventor
童莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201510131148.3A priority Critical patent/CN104731915B/zh
Publication of CN104731915A publication Critical patent/CN104731915A/zh
Application granted granted Critical
Publication of CN104731915B publication Critical patent/CN104731915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及一种分布式存储系统中磁盘设备映射方法，该方法设置了虚拟设备唯一标识文件，通过该虚拟设备唯一标识实现真实磁盘与分布式存储系统中的虚拟设备间的映射关系，具体步骤包括：A、根据虚拟设备唯一标识文件将新增磁盘设备添加到分布式存储系统中的步骤；B、根据虚拟设备唯一标识文件开机挂载已添加到分布式存储系统中的磁盘设备的步骤；C、根据虚拟设备唯一标识文件对故障磁盘设备进行更换的步骤。与现有技术相比，本发明具有简单易实现、灵活、可靠等优点。

Description

一种分布式存储系统中磁盘设备映射方法
技术领域
本发明涉及一种云存储技术领域，尤其是涉及一种分布式存储系统中磁盘设备映射方法。
背景技术
副本是分布式存储系统中的常见概念：将一定大小的数据按照一定的冗余策略存储，以保障系统在局部故障情况下的可用性。对于冗余副本数目，常用三副本方案。分布式存储系统一般拥有自动恢复副本的功能，在局部存储设备故障离线时，一般有两种故障处理方案：
方案一、暂时隔离该故障设备，忽略该设备上的副本，等待故障设备修复或更换后，再将该设备上原有的数据补全，这种方案一般用在故障能在短时内解决的场景中；
方案二、是将故障设备从分布式存储系统中下线，系统自动发起副本修复，将该故障设备上的数据副本恢复到其他健康设备上，等故障设备修复或更换后，再将新设备重新加入到分布式存储系统中，这种方案一般用在故障无法在短时内解决的场景中。因为从系统中下线故障设备和再上线新设备，都会导致副本的重新分布，从而引发多个设备间的数据迁移，而往往这种数据迁移相对是比较耗时的，若故障发生频繁或一次故障较多设备的情况下，还可能会引发雪崩效应。如果故障能在短时内解决，不建议直接采用此方案。
一般分布式存储系统内部是做虚拟设备管理，不会直接管理真实磁盘设备，对外提供系统路径的配置部署方式。因此一般需要系统运维人员在分布式存储系统中配置好数据存储路径，再将真实磁盘挂载到该路径下的各个挂载点目录下。那么就需要系统运维人员来维护好真实磁盘设备与挂载目录之间的映射关系。常见挂载方案是直接使用磁盘设备名sda1、sdb1挂载，但是这样每次重启机器，会出现磁盘盘符乱序的问题，导致分布式存储系统内部管理的数据位置发生错乱。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种简单易实现、灵活可靠的分布式存储系统中磁盘设备映射方法。
本发明的目的可以通过以下技术方案来实现：
一种分布式存储系统中磁盘设备映射方法，该方法设置了虚拟设备唯一标识文件，通过该虚拟设备唯一标识实现真实磁盘与分布式存储系统中的虚拟设备间的映射关系，具体步骤包括：
A、根据虚拟设备唯一标识文件将新增磁盘设备添加到分布式存储系统中的步骤；
B、根据虚拟设备唯一标识文件开机挂载已添加到分布式存储系统中的磁盘设备的步骤；
C、根据虚拟设备唯一标识文件对故障磁盘设备进行更换的步骤。
所述根据虚拟设备唯一标识文件将新增磁盘设备添加到分布式存储系统中的步骤具体为：
A1)生成随机通用唯一识别符UUID；
A2)创建以UUID命名的挂载点目录，将新增磁盘设备挂载到该挂载点目录；
A3)在新增磁盘设备中创建一个以所述UUID命名的虚拟设备唯一标识文件；
A4)以所述UUID作为虚拟设备名称添加到分布式存储系统中。
所述根据虚拟设备唯一标识文件开机挂载已添加到分布式存储系统中的磁盘设备的步骤具体为：
B1)将磁盘设备先挂载到一个临时目录，读取虚拟设备唯一标识文件名称，获得UUID，然后解挂该磁盘设备；
B2)将磁盘设备挂载到对应与UUID同名的挂载点目录。
所述根据虚拟设备唯一标识文件对故障磁盘设备进行更换的步骤具体为：
C1)将故障磁盘设备从操作系统中解挂；
C2)将替换磁盘设备挂载到故障磁盘设备对应的UUID挂载点目录；
C3)在替换磁盘设备中创建一个以所述UUID命名的虚拟设备唯一标识文件。
所述虚拟设备唯一标识文件与真实设备中的存储数据存放位置相同。
与现有技术相比，本发明通过虚拟设备唯一标识实现真实磁盘与分布式存储系统中的虚拟设备间的映射关系，不仅可以很好地解决机器重启后磁盘挂载可能乱序而造成分布式存储系统内部管理的数据位置发生错乱的问题，而且满足在短时间及时更换损坏磁盘的场景中不会引发副本反复迁移的需求，具有以下优点：
(1)该方法简单易实现；
(2)通过唯一标识文件来联结分布式存储系统的虚拟设备和真实设备中的存储数据，不会受到硬件设备和OS的挂载方式限制，较为灵活；
(3)代表分布式存储系统的虚拟设备唯一标识文件和真实设备中的存储数据是存放在一起的，不需要再另外维护两者的映射关系表，维护简单，不容易弄错，还能对挂载位置是否正确一目了然地做匹配校验。
附图说明
图1为本发明的真实磁盘设备与分布式存储系统中的虚拟设备之间的映射关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种分布式存储系统中磁盘设备映射方法，该方法设置了虚拟设备唯一标识文件，通过该虚拟设备唯一标识实现真实磁盘与分布式存储系统中的虚拟设备间的映射关系，虚拟设备唯一标识文件与真实设备中的存储数据存放位置相同，如图1所示，具体包括：
A、根据虚拟设备唯一标识文件将新增磁盘设备添加到分布式存储系统中的步骤：
A1)生成随机通用唯一识别符UUID；
A2)创建以UUID命名的挂载点目录，将新增磁盘设备挂载(mount)到该挂载点目录；
A3)在新增磁盘设备中创建一个以所述UUID命名的虚拟设备唯一标识文件；
A4)以所述UUID作为虚拟设备名称添加到分布式存储系统中。
可通过上述步骤将图1中的磁盘A(对应UUID1)添加到分布式存储系统中。
B、根据虚拟设备唯一标识文件开机挂载已添加到分布式存储系统中的磁盘设备的步骤：
B1)将磁盘设备先挂载到一个临时目录，读取虚拟设备唯一标识文件名称，获得UUID，然后解挂该磁盘设备；
B2)将磁盘设备挂载到对应与UUID同名的挂载点目录。
可通过上述步骤将图1中的磁盘A开机挂载。
C、根据虚拟设备唯一标识文件对故障磁盘设备进行更换的步骤：
C1)将故障磁盘设备(磁盘B)从操作系统(OS)中解挂(umount)；
C2)将替换磁盘设备(磁盘C)挂载到故障磁盘设备对应的UUID挂载点目录；
C3)在替换磁盘设备中创建一个以所述UUID命名的虚拟设备唯一标识文件。
可通过上述步骤将图1中的磁盘B(对应UUID2)更换为磁盘C。
以下以分布式存储系统以openstack的swift为例进行说明：
配置：swift的数据存储路径为/sysvol/srv/node/。
场景一：添加磁盘/dev/sdc1到swift中时的处理步骤：
1、使用UUID生成算法，生成随机UUID：1baf531b-2324-418b-ba30-9978；
2、在/sysvol/srv/node/下创建以“1baf531b-2324-418b-ba30-9978”命名的挂载点目录，将磁盘/dev/sdc1mount到该目录/sysvol/srv/node/1baf531b-2324-418b-ba30-9978；
3、在磁盘/dev/sdc1所挂载的目录/sysvol/srv/node/1baf531b-2324-418b-ba30-9978下，创建虚拟设备唯一标识文件1baf531b-2324-418b-ba30-9978.mount.flag；
4、以“1baf531b-2324-418b-ba30-9978”作为虚拟设备名称添加设备到swift中。
场景二：开机挂载已添加到swift的磁盘/dev/sdc1时的处理步骤：
1、将磁盘/dev/sdc1先mount到一个临时目录/tmp/swift_tmp_mount_point，查找后缀为“.mount.flag”的虚拟设备唯一标识文件，获得文件名中的UUID(1baf531b-2324-418b-ba30-9978)，然后umount该磁盘/dev/sdc1；
2、再将该磁盘/dev/sdc1mount到目录/sysvol/srv/node/1baf531b-2324-418b-ba30-9978。
场景三：故障磁盘/dev/sdc1更换为新磁盘/dev/sdd1时的处理步骤：
1、将故障磁盘/dev/sdc1从系统中umount；
2、将新磁盘/dev/sdd1mount到目录/sysvol/srv/node/1baf531b-2324-418b-ba30-9978
3、在新磁盘/dev/sdd1所挂载的目录/sysvol/srv/node/1baf531b-2324-418b-ba30-9978下，创建虚拟设备唯一标识文件1baf531b-2324-418b-ba30-9978.mount.flag。

Claims (4)

1.一种分布式存储系统中磁盘设备映射方法，其特征在于，该方法设置了虚拟设备唯一标识文件，通过该虚拟设备唯一标识实现真实磁盘与分布式存储系统中的虚拟设备间的映射关系，具体步骤包括：
A、根据虚拟设备唯一标识文件将新增磁盘设备添加到分布式存储系统中的步骤，具体为：
A1)生成随机通用唯一识别符UUID；
A2)创建以UUID命名的挂载点目录，将新增磁盘设备挂载到该挂载点目录；
A3)在新增磁盘设备中创建一个以所述UUID命名的虚拟设备唯一标识文件；
A4)以所述UUID作为虚拟设备名称添加到分布式存储系统中；
B、根据虚拟设备唯一标识文件开机挂载已添加到分布式存储系统中的磁盘设备的步骤；
C、根据虚拟设备唯一标识文件对故障磁盘设备进行更换的步骤。
2.根据权利要求1所述的分布式存储系统中磁盘设备映射方法，其特征在于，所述根据虚拟设备唯一标识文件开机挂载已添加到分布式存储系统中的磁盘设备的步骤具体为：
B1)将磁盘设备先挂载到一个临时目录，读取虚拟设备唯一标识文件名称，获得UUID，然后解挂该磁盘设备；
B2)将磁盘设备挂载到对应与UUID同名的挂载点目录。
3.根据权利要求1所述的分布式存储系统中磁盘设备映射方法，其特征在于，所述根据虚拟设备唯一标识文件对故障磁盘设备进行更换的步骤具体为：
C1)将故障磁盘设备从操作系统中解挂；
C2)将替换磁盘设备挂载到故障磁盘设备对应的UUID挂载点目录；
C3)在替换磁盘设备中创建一个以所述UUID命名的虚拟设备唯一标识文件。
4.根据权利要求1-3任一项所述的分布式存储系统中磁盘设备映射方法，其特征在于，所述虚拟设备唯一标识文件与真实设备中的存储数据存放位置相同。
CN201510131148.3A 2015-03-24 2015-03-24 一种分布式存储系统中磁盘设备映射方法 Active CN104731915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510131148.3A CN104731915B (zh) 2015-03-24 2015-03-24 一种分布式存储系统中磁盘设备映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510131148.3A CN104731915B (zh) 2015-03-24 2015-03-24 一种分布式存储系统中磁盘设备映射方法

Publications (2)

Publication Number Publication Date
CN104731915A CN104731915A (zh) 2015-06-24
CN104731915B true CN104731915B (zh) 2019-03-22

Family

ID=53455802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510131148.3A Active CN104731915B (zh) 2015-03-24 2015-03-24 一种分布式存储系统中磁盘设备映射方法

Country Status (1)

Country Link
CN (1) CN104731915B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278882A (zh) * 2015-10-26 2016-01-27 创新科存储技术有限公司 一种分布式文件系统的磁盘管理方法
CN105573679B (zh) * 2015-12-18 2019-10-11 国云科技股份有限公司 一种适用于分布式存储系统存储池资源映射规则的方法
CN107870802B (zh) * 2016-09-27 2021-09-07 阿里巴巴集团控股有限公司 一种虚拟机迁移方法和装置
CN106528005B (zh) * 2017-01-12 2019-12-31 苏州浪潮智能科技有限公司 一种分布式存储系统的磁盘添加方法及装置
CN106886369A (zh) * 2017-01-22 2017-06-23 武汉噢易云计算股份有限公司 一种基于OpenStack云平台的云硬盘管理方法及系统
CN107707856B (zh) * 2017-09-04 2020-07-10 海信视像科技股份有限公司 一种多媒体节目录制的方法及装置
CN107741827A (zh) * 2017-09-08 2018-02-27 郑州云海信息技术有限公司 一种解决Linux磁盘乱序的方法及系统
CN109471590A (zh) * 2017-09-08 2019-03-15 阿里巴巴集团控股有限公司 一种挂载点管理方法、装置及存储节点
CN107861693A (zh) * 2017-11-27 2018-03-30 郑州云海信息技术有限公司 一种分布式块存储系统的osd进程部署方法、装置及介质
CN108121620A (zh) * 2017-12-22 2018-06-05 联想(北京)有限公司 分布式文件系统的修复方法及系统和服务器
CN108304249B (zh) * 2017-12-26 2021-08-24 广东睿江云计算股份有限公司 一种XenServer虚拟机快速更换光盘ISO文件的方法、系统
CN108153556B (zh) * 2018-01-23 2021-03-12 深圳市科力锐科技有限公司 信息自动修正方法、装置、用户设备、系统及存储介质
CN108549550A (zh) * 2018-04-13 2018-09-18 郑州云海信息技术有限公司 一种硬盘挂载方法及装置
CN109189342B (zh) * 2018-08-30 2021-07-16 郑州云海信息技术有限公司 一种磁盘挂载方法、装置、设备及存储介质
CN112394969B (zh) * 2019-08-14 2023-04-28 华为技术有限公司 一种补丁发布的方法、服务器及终端设备
CN113656208B (zh) * 2021-08-17 2023-06-16 北京神州新桥科技有限公司 分布式存储系统数据处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929561A (zh) * 2012-10-09 2013-02-13 曙光信息产业(北京)有限公司 一种hadoop集群搭建磁盘乱序的解决方法
CN103744708A (zh) * 2014-01-23 2014-04-23 浪潮电子信息产业股份有限公司 一种实现linux操作系统下固定磁盘设备名的方法
CN104391654A (zh) * 2014-11-06 2015-03-04 浪潮(北京)电子信息产业有限公司 一种共享磁盘管理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929561A (zh) * 2012-10-09 2013-02-13 曙光信息产业(北京)有限公司 一种hadoop集群搭建磁盘乱序的解决方法
CN103744708A (zh) * 2014-01-23 2014-04-23 浪潮电子信息产业股份有限公司 一种实现linux操作系统下固定磁盘设备名的方法
CN104391654A (zh) * 2014-11-06 2015-03-04 浪潮(北京)电子信息产业有限公司 一种共享磁盘管理方法及系统

Also Published As

Publication number Publication date
CN104731915A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
CN104731915B (zh) 一种分布式存储系统中磁盘设备映射方法
US9596143B2 (en) Node discovery and cluster formation for a secondary storage appliance
US9015527B2 (en) Data backup and recovery
US8615588B2 (en) Accelerate copying of virtual machine images
CN101689114B (zh) 用于集群软件实体的动态cli映射
CN108270726B (zh) 应用实例部署方法及装置
CN105515872B (zh) 配置信息的更新方法、装置及系统
CN103685608B (zh) 一种自动配置安全虚拟机ip地址的方法及装置
CN110633175B (zh) 基于微服务的多机房数据处理方法、电子设备及存储介质
CN105550229A (zh) 分布式存储系统数据修复的方法和装置
US9588542B2 (en) Rack server system and method for automatically managing rack configuration information
CN104516966A (zh) 一种数据库集群的高可用解决方法和装置
EP2817725B1 (en) Maintaining system firmware images remotely using a distribute file system protocol
CN105677506B (zh) 一种磁盘阵列备份方法、电子设备及磁盘阵列
CN104407945A (zh) 数据备份的方法、装置及系统
US8990608B1 (en) Failover of applications between isolated user space instances on a single instance of an operating system
US20180081773A1 (en) Copy-on-read process in disaster recovery
JP5446405B2 (ja) イベント検出制御方法及びシステム
CN105550230B (zh) 分布式存储系统节点故障的侦测方法和装置
JP2010504680A (ja) ネットワークエレメントにおける耐障害性媒体アクセス制御（ｍａｃ）アドレス割り当て
CN104506353A (zh) 一种鉴证管理方法、设备及系统
CN103019847A (zh) 对虚拟机数据进行迁移的方法及系统
CN109379223A (zh) 一种实现网卡自动化设置的方法和装置
CN106095618A (zh) 数据操作的方法和系统
CN112035062A (zh) 云计算的本地存储的迁移方法、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD.

Address before: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant before: Shanghai Eisoo Software Co.,Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant