CN109284270A - 一种分布式文件系统存储模块的部署优化方法及装置 - Google Patents
一种分布式文件系统存储模块的部署优化方法及装置 Download PDFInfo
- Publication number
- CN109284270A CN109284270A CN201811354052.3A CN201811354052A CN109284270A CN 109284270 A CN109284270 A CN 109284270A CN 201811354052 A CN201811354052 A CN 201811354052A CN 109284270 A CN109284270 A CN 109284270A
- Authority
- CN
- China
- Prior art keywords
- subregion
- file system
- distributed file
- memory module
- physical disks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种分布式文件系统存储模块的部署优化方法及装置,该方法包括:首先检查物理盘是否具有分区,若无,则进行格式化,若有,则判断该分区是否有挂载,若无,则直接进行格式化,若有,则在卸载后,再进行格式化;接着,检查分布式文件系统的配置文件及相关目录并进行清理,再根据部署模式,重新划分分区,并在重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。可见,本申请在对物理盘进行重新划分分区之前,先将物理盘中待划分分区头部的预设空间全部写零,从而可以保证在进行部署时,能够不触发udev规则,防止出现分布式文件系统重新部署失败的现象。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种分布式文件系统存储模块的部署优化方法及装置。
背景技术
随着科学技术的快速发展,尤其是移动互联网、社交网络、电子商务的飞速发展,人类在生产和生活中产生的数据呈现指数型增长,导致数据处理量也与日俱增,随着需求的不断变大,云计算技术应用而生。
在云计算技术架构中,由于是需要支持海量数据的计算,传统集中式的架构已经不能适应云计算的发展要求,为了适应云计算要求,目前均采用的分布式的架构。在分布式架构中,分布式文件系统包括多个存储节点,每个存储节点包括多个存储模块。目前在对分布式文件系统进行重新部署时,各个物理盘的分区都还保留,在部署系统时,需要先将物理盘进行快速格式化(快速格式化只是将分区表进行清理,物理盘中的数据其实没有删除),然后重新格式化并继续剩余的部署步骤,若是数据分区和jounal分区在一个物理盘上,没什么大问题;但若是一个SSD固态硬盘上分成多个分区,分别作为不同存储单元的journal分区,这样就可能存在一些问题。比如:每当SSD划分一个新的分区作为journal时,操作系统识别到了新分区,会触发udev规则,可能会引发一系列的连锁反应,导致对应数据分区挂载临时目录。而且一个SSD固态硬盘修改一个分区的元数据属性,会导致同一个SSD固态硬盘的其他分区触发udev规则。这样可能在对数据分区所在的物理盘进行格式化时,因为物理盘有分区正在挂载正式目录或临时目录,导致格式化失败,进而导致分布式文件系统重新部署失败。
因此,如何在对分布式文件系统进行重新部署时,不触发udev规则,以防止出现分布式文件系统重新部署失败的现象,已成为亟待解决的问题。
发明内容
为解决上述问题,本申请提供了一种分布式文件系统存储模块的部署优化方法及装置,具体技术方案如下:
第一方面,本申请提供了一种分布式文件系统存储模块的部署优化方法,所述方法包括:
检查分布式文件系统存储模块中节点的物理盘是否具有分区;
若检测出所述分布式文件系统的节点的物理盘无分区,则对所述物理盘直接进行格式化;
若检测出所述分布式文件系统的节点的物理盘有分区,则判断所述分区是否具有挂载;
若判断出所述分区无挂载,则对所述分区直接进行格式化;
若判断出所述分区有挂载,则对所述分区进行卸载,以便在卸载完成后,对所述分区进行格式化;
检查所述分布式文件系统的配置文件以及相关目录,并对其进行清理;
根据分布式文件系统存储模块的部署模式,重新划分分区,并在所述重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。
在一种可选的实现方式中,所述分区包括journal分区和数据分区。
在一种可选的实现方式中,所述方法还包括:
预先检查所述分布式文件系统存储模块中节点的物理盘类型;所述物理盘类型包含HDD和SSD中的至少一种;
根据所述物理盘类型,对所述物理盘进行划分分区的操作。
在一种可选的实现方式中,所述根据所述物理盘类型,对所述物理盘进行划分分区的操作,包括:
若所述物理盘类型均为HDD,则将每个HDD分成两个分区,一个分区作为journal分区,另一个分区作为数据分区;
或者,若所述物理盘包含了HDD和SSD,则仍可以将数据分区和journal分区放在一个盘上;
或者,若所述物理盘包含了HDD和SSD,则还可以将所述SSD分成多个分区作为journal分区,将所述HDD作为数据分区,且所述journal分区的数量与数据分区相同。
在一种可选的实现方式中,所述待划分分区头部的预设空间为1MB。
第二方面,本申请提供了一种分布式文件系统存储模块的部署优化装置,所述装置包括:
第一检查单元,用于检查分布式文件系统存储模块中节点的物理盘是否具有分区;
第一格式化单元,用于若检测出所述分布式文件系统的节点的物理盘无分区,则对所述物理盘直接进行格式化;
判断单元,用于若检测出所述分布式文件系统的节点的物理盘有分区,则判断所述分区是否具有挂载;
第二格式化单元,用于若判断出所述分区无挂载,则对所述分区直接进行格式化;
第三格式化单元,用于若判断出所述分区有挂载,则对所述分区进行卸载,以便在卸载完成后,对所述分区进行格式化;
清理单元,用于检查所述分布式文件系统的配置文件以及相关目录,并对其进行清理;
写零单元,用于根据分布式文件系统存储模块的部署模式,重新划分分区,并在所述重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。
在一种可选的实现方式中,所述分区包括journal分区和数据分区。
在一种可选的实现方式中,所述装置还包括:
第二检查单元,预先检查所述分布式文件系统存储模块中节点的物理盘类型;所述物理盘类型包含HDD和SSD中的至少一种;
划分单元,用于根据所述物理盘类型,对所述物理盘进行划分分区的操作。
在一种可选的实现方式中,所述划分单元包括:
第一划分子单元,用于若所述物理盘类型均为HDD,则将每个HDD分成两个分区,一个分区作为journal分区,另一个分区作为数据分区;
或者,第二划分子单元,用于若所述物理盘包含了HDD和SSD,则仍可以将数据分区和journal分区放在一个盘上;
或者,第三划分子单元,用于若所述物理盘包含了HDD和SSD,则还可以将所述SSD分成多个分区作为journal分区,将所述HDD作为数据分区,且所述journal分区的数量与数据分区相同。
在一种可选的实现方式中,所述待划分分区头部的预设空间为1MB。
在本申请提供的分布式文件系统存储模块的部署优化方法中,首先检查分布式文件系统存储模块中节点的物理盘是否具有分区,若无分区,则对物理盘直接进行格式化,若存在分区,则判断该分区是否具有挂载,若无挂载,则对该分区直接进行格式化,若有挂载,则对该分区进行卸载,以便在卸载完成后,对该分区进行格式化;接着,检查分布式文件系统的配置文件以及相关目录,并对其进行清理,进而可以根据分布式文件系统存储模块的部署模式,重新划分分区,并在重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。可见,本申请在对物理盘进行重新划分分区之前,先将物理盘中待划分分区头部的预设空间全部写零,即,将记录的识别码UUID、分区类型等信息清理掉,从而可以保证在进行部署时,能够不触发udev规则,进而防止出现分布式文件系统重新部署失败的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式文件系统存储模块的部署优化方法的流程示意图;
图2为本申请实施例提供的分布式文件系统存储模块中节点的物理盘分区及存储内容的示意图;
图3为本申请实施例提供的对物理盘进行划分分区操作的流程示意图;
图4为本申请实施例提供的对物理盘进行划分分区的效果示意图;
图5为本申请实施例提供的一种分布式文件系统存储模块的部署优化装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解本申请提供的技术方案,下面先对本申请技术方案的研究背景进行简单说明。
众所周知,正如背景技术中的描述,随着计算机产生的数据量越来越大、数据维度越来越多,而数据也越来越受到重视,导致计算量急剧增长且弹性变大,随着需求的不断变大,云计算技术应用而生。在云计算技术架构中,由于是需要支持海量数据的计算,传统集中式的架构已经不能适应云计算的发展要求,为了适应云计算要求,目前均采用的分布式的架构。在分布式架构中,分布式文件系统包括多个存储节点,每个存储节点包括多个存储模块。
但目前在对分布式文件系统进行重新部署时,各个物理盘的分区都还保留,在部署系统时,需要先将物理盘进行快速格式化(快速格式化只是将分区表进行清理,物理盘中的数据其实没有删除),然后重新格式化并继续剩余的部署步骤,若是数据分区和jounal分区在一个物理盘上,则没什么大问题;但若是一个SSD固态硬盘上分成多个分区,分别作为不同存储单元的journal分区,这样就可能存在一些问题。比如,每当SSD划分一个新的分区作为journal时,操作系统识别到了新分区,会触发udev规则,可能会引发一系列的连锁反应,导致对应数据分区挂载临时目录。而且一个SSD固态硬盘修改一个分区的元数据属性,会导致同一个SSD固态硬盘的其他分区触发udev规则。这样可能在对数据分区所在的物理盘进行格式化时,因为物理盘有分区正在挂载正式目录或临时目录,导致格式化失败,进而导致分布式文件系统重新部署失败。所以,如何在对分布式文件系统进行重新部署时,不触发udev规则,以防止出现分布式文件系统重新部署失败的现象,已成为亟待解决的问题。
基于此,本申请提出了一种分布式文件系统存储模块的部署优化方法及装置,用于在对分布式文件系统进行重新部署时,不触发udev规则,以防止出现分布式文件系统重新部署失败的现象。
以下将结合附图对本申请实施例提供的分布式文件系统存储模块的部署优化方法进行详细说明。参见图1,其示出了本申请实施例提供的一种分布式文件系统存储模块的部署优化方法的流程图,本实施例可以包括以下步骤:
S101:检查分布式文件系统存储模块中节点的物理盘是否具有分区。
在本实施例中,为了在对分布式文件系统进行重新部署时,不触发udev规则,以防止出现分布式文件系统重新部署失败的现象,首先,可以检查分布式文件系统存储模块中节点的物理盘是否具有分区,其中,物理盘指的是实际存储的硬盘,如STAT硬盘、SAS硬盘、SSD固态硬盘等。。
一种可选的实现方式是,物理盘分区可以包括journal分区和数据分区。
在本实现方式中,journal分区指的是物理盘中存储日志的分区,就是数据库中常见的WAL(Write Ahead Log)的实现,也就是在数据写入到数据库之前,先写入到日志journal,再将日志记录变更到存储器中。从而保证事务日志的原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)等,其中,主要提供了事务的一致性和原子性。系统在数据访问所提供的写操作在落到物理盘时实际上会产生多个写操作,为了保证用户层面的写操作的原子性,避免文件系统在执行多个操作时发生意外造成中间状态而无法追溯或者回滚,需要journal分区作为日志,使得存储单元进程在非正常退出后再启动可以从journal分区中恢复之前正在执行的操作。除此之外,journal分区可以提供更短的写操作耗时,因为用户IO操作只要经过Journal存储后都可以立即回复给客户端,无需等待操作正常落盘。对于大量随机小写来说,这实际上能大大提高单个存储节点的处理能力。同时为了提高系统的整体性能,一般使用性能较高的SSD固态硬盘作为journal分区,而且一个SSD可以同时作为多个存储单元的journal分区。
相应的,数据分区指的是物理盘中存储单元实际存储数据的分区。
同时,Journal分区和数据分区,彼此都以某种形式记录了对方的通用唯一识别码(Universally Unique Identifier,简称UUID),这样可以知道哪个journal分区和哪个数据分区是同属于一个存储单元的。其中,UUID是一种软件建构的标准,亦为开放软件基金会组织在分布式计算环境领域的一部分。其目的是让分布式系统中的所有元素,都能有唯一的辨识信息,而不需要通过中央控制端来做辨识信息的指定。基于此,每个人都可以创建不与其它人冲突的UUID,而无需考虑名称重复问题。
并且,分区本身的信息,都是记录在分区本身的头部中,而不是系统盘上。比如分区的类型、分区的UUID、分区的名字以及分区的大小等,均是记录在分区的头部。如图2所示,其示出了本申请实施例提供的分布式文件系统存储模块中节点的物理盘分区及存储内容的示意图。
S102:若检测出分布式文件系统的节点的物理盘无分区,则对物理盘直接进行格式化。
在本实施例中,如通过步骤S101检测出分布式文件系统的节点的物理盘无分区,则可以对该物理盘直接进行格式化,进而可继续执行后续步骤S106。
S103:若检测出分布式文件系统的节点的物理盘有分区,则判断分区是否具有挂载。
在本实施例中,如通过步骤S101检测出分布式文件系统的节点的物理盘有分区,则需要进一步判断出该分区是否有挂载,如果是,则可以继续执行后续步骤S105,;如果否,则可以继续执行后续步骤S104。
S104:若判断出分区无挂载,则对分区直接进行格式化,进而可继续执行后续步骤S106。
S105:若判断出所述分区有挂载,则对分区进行卸载,以便在卸载完成后,子对分区进行格式化,进而可继续执行后续步骤S106。
S106:检查分布式文件系统的配置文件以及相关目录,并对其进行清理。
在本实施例中,若通过上述步骤完成对物理盘的格式化后,进一步可以对分布式文件系统进行重新部署之前,检查分布式文件系统的配置文件以及相关目录等痕迹,并对其进行清理,进而可以继续执行后续步骤S107。
S107:根据分布式文件系统存储模块的部署模式,重新划分分区,并在重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤。
在本实施例中,在进行重新部署之前,往往会根据节点中的物理盘类型,决定具体的部署模式是将journal分区和数据分区放在一个物理盘上,还是放在不同的物理盘上。具体实现过程包括下述步骤S301-S302:
S301:预先检查分布式文件系统存储模块中节点的物理盘类型;其中,物理盘类型包含HDD和SSD中的至少一种。
S302:根据物理盘类型,对物理盘进行划分分区的操作。
其中,在进行重新部署之前,首先检测分布式文件系统存储模块中节点的物理盘类型,该类型可以包括HDD和SSD中的至少一种,一般会将性能较高的SSD固态硬盘作为journal分区,将HDD作为数据分区。然后可以根据物理盘类型(HDD和/或SSD),对物理盘进行划分分区,具体的划分方式如下:
若物理盘类型均为HDD,则将每个HDD分成两个分区,一个分区作为journal分区,另一个分区作为数据分区。例如,如图4中的左侧图所示,其中,sdb、sdc、sdd、sde和sdf为每个HDD的盘符名,各自对应的HDD可以分成journal分区和数据分区。
或者,若物理盘包含了HDD和SSD,则仍可以将数据分区和journal分区放在一个盘上。例如,同理,如图4中的左侧图所示,可以将数据分区和journal分区放在一个HDD或SSD上。
或者,若物理盘包含了HDD和SSD,则还可以将SSD分成多个分区作为journal分区,将HDD作为数据分区,且journal分区的数量与数据分区相同。比如,假设有36个物理盘,其中6个是SSD,其余的30个是HDD。那么每个SSD可以分成5个分区,各自对应5个HHD。这样,这个节点就可以部署30个存储单元。再例如,如图4中的由侧图所示,其中,sdb、sdc、sdd、sde和sdf为每个HDD的盘符名,sdg为SSD的盘符名,此时,该节点就可以部署5个存储单元。
进一步的,在重新划分分区之前,还需要将待划分分区头部的预设空间用全零数据进行覆盖写,其中,一种可选的实现方式是,该待划分分区头部的预设空间可以为1MB,即,在划分新分区前,统一在待划分分区的头部的前1M空间用全零数据进行覆盖写。这样可以将已有分区在格式化时没有清理掉的分区信息进行清除。
具体来讲,对于作为journal分区的SSD固态硬盘,每划分一个分区前,可以将预划分分区的头部前1MB空间,通过命令全部写零,也就是将记录该分区的UUID、分区类型等信息都清理掉。这样在划分分区时,就不会触发udev规则了。同理,对于作为数据分区的HDD,在进行划分分区前,也可以将物理盘的头部前1MB空间,通过命令全部写零,也就是将记录分区的UUID、分区类型等信息都清理掉。这样在划分分区时,也将不会触发udev规则。
进而可以进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。通过在划分新分区前,统一在待划分分区的头部(比如前1M空间)用全零数据进行覆盖写的方式,可以在不用区分第一次部署还是重新部署的不同场景的情况下,统一简化分布式文件系统的部署流程,降低了划分新分区时因udev规则的原因导致的系统部署失败的可能性。通过这些优化,提高了系统部署流程的统一性,减低了系统部署失败的可能性,也提高了系统整体的健壮性和稳定性。
这样,在本申请提供的分布式文件系统存储模块的部署优化方法中,首先检查分布式文件系统存储模块中节点的物理盘是否具有分区,若无分区,则对物理盘直接进行格式化,若存在分区,则判断该分区是否具有挂载,若无挂载,则对该分区直接进行格式化,若有挂载,则对该分区进行卸载,以便在卸载完成后,对该分区进行格式化;接着,检查分布式文件系统的配置文件以及相关目录,并对其进行清理,进而可以根据分布式文件系统存储模块的部署模式,重新划分分区,并在重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。可见,本申请在对物理盘进行重新划分分区之前,先将物理盘中待划分分区头部的预设空间全部写零,即,将记录的识别码UUID、分区类型等信息清理掉,从而可以保证在进行部署时,能够不触发udev规则,进而防止出现分布式文件系统重新部署失败的现象。
上述实施例详细叙述了本申请方法的技术方案,相应地,本申请还提供了一种分布式文件系统存储模块的部署优化装置,下面对该装置进行介绍。
参见图5,图5是本申请实施例提供的一种分布式文件系统存储模块的部署优化装置的结构图,如图5所示,该装置包括:
第一检查单元501,用于检查分布式文件系统存储模块中节点的物理盘是否具有分区;
第一格式化单元502,用于若检测出所述分布式文件系统的节点的物理盘无分区,则对所述物理盘直接进行格式化;
判断单元503,用于若检测出所述分布式文件系统的节点的物理盘有分区,则判断所述分区是否具有挂载;
第二格式化单元504,用于若判断出所述分区无挂载,则对所述分区直接进行格式化;
第三格式化单元505,用于若判断出所述分区有挂载,则对所述分区进行卸载,以便在卸载完成后,对所述分区进行格式化;
清理单元506,用于检查所述分布式文件系统的配置文件以及相关目录,并对其进行清理;
写零单元507,用于根据分布式文件系统存储模块的部署模式,重新划分分区,并在所述重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。
可选地,所述分区包括journal分区和数据分区。
可选地,所述装置还包括:
第二检查单元,预先检查所述分布式文件系统存储模块中节点的物理盘类型;所述物理盘类型包含HDD和SSD中的至少一种;
划分单元,用于根据所述物理盘类型,对所述物理盘进行划分分区的操作。
可选地,所述划分单元包括:
第一划分子单元,用于若所述物理盘类型均为HDD,则将每个HDD分成两个分区,一个分区作为journal分区,另一个分区作为数据分区;
或者,第二划分子单元,用于若所述物理盘包含了HDD和SSD,则仍可以将数据分区和journal分区放在一个盘上;
或者,第三划分子单元,用于若所述物理盘包含了HDD和SSD,则还可以将所述SSD分成多个分区作为journal分区,将所述HDD作为数据分区,且所述journal分区的数量与数据分区相同。
可选地,所述待划分分区头部的预设空间为1MB。
这样,在本申请提供的分布式文件系统存储模块的部署优化装置中,首先检查分布式文件系统存储模块中节点的物理盘是否具有分区,若无分区,则对物理盘直接进行格式化,若存在分区,则判断该分区是否具有挂载,若无挂载,则对该分区直接进行格式化,若有挂载,则对该分区进行卸载,以便在卸载完成后,对该分区进行格式化;接着,检查分布式文件系统的配置文件以及相关目录,并对其进行清理,进而可以根据分布式文件系统存储模块的部署模式,重新划分分区,并在重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。可见,本申请在对物理盘进行重新划分分区之前,先将物理盘中待划分分区头部的预设空间全部写零,即,将记录的识别码UUID、分区类型等信息清理掉,从而可以保证在进行部署时,能够不触发udev规则,进而防止出现分布式文件系统重新部署失败的现象。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种分布式文件系统存储模块的部署优化方法,其特征在于,所述方法包括:
检查分布式文件系统存储模块中节点的物理盘是否具有分区;
若检测出所述分布式文件系统的节点的物理盘无分区,则对所述物理盘直接进行格式化;
若检测出所述分布式文件系统的节点的物理盘有分区,则判断所述分区是否具有挂载;
若判断出所述分区无挂载,则对所述分区直接进行格式化;
若判断出所述分区有挂载,则对所述分区进行卸载,以便在卸载完成后,对所述分区进行格式化;
检查所述分布式文件系统的配置文件以及相关目录,并对其进行清理;
根据分布式文件系统存储模块的部署模式,重新划分分区,并在所述重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。
2.根据权利要求1所述的分布式文件系统存储模块的部署优化方法,其特征在于,所述分区包括journal分区和数据分区。
3.根据权利要求1所述的分布式文件系统存储模块的部署优化方法,其特征在于,所述方法还包括:
预先检查所述分布式文件系统存储模块中节点的物理盘类型;所述物理盘类型包含HDD和SSD中的至少一种;
根据所述物理盘类型,对所述物理盘进行划分分区的操作。
4.根据权利要求3所述的分布式文件系统存储模块的部署优化方法,所述根据所述物理盘类型,对所述物理盘进行划分分区的操作,包括:
若所述物理盘类型均为HDD,则将每个HDD分成两个分区,一个分区作为journal分区,另一个分区作为数据分区;
或者,若所述物理盘包含了HDD和SSD,则仍可以将数据分区和journal分区放在一个盘上;
或者,若所述物理盘包含了HDD和SSD,则还可以将所述SSD分成多个分区作为journal分区,将所述HDD作为数据分区,且所述journal分区的数量与数据分区相同。
5.根据权利要求1所述的分布式文件系统存储模块的部署优化方法,其特征在于,所述待划分分区头部的预设空间为1MB。
6.一种分布式文件系统存储模块的部署优化装置,其特征在于,所述装置包括:
第一检查单元,用于检查分布式文件系统存储模块中节点的物理盘是否具有分区;
第一格式化单元,用于若检测出所述分布式文件系统的节点的物理盘无分区,则对所述物理盘直接进行格式化;
判断单元,用于若检测出所述分布式文件系统的节点的物理盘有分区,则判断所述分区是否具有挂载;
第二格式化单元,用于若判断出所述分区无挂载,则对所述分区直接进行格式化;
第三格式化单元,用于若判断出所述分区有挂载,则对所述分区进行卸载,以便在卸载完成后,对所述分区进行格式化;
清理单元,用于检查所述分布式文件系统的配置文件以及相关目录,并对其进行清理;
写零单元,用于根据分布式文件系统存储模块的部署模式,重新划分分区,并在所述重新划分分区之前,将待划分分区头部的预设空间用全零数据进行覆盖写,以便进行后续的部署步骤,实现分布式文件系统存储模块的部署优化。
7.根据权利要求6所述的装置,其特征在于,所述分区包括journal分区和数据分区。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二检查单元,预先检查所述分布式文件系统存储模块中节点的物理盘类型;所述物理盘类型包含HDD和SSD中的至少一种;
划分单元,用于根据所述物理盘类型,对所述物理盘进行划分分区的操作。
9.根据权利要求8所述的装置,其特征在于,所述划分单元包括:
第一划分子单元,用于若所述物理盘类型均为HDD,则将每个HDD分成两个分区,一个分区作为journal分区,另一个分区作为数据分区;
或者,第二划分子单元,用于若所述物理盘包含了HDD和SSD,则仍可以将数据分区和journal分区放在一个盘上;
或者,第三划分子单元,用于若所述物理盘包含了HDD和SSD,则还可以将所述SSD分成多个分区作为journal分区,将所述HDD作为数据分区,且所述journal分区的数量与数据分区相同。
10.根据权利要求6所述的装置,其特征在于,所述待划分分区头部的预设空间为1MB。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811354052.3A CN109284270B (zh) | 2018-11-14 | 2018-11-14 | 一种分布式文件系统存储模块的部署优化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811354052.3A CN109284270B (zh) | 2018-11-14 | 2018-11-14 | 一种分布式文件系统存储模块的部署优化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109284270A true CN109284270A (zh) | 2019-01-29 |
CN109284270B CN109284270B (zh) | 2021-09-17 |
Family
ID=65176278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811354052.3A Active CN109284270B (zh) | 2018-11-14 | 2018-11-14 | 一种分布式文件系统存储模块的部署优化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109284270B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112306374A (zh) * | 2019-07-31 | 2021-02-02 | 深圳Tcl新技术有限公司 | 一种数据清除方法、移动终端及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030054875A (ko) * | 2001-12-26 | 2003-07-02 | 한국전자통신연구원 | 리눅스 기반의 클러스터 시스템의 운영체제 원격 자동설치 방법 |
CN101727503A (zh) * | 2010-01-29 | 2010-06-09 | 宋振华 | 一种创建磁盘文件系统的方法 |
CN102033787A (zh) * | 2010-11-04 | 2011-04-27 | 天津曙光计算机产业有限公司 | 一种对集群存储介质进行容错性管理的方法 |
CN102664923A (zh) * | 2012-03-30 | 2012-09-12 | 浪潮电子信息产业股份有限公司 | 一种利用Linux全局文件系统实现共享存储池的方法 |
US20140013051A1 (en) * | 2012-03-12 | 2014-01-09 | Huawei Technologies Co., Ltd | Data Storage Method and Data Storage Apparatus |
CN103514260A (zh) * | 2013-08-13 | 2014-01-15 | 中国科学技术大学苏州研究院 | 内存日志文件系统及其实现方法 |
CN104580519A (zh) * | 2015-01-29 | 2015-04-29 | 福建师范大学福清分校 | 一种快速部署openstack云计算平台的方法 |
CN105278985A (zh) * | 2015-09-25 | 2016-01-27 | 浪潮(北京)电子信息产业有限公司 | 一种部署文件系统的方法及系统 |
CN108234164A (zh) * | 2016-12-14 | 2018-06-29 | 杭州海康威视数字技术股份有限公司 | 集群部署方法及装置 |
-
2018
- 2018-11-14 CN CN201811354052.3A patent/CN109284270B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030054875A (ko) * | 2001-12-26 | 2003-07-02 | 한국전자통신연구원 | 리눅스 기반의 클러스터 시스템의 운영체제 원격 자동설치 방법 |
CN101727503A (zh) * | 2010-01-29 | 2010-06-09 | 宋振华 | 一种创建磁盘文件系统的方法 |
CN102033787A (zh) * | 2010-11-04 | 2011-04-27 | 天津曙光计算机产业有限公司 | 一种对集群存储介质进行容错性管理的方法 |
US20140013051A1 (en) * | 2012-03-12 | 2014-01-09 | Huawei Technologies Co., Ltd | Data Storage Method and Data Storage Apparatus |
CN102664923A (zh) * | 2012-03-30 | 2012-09-12 | 浪潮电子信息产业股份有限公司 | 一种利用Linux全局文件系统实现共享存储池的方法 |
CN103514260A (zh) * | 2013-08-13 | 2014-01-15 | 中国科学技术大学苏州研究院 | 内存日志文件系统及其实现方法 |
CN104580519A (zh) * | 2015-01-29 | 2015-04-29 | 福建师范大学福清分校 | 一种快速部署openstack云计算平台的方法 |
CN105278985A (zh) * | 2015-09-25 | 2016-01-27 | 浪潮(北京)电子信息产业有限公司 | 一种部署文件系统的方法及系统 |
CN108234164A (zh) * | 2016-12-14 | 2018-06-29 | 杭州海康威视数字技术股份有限公司 | 集群部署方法及装置 |
Non-Patent Citations (3)
Title |
---|
FRANKS CHMUCK: "GPFS:A shared-disk file system for large com clusters", 《IN PROCEEDINGS OF THE FIRST USENIX CONFERENCE ON FILE AND STORAGE TECHN》 * |
窦玉杰: "《网络管理大全》", 31 May 2006 * |
郑良辰: "日志文件系统在嵌入式存储设备上的设计和实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112306374A (zh) * | 2019-07-31 | 2021-02-02 | 深圳Tcl新技术有限公司 | 一种数据清除方法、移动终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109284270B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210081383A1 (en) | Lifecycle support for storage objects | |
US10642654B2 (en) | Storage lifecycle pipeline architecture | |
US7257690B1 (en) | Log-structured temporal shadow store | |
KR101827239B1 (ko) | 분산 데이터 시스템들을 위한 전 시스템에 미치는 체크포인트 회피 | |
US9355060B1 (en) | Storage service lifecycle policy transition management | |
CN100419664C (zh) | 存储网络中执行备份操作的方法 | |
US8924664B2 (en) | Logical object deletion | |
CN101477486B (zh) | 一种基于扇区重组的文件备份恢复方法 | |
US20210303537A1 (en) | Log record identification using aggregated log indexes | |
CN102385633B (zh) | 虚拟存储目录的文件管理系统 | |
CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
US9218138B1 (en) | Restoring snapshots to consistency groups of mount points | |
CN106662981A (zh) | 存储设备、程序和信息处理方法 | |
US10310904B2 (en) | Distributed technique for allocating long-lived jobs among worker processes | |
US9396074B2 (en) | Virtual database rewind | |
US20070061540A1 (en) | Data storage system using segmentable virtual volumes | |
US10628298B1 (en) | Resumable garbage collection | |
JP5581776B2 (ja) | バックアップ装置,バックアップ方法およびバックアッププログラム | |
US8140886B2 (en) | Apparatus, system, and method for virtual storage access method volume data set recovery | |
CN111684437B (zh) | 按时间顺序排序的错位更新键-值存储系统 | |
US8145947B1 (en) | User customizable CVFS namespace | |
CN114924914B (zh) | 磁盘分区表信息备份、恢复方法及系统 | |
CN109933461A (zh) | 一种数据处理的方法和装置 | |
CN108304142A (zh) | 一种数据管理方法和装置 | |
CN109284270A (zh) | 一种分布式文件系统存储模块的部署优化方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |