CN102521351A - 基于分布式文件系统实现文件副本管理的方法及装置 - Google Patents
基于分布式文件系统实现文件副本管理的方法及装置 Download PDFInfo
- Publication number
- CN102521351A CN102521351A CN201110412866XA CN201110412866A CN102521351A CN 102521351 A CN102521351 A CN 102521351A CN 201110412866X A CN201110412866X A CN 201110412866XA CN 201110412866 A CN201110412866 A CN 201110412866A CN 102521351 A CN102521351 A CN 102521351A
- Authority
- CN
- China
- Prior art keywords
- file
- directory
- document
- duplicate
- level copy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明披露了基于分布式文件系统实现文件副本管理的方法及装置，其中方法包括：将分布式文件系统中存储设备的文件副本按根目录分组成系统级副本；当针对根目录初次设置了系统级副本的数目时，则该根目录下所有文件的文件副本的数目在默认情况下为设置的该系统级副本的数目。本发明通过不同级别的文件副本进行管理设置的方式，能够使文件副本数目的设置操作更加灵活和方便，且能够更加有效地对系统的文件副本进行管理和维护。
Description
技术领域
本发明涉及云计算、云存储技术，尤其涉及基于分布式文件系统实现文件副本管理的方法及装置。
背景技术
云存储是在云计算(cloud computing)基础上延伸和发展起来的一个新概念，是指通过集群应用、网络技术和分布式文件系统等技术，将网络中大量不同类型的存储设备进行整合利用，形成统一的存储池，并对外提供存储服务。
分布式文件系统作为云存储的核心组成部分在近几年中有了长足的发展。在分布式文件系统中如何实现对文件副本的管理是一个很重要的问题。为了提高分布式文件系统数据可靠性，在建立文件时可以设置两个以上数目的多个文件副本，每个文件副本都会存储到一个对应的存储节点上，这样当其中某个存储节点不可用时，也不会影响对相应文件的读写访问。
现有的分布式文件系统对文件副本数目的设置一般只是针对文件进行的。随着文件数量的增加，对文件副本的维护与管理变的越发繁琐和复杂。显然，使用现有的分布式文件系统以文件为单位对文件副本的管理方式不能灵活地设置和管理文件的副本数目，且管理和维护的效率十分低下，远不能满足云存储技术发展的需要。因此，需要提供一种新的管理方式来管理和维护分布式文件系统的文件副本，能够明显提高灵活度和效率，以适应云存储技术的发展。
发明内容
本发明所要解决的技术问题是提供一种基于分布式文件系统实现文件副本管理的方法及装置，能够大大提高对文件副本的维护与管理的效率。
为了解决上述技术问题，本发明提供了一种基于分布式文件系统实现文件副本管理的方法，包括：
将分布式文件系统中存储设备的文件副本按根目录分组成系统级副本；
当针对根目录初次设置了系统级副本的数目时，则该根目录下所有文件的文件副本的数目在默认情况下为设置的该系统级副本的数目。
进一步地，该方法还包括：
将存储设备中的文件副本按根目录中的文件目录分组成目录级副本；
当针对根目录下一个或多个文件目录初次设置了目录级副本的数目时，则文件目录下所有文件的文件副本的数目在默认情况下为设置的目录级副本的数目。
进一步地，该方法还包括：
将存储设备中的文件副本按文件目录下的文件分组成文件级副本；
当针对一文件目录下的一个或多个特定文件设置了文件级副本的数目时，则特定文件的文件副本的数目为设置的该文件级副本的数目。
进一步地，该方法还包括：
当针对根目录重新设置了系统级副本的数目，且若设置为强制递归方式，则该根目录下所有文件的所述文件副本依次递归为重新设置的系统级副本的数目；若设置为非强制递归方式，则该根目录的文件副本为重新设置的该系统级副本的数目，该根目录下的文件和其它文件目录的文件副本数目保持原设置不变。
进一步地，该方法还包括：
当针对根目录下一个或多个文件目录重新设置了目录级副本的数目，且若设置为强制递归方式，则所述文件目录下所有文件的文件副本依次递归为重新设置的该目录级副本的数目；若设置为非强制递归方式，则所述文件目录的文件副本为重新设置的该目录级副本的数目，所述文件目录下的文件和其它文件目录的文件副本数目保持原设置不变。
为了解决上述技术问题，本发明提供了一种基于分布式文件系统实现文件副本管理的装置，包括相互连接的文件副本分组模块和副本数目设置模块，其中：
文件副本分组模块，用于至少将分布式文件系统中存储设备中的文件副本按根目录分组成系统级副本；
副本数目设置模块，用于至少通过系统级副本数目设置子模块针对根目录初次设置系统级副本的数目，则该根目录下所有文件的文件副本的数目在默认情况下为设置的系统级副本的数目。
进一步地，
文件副本分组模块还将存储设备中的文件副本按根目录中的文件目录分组成目录级副本；
文件副本数目设置模块还通过目录级副本数目设置子模块针对根目录下一个或多个文件目录初次设置目录级副本的数目，则文件目录下所有文件的文件副本的数目在默认情况下为设置的目录级副本的数目。
进一步地，
文件副本分组模块还将存储设备中的文件副本按文件目录下的文件分组成文件级副本；
文件副本数目设置模块还通过文件级副本数目设置子模块针对一文件目录下的一个或多个特定文件设置文件级副本的数目，则特定文件的文件副本的数目为设置的文件级副本的数目。
进一步地，
系统级副本数目设置子模块当针对根目录重新设置系统级副本的数目，且若设置为强制递归方式，则该根目录下所有文件的文件副本依次递归为重新设置的系统级副本的数目；若设置为非强制递归方式，则该根目录的文件副本为重新设置的该系统级副本的数目，该根目录下的文件和其它文件目录的文件副本数目保持原设置不变。
进一步地，
目录级副本数目设置子模块针对根目录下一个或多个文件目录重新设置目录级副本的数目，且若设置为强制递归方式，则文件目录下所有文件的文件副本依次递归为重新设置的目录级副本的数目；若设置为非强制递归方式，则文件目录的文件副本为重新设置的目录级副本的数目，文件目录下的文件和其它文件目录的文件副本数目保持原设置不变。
本发明通过不同级别的文件副本进行管理设置的方式，能够使文件副本数目的设置操作更加灵活和方便，且能够更加有效地对系统的文件副本进行管理和维护。
附图说明
图1为本发明的基于分布式文件系统实现文件副本管理的方法实施例的示意图；
图2为本发明的基于分布式文件系统实现文件副本管理的装置实施例的结构示意图。
具体实施方式
以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。应当理解，以下例举的实施例仅用于说明和解释本发明，而不构成对本发明技术方案的限制。
本发明的基于分布式文件系统实现文件副本管理的方法实施例可参考图1，包括如下步骤：
将分布式文件系统中存储设备中的文件副本按根目录分组成系统级副本；
当针对根目录初次设置了系统级副本的数目时，则存储设备中该根目录下所有文件的文件副本的数目在默认情况下为设置的该系统级副本的数目。
上述方法实施例还包括：
当针对根目录重新设置了系统级副本的数目，且若设置为强制递归方式，则存储设备中该根目录下所有文件的文件副本依次递归为重新设置的该系统级副本的数目；若设置为非强制递归方式，则存储设备中该根目录的文件副本为重新设置的该系统级副本的数目，该根目录下的文件和其它文件目录的文件副本数目保持原设置不变。
上述方法实施例还包括：
将分布式文件系统中存储设备中的文件副本按根目录中的文件目录分组成目录级副本；
当针对根目录下一个或多个文件目录初次设置了目录级副本的数目时，则这些文件目录下所有文件的文件副本的数目在默认情况下为设置的该目录级副本的数目。
上述方法实施例还包括：
当针对根目录下一个或多个文件目录重新设置了目录级副本的数目，且若设置为强制递归方式，则存储设备中这些文件目录下所有文件的文件副本依次递归为重新设置的该目录级副本的数目；若设置为非强制递归方式，则存储设备中这些文件目录的文件副本为重新设置的该目录级副本的数目，这些文件目录下的文件和其它文件目录的文件副本数目保持原设置不变。
上述方法实施例还包括：
将分布式文件系统中存储设备中的文件副本按文件目录下的文件分组成文件级副本；
当针对一文件目录下的一个或多个特定文件设置了文件级副本的数目时，则存储设备中该特定文件的文件副本的数目为设置的该文件级副本的数目。
本发明针对上述方法实施例，相应地还提供了基于分布式文件系统实现文件副本管理的装置实施例，其结构如图2所示，包括相互连接的文件副本分组模块和副本数目设置模块，其中：
文件副本分组模块，用于至少将分布式文件系统中存储设备中的文件副本按根目录分组成系统级副本；
副本数目设置模块，用于至少通过系统级副本数目设置子模块针对根目录初次设置系统级副本的数目，则存储设备中该根目录下所有文件的文件副本的数目在默认情况下为设置的该系统级副本的数目。
在上述装置实施例中，
系统级副本数目设置子模块当针对根目录重新设置系统级副本的数目，且若设置为强制递归方式，则存储设备中该根目录下所有文件的文件副本依次递归为重新设置的该系统级副本的数目；若设置为非强制递归方式，则存储设备中该根目录的文件副本为重新设置的该系统级副本的数目，该根目录下的文件和其它文件目录的文件副本数目保持原设置不变。
在上述装置实施例中，
文件副本分组模块还将该存储设备中的文件副本按根目录中的文件目录分组成目录级副本；
文件副本数目设置模块还通过目录级副本数目设置子模块针对根目录下一个或多个文件目录初次设置目录级副本的数目，则存储设备中这些文件目录下所有文件的文件副本的数目在默认情况下为设置的目录级副本的数目。
在上述装置实施例中，
目录级副本数目设置子模块针对根目录下一个或多个文件目录重新设置目录级副本的数目，且若设置为强制递归方式，则存储设备中这些文件目录下所有文件的文件副本依次递归为重新设置的该目录级副本的数目；若设置为非强制递归方式，则这些文件目录的文件副本为重新设置的目录级副本的数目，这些文件目录下的文件和其它文件目录的文件副本数目保持原设置不变。
在上述装置实施例中，
文件副本分组模块还将分布式文件系统中存储设备中的文件副本按文件目录下的文件分组成文件级副本；
文件副本数目设置模块还通过文件级副本数目设置子模块针对一文件目录下的一个或多个特定文件设置文件级副本的数目，则存储设备中特定文件的文件副本的数目为设置的该文件级副本的数目。
本发明通过分级方式对系统中的文件副本分组设置，可以使对文件副本的控制与管理更加灵活、方便。文件副本数的概念只针对文件有意义，对于根目录和文件目录来说，对其设置文件副本数，只是为了便于文件副本数的继承与传递，实质还是对其下的文件副本数设置的一种扩展。
Claims (10)
1.一种基于分布式文件系统实现文件副本管理的方法，包括：
将所述分布式文件系统中存储设备的文件副本按根目录分组成系统级副本；
当针对所述根目录初次设置了所述系统级副本的数目时，则所述根目录下所有文件的文件副本的数目在默认情况下为设置的该系统级副本的数目。
2.按照权利要求1所述的方法，其特征在于，还包括：
将所述存储设备中的文件副本按根目录中的文件目录分组成目录级副本；
当针对根目录下一个或多个文件目录初次设置了所述目录级副本的数目时，则所述文件目录下所有文件的文件副本的数目在默认情况下为设置的所述目录级副本的数目。
3.按照权利要求1所述的方法，其特征在于，还包括：
将所述存储设备中的文件副本按文件目录下的文件分组成文件级副本；
当针对一文件目录下的一个或多个特定文件设置了文件级副本的数目时，则所述特定文件的文件副本的数目为设置的该文件级副本的数目。
4.按照权利要求1至3任一项所述的方法，其特征在于，还包括：
当针对根目录重新设置了系统级副本的数目，且若设置为强制递归方式，则该根目录下所有文件的所述文件副本依次递归为重新设置的系统级副本的数目；若设置为非强制递归方式，则该根目录的文件副本为重新设置的该系统级副本的数目，该根目录下的文件和其它文件目录的文件副本数目保持原设置不变。
5.按照权利要求2所述的方法，其特征在于，还包括：
当针对根目录下一个或多个文件目录重新设置了目录级副本的数目，且若设置为强制递归方式，则所述文件目录下所有文件的文件副本依次递归为重新设置的该目录级副本的数目；若设置为非强制递归方式，则所述文件目录的文件副本为重新设置的该目录级副本的数目，所述文件目录下的文件和其它文件目录的文件副本数目保持原设置不变。
6.一种基于分布式文件系统实现文件副本管理的装置，其特征在于，包括相互连接的文件副本分组模块和副本数目设置模块，其中：
文件副本分组模块，用于至少将分布式文件系统中存储设备中的文件副本按根目录分组成系统级副本；
副本数目设置模块，用于至少通过系统级副本数目设置子模块针对根目录初次设置所述系统级副本的数目，则该根目录下所有文件的文件副本的数目在默认情况下为设置的系统级副本的数目。
7.按照权利要求6所述的装置，其特征在于，
所述文件副本分组模块还将所述存储设备中的文件副本按所述根目录中的文件目录分组成目录级副本；
所述文件副本数目设置模块还通过目录级副本数目设置子模块针对所述根目录下一个或多个文件目录初次设置目录级副本的数目，则所述文件目录下所有文件的文件副本的数目在默认情况下为设置的所述目录级副本的数目。
8.按照权利要求6所述的装置，其特征在于，
所述文件副本分组模块还将所述存储设备中的文件副本按文件目录下的文件分组成文件级副本；
所述文件副本数目设置模块还通过文件级副本数目设置子模块针对一文件目录下的一个或多个特定文件设置文件级副本的数目，则所述特定文件的文件副本的数目为设置的所述文件级副本的数目。
9.按照权利要求6至8任一项所述的装置，其特征在于，
所述系统级副本数目设置子模块当针对所述根目录重新设置系统级副本的数目，且若设置为强制递归方式，则该根目录下所有文件的文件副本依次递归为重新设置的系统级副本的数目；若设置为非强制递归方式，则该根目录的文件副本为重新设置的该系统级副本的数目，该根目录下的文件和其它文件目录的文件副本数目保持原设置不变。
10.按照权利要求7所述的装置，其特征在于，
所述目录级副本数目设置子模块针对所述根目录下一个或多个文件目录重新设置目录级副本的数目，且若设置为强制递归方式，则所述文件目录下所有文件的文件副本依次递归为重新设置的目录级副本的数目；若设置为非强制递归方式，则所述文件目录的文件副本为重新设置的目录级副本的数目，所述文件目录下的文件和其它文件目录的文件副本数目保持原设置不变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110412866XA CN102521351A (zh) | 2011-12-12 | 2011-12-12 | 基于分布式文件系统实现文件副本管理的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110412866XA CN102521351A (zh) | 2011-12-12 | 2011-12-12 | 基于分布式文件系统实现文件副本管理的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102521351A true CN102521351A (zh) | 2012-06-27 |
Family
ID=46292265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110412866XA Pending CN102521351A (zh) | 2011-12-12 | 2011-12-12 | 基于分布式文件系统实现文件副本管理的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102521351A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187931A (zh) * | 2007-12-12 | 2008-05-28 | 浙江大学 | 分布式文件系统多文件副本的管理方法 |
| US20100293137A1 (en) * | 2009-05-14 | 2010-11-18 | Boris Zuckerman | Method and system for journaling data updates in a distributed file system |
-
2011
- 2011-12-12 CN CN201110412866XA patent/CN102521351A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187931A (zh) * | 2007-12-12 | 2008-05-28 | 浙江大学 | 分布式文件系统多文件副本的管理方法 |
| US20100293137A1 (en) * | 2009-05-14 | 2010-11-18 | Boris Zuckerman | Method and system for journaling data updates in a distributed file system |
Non-Patent Citations (1)
| Title |
|---|
| 高俊霞等: "谈目录与目录结构", 《唐山师范学院学报》, vol. 20, no. 5, 31 May 1998 (1998-05-31), pages 70 - 71 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111158587B (zh) | 基于存储池虚拟化管理的分布式存储系统及数据读写方法 | |
| CN103095806B (zh) | 一种面向大电网的实时数据库系统的负载均衡管理系统 | |
| CN106708427A (zh) | 一种适用于键值对数据的存储方法 | |
| CN102664923A (zh) | 一种利用Linux全局文件系统实现共享存储池的方法 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN102841759A (zh) | 一种针对超大规模虚拟机集群的存储系统 | |
| CN101582076A (zh) | 一种基于数据库的重复数据删除方法 | |
| CN103593477A (zh) | 一种哈希数据库的配置方法和装置 | |
| CN104731799A (zh) | 内存数据库管理装置 | |
| CN102164177A (zh) | 一种集群共享存储池的方法、装置及系统 | |
| CN104050248A (zh) | 一种文件存储系统及存储方法 | |
| CN104954400A (zh) | 云计算系统及其实现方法 | |
| CN102811260A (zh) | 文件云同步系统及方法 | |
| US10908997B1 (en) | Simple and efficient technique to support disk extents of different sizes for mapped RAID | |
| CN103246549B (zh) | 一种数据转存的方法及系统 | |
| CN104182487A (zh) | 一种支持多种存储方式的统一存储方法 | |
| CN103023996A (zh) | 一种云数据存储系统 | |
| CN103778149A (zh) | 文件系统及其对文件进行存储管理的方法 | |
| CN103116475B (zh) | 一种自动精简配置扩容的方法 | |
| CN105187502A (zh) | 一种基于分布式弹性块存储的方法和系统 | |
| CN103218305A (zh) | 存储空间的分配方法 | |
| CN101783814A (zh) | 海量存储系统的元数据存储方法 | |
| CN105302817B (zh) | 分布式文件系统管理方法和装置 | |
| CN108763562A (zh) | 一种基于大数据技术提升数据交换效率的构建方法 | |
| CN205263797U (zh) | 一种采用固态硬盘ssd作为二级缓存的存储器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120627 |