CN102609454B - 一种分布式文件系统中的副本管理方法 - Google Patents
一种分布式文件系统中的副本管理方法 Download PDFInfo
- Publication number
- CN102609454B CN102609454B CN 201210008166 CN201210008166A CN102609454B CN 102609454 B CN102609454 B CN 102609454B CN 201210008166 CN201210008166 CN 201210008166 CN 201210008166 A CN201210008166 A CN 201210008166A CN 102609454 B CN102609454 B CN 102609454B
- Authority
- CN
- China
- Prior art keywords
- copy
- correct status
- copies
- state
- converted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 8
- 238000012217 deletion Methods 0.000 claims description 27
- 230000037430 deletion Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 230000001771 impaired effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012913 prioritisation Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件系统中的副本管理方法，包括：在块节点向主节点重新注册时，根据块节点上副本的状态重新设置主节点上相应副本的状态；若块节点上的副本受损，则将主节点上相应副本设置为错误状态；若块节点上的副本将要移除，则将主节点上相应副本设置为即将移除正确状态；若块节点上的副本正常，则将主节点上相应副本设置为正确状态。本发明能在分布式文件系统中维护副本的一致性。
Description
技术领域
本发明涉及云计算云存储领域，具体涉及一种分布式文件系统中的副本管理方法。
背景技术
云存储是在云计算(cloud computing）基础上延伸和发展出来的一个新概念，是指通过集群应用、网络技术和分布式文件系统等技术，将网络中大量不同类型的存储设备进行整合利用，形成统一的存储池对外提供存储服务。
分布式文件系统作为云存储的核心组成部分在近几年中有了长足的发展。在分布式文件系统中，在多副本冗余的情况下进行副本更新可能会导致主节点和块节点副本间的数据不一致。
发明内容
本发明要解决的技术问题是如何在分布式文件系统中维护副本的一致性。
为了解决上述问题，本发明提供了一种分布式文件系统中的副本管理方法，包括：
在块节点向主节点重新注册时，根据块节点上副本的状态重新设置主节点上相应副本的状态；若块节点上的副本受损，则将主节点上相应副本设置为错误状态；若块节点上的副本将要移除，则将主节点上相应副本设置为即将移除正确状态；若块节点上的副本正常，则将主节点上相应副本设置为正确状态。
进一步地，所述的方法还包括：
新建副本时将该副本设置为忙状态，如果新建成功则将该副本转换为正确状态，新建失败则将该副本转换为错误状态。
进一步地，所述的方法还包括：
更新正确状态的副本时，将该副本转换为忙状态；更新成功则将该副本转换为正确状态，更新失败则将该副本转换为错误状态；
更新即将移除正确状态的副本时，将该副本转换为即将移除忙状态；更新成功则将该副本转换为即将移除正确状态，更新失败则该将副本转换为错误状态。
进一步地，所述的方法还包括：
主节点周期性检测各副本的状态，将处于错误状态的副本设置为删除状态；对处于正确状态或即将移除正确状态的副本，若该副本对应的文件节点已经删除，则将该副本设置为删除状态。
进一步地，所述的方法还包括：
在主节点周期性检测时，对处于删除状态的副本，向块节点发出删除该副本的命令；若块节点删除该副本成功，则释放掉该副本的数据结构；若块节点删除该副本失败，则保持该副本为删除状态不变。
进一步地，所述的方法还包括：
在主节点周期性检测时，比较正确状态的副本数和预期要求副本数goal，如果正确状态的副本数大于goal，则将多余的正确状态的副本设置为删除状态。
进一步地，如果正确状态的副本数小于goal，则新建相应数量的副本；新建副本时，以正确状态的副本为源进行复制，若不存在正确状态的副本则以即将移除正确状态的副本为源进行复制。
进一步地，所述的方法还包括：
在主节点周期性检测时，判断处于正确状态和即将删除正确状态的副本数之和是否大于预期要求副本数goal，如果是则将多余的即将删除正确状态的副本设置为删除状态。
本发明的技术方案根据分布式文件系统的实际操作对相关副本进行状态标记，维护副本一致性；本发明的优化方案定义了错误状态、删除状态、忙状态、正确状态、即将移除忙状态、即将移除正确状态六种副本状态，并定期检查这些副本，完成副本状态的转换，从而达到周期性维护副本一致性的目的，而且使分布式文件系统具有较好的自我容错能力；本发明的又一优化方案通过自动完成副本的拷贝、恢复、删除工作，来保证合法副本数等于预期设置。
附图说明
图1是实施例一中副本各状态及其转换示意图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例一，一种分布式文件系统中的副本管理方法，包括：
在块节点向主节点重新注册（比如重启了块节点）时，根据块节点上副本（即块文件）的状态重新设置主节点上相应副本的状态；若块节点上的副本受损（比如块节点上块文件被意外删除），则将主节点上相应副本设置为错误状态；若块节点上的副本将要移除（比如要将块节点从分布式文件系统中移除，此时会将其上的块文件标定为移除状态），则将主节点上相应副本设置为即将移除正确状态；若块节点上的副本正常，则将主节点上相应副本设置为正确状态。
如果主节点上副本当前状态就和要设置的一致（比如块节点上的副本正常，而主节点上相应副本当前状态就是正确状态），则保持原来状态即可。
即将移除正确状态表示该副本数据是正确的，但它所在的块节点将要从分布式文件系统中移除。
本实施例中，所述方法还可以包括：
主节点周期性检测各副本的状态，将处于错误状态的副本设置为删除状态，表示该副本即将被删除。
本实施例中，所述方法还可以包括：
在主节点周期性检测时，对处于正确状态或即将移除正确状态的副本，若该副本对应的文件节点已经删除，则将该副本设置为删除状态，表示该副本即将被删除。
本实施例中，所述方法还可以包括：
在主节点周期性检测时，对处于删除状态的副本，向块节点发出删除该副本的命令；若块节点删除该副本成功，则释放掉该副本的数据结构；若块节点删除该副本失败，则保持该副本为删除状态不变。
本实施例中，所述方法还可以包括：
在主节点周期性检测时，比较正确状态的副本数和预期要求副本数goal（goal是会变化的，比如客户端重新设置了goal），如果正确状态的副本数大于goal，则将多余的正确状态的副本设置为删除状态（假设正确状态的副本数为8，goal为5，则将3个正确状态的副本设置为删除状态）。
本实施例中，在主节点周期性检测时，如果正确状态的副本数小于goal，则可以新建相应数量的副本（假设正确状态的副本数为6，goal为15，则新建9个副本）；新建副本时，以正确状态的副本为源进行复制，若不存在正确状态的副本则以即将移除正确状态的副本为源进行复制。
如果不新建的话，也可以将即将删除正确状态的副本数也考虑进来，判断处于正确状态和即将删除正确状态的副本数之和是否能达到goal，如果仍然不够再进行新建。
本实施例中，所述方法还可以包括：
在主节点周期性检测时，判断处于正确状态和即将删除正确状态的副本数之和是否大于预期要求副本数goal，如果是则将多余的即将删除正确状态的副本设置为删除状态。否则，副本状态保持不变。
如果删除全部即将删除正确状态的副本后，正确状态的副本数还是大于预期要求副本数，则按照上文进行处理。如果处于正确状态和即将删除正确状态的副本数之和小于预期要求副本数goal，则按照上文的方法新建副本。
如果先已经按照上文使正确状态的副本数等于预期要求副本数goal，则只要将所有即将删除正确状态的副本数设置为删除状态即可。
本实施例中，所述方法还可以包括：
新建副本（比如客户端用户进行文件追加操作）时将该副本设置为忙状态，如果新建成功（客户端向块节点写操作成功）则将该副本转换为正确状态，新建失败（客户端向块节点写操作失败）则将该副本转换为错误状态。
本实施例中，所述方法还可以包括：
更新正确状态的副本（比如客户端用户进行文件更新操作）时，将该副本转换为忙状态；更新成功（客户端向块节点写操作成功）则将该副本转换为正确状态，更新失败（客户端向块节点写操作失败）则将该副本转换为错误状态；
更新即将移除正确状态的副本时，将该副本转换为即将移除忙状态；更新成功（客户端向块节点写操作成功）则将该副本转换为即将移除正确状态，更新失败（客户端向块节点写操作失败）则该将副本转换为错误状态。
本实施例如图1所示，副本状态可以定义为以下六种状态：INVALID，DEL，BUSY，VALID，TDBUSY，TDVALID，即错误状态、删除状态、忙状态、正确状态、即将移除忙状态、即将移除正确状态，这些状态可以都记录在主节点的副本数据结构中，根据上文中所述的客户端文件写操作及块节点当前状况来进行状态的转换。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
Claims (6)
1.一种分布式文件系统中的副本管理方法，包括：
在块节点向主节点重新注册时，根据块节点上副本的状态重新设置主节点上相应副本的状态；若块节点上的副本受损，则将主节点上相应副本设置为错误状态；若块节点上的副本将要移除，则将主节点上相应副本设置为即将移除正确状态；若块节点上的副本正常，则将主节点上相应副本设置为正确状态；
新建副本时将该副本设置为忙状态，如果新建成功则将该副本转换为正确状态，新建失败则将该副本转换为错误状态；
更新正确状态的副本时，将该副本转换为忙状态；更新成功则将该副本转换为正确状态，更新失败则将该副本转换为错误状态；
更新即将移除正确状态的副本时，将该副本转换为即将移除忙状态；更新成功则将该副本转换为即将移除正确状态，更新失败则将该副本转换为错误状态。
2.如权利要求1所述的方法，其特征在于，还包括：
主节点周期性检测各副本的状态，将处于错误状态的副本设置为删除状态；对处于正确状态或即将移除正确状态的副本，若该副本对应的文件节点已经删除，则将该副本设置为删除状态。
3.如权利要求2所述的方法，其特征在于，还包括：
在主节点周期性检测时，对处于删除状态的副本，向块节点发出删除该副本的命令；若块节点删除该副本成功，则释放掉该副本的数据结构；若块节点删除该副本失败，则保持该副本为删除状态不变。
4.如权利要求2所述的方法，其特征在于，还包括：
在主节点周期性检测时，比较正确状态的副本数和预期要求副本数goal，如果正确状态的副本数大于goal，则将多余的正确状态的副本设置为删除状态。
5.如权利要求4所述的方法，其特征在于：
如果正确状态的副本数小于goal，则新建相应数量的副本；新建副本时，以正确状态的副本为源进行复制，若不存在正确状态的副本则以即将移除正确状态的副本为源进行复制。
6.如权利要求2所述的方法，其特征在于，还包括：
在主节点周期性检测时，判断处于正确状态和即将删除正确状态的副本数之和是否大于预期要求副本数goal，如果是则将多余的即将删除正确状态的副本设置为删除状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201210008166 CN102609454B (zh) | 2012-01-12 | 2012-01-12 | 一种分布式文件系统中的副本管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201210008166 CN102609454B (zh) | 2012-01-12 | 2012-01-12 | 一种分布式文件系统中的副本管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102609454A CN102609454A (zh) | 2012-07-25 |
| CN102609454B true CN102609454B (zh) | 2013-09-18 |
Family
ID=46526826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201210008166 Active CN102609454B (zh) | 2012-01-12 | 2012-01-12 | 一种分布式文件系统中的副本管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102609454B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678561B (zh) * | 2013-12-06 | 2017-02-15 | 华为技术有限公司 | 桶状态处理方法与装置 |
| CN105426427A (zh) * | 2015-11-04 | 2016-03-23 | 国家计算机网络与信息安全管理中心 | 基于raid 0 存储的mpp 数据库集群副本实现方法 |
| CN105550229B (zh) * | 2015-12-07 | 2019-05-03 | 北京奇虎科技有限公司 | 分布式存储系统数据修复的方法和装置 |
| CN105550230B (zh) * | 2015-12-07 | 2019-07-23 | 北京奇虎科技有限公司 | 分布式存储系统节点故障的侦测方法和装置 |
| CN114201117B (zh) * | 2021-12-22 | 2023-09-01 | 苏州浪潮智能科技有限公司 | 缓存数据的处理方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100336343C (zh) * | 2004-10-10 | 2007-09-05 | 中兴通讯股份有限公司 | 分布式系统中保持多个数据副本一致性的方法 |
| US20070016632A1 (en) * | 2005-07-14 | 2007-01-18 | Yahoo! Inc. | System and method for synchronizing between a user device and a server in a communication network |
| CN102033786B (zh) * | 2010-11-04 | 2013-02-06 | 曙光信息产业股份有限公司 | 一种对象存储系统中修复副本一致性的方法 |
-
2012
- 2012-01-12 CN CN 201210008166 patent/CN102609454B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102609454A (zh) | 2012-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220283988A1 (en) | Distributed write journals that support fast snapshotting for a distributed file system | |
| CN107045422B (zh) | 分布式存储方法和设备 | |
| US8224935B1 (en) | Systems and methods for efficiently synchronizing configuration data within distributed computing systems | |
| US10671568B2 (en) | De-duplicating attachments on message delivery and automated repair of attachments | |
| US10860447B2 (en) | Database cluster architecture based on dual port solid state disk | |
| US11442961B2 (en) | Active transaction list synchronization method and apparatus | |
| CN102609454B (zh) | 一种分布式文件系统中的副本管理方法 | |
| CN103842969A (zh) | 信息处理系统 | |
| CN110389858B (zh) | 存储设备的故障恢复方法和设备 | |
| WO2014130800A2 (en) | Deduplication storage system with efficient reference updating and space reclamation | |
| CN105593829B (zh) | 从原始映像备份中排除文件系统对象的方法、系统及介质 | |
| CN107656834A (zh) | 基于事务日志恢复主机访问 | |
| US11132265B2 (en) | Multi-replica data restoration method and apparatus | |
| US10929043B2 (en) | Space reservation for distributed storage systems | |
| CN102833273A (zh) | 临时故障时的数据修复方法及分布式缓存系统 | |
| US8312237B2 (en) | Automated relocation of in-use multi-site protected data storage | |
| US20150269237A1 (en) | Disaster Recovery of Converged Infrastructure Platforms | |
| CN106354830B (zh) | 一种数据库集群节点间数据同步的方法及装置 | |
| CN108241556A (zh) | Hdfs中数据异地备份的方法及装置 | |
| CN104461382A (zh) | 运行多个文件系统的文件服务器的内部写方法和服务器 | |
| KR20200114746A (ko) | 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템 | |
| CN113254271B (zh) | 一种数据序列恢复方法、装置、设备及存储介质 | |
| CN113821176B (zh) | 一种数据迁移的处理方法、装置及存储介质 | |
| JP5914267B2 (ja) | データ復旧装置 | |
| CN118101680A (zh) | 一种共享文件分布式存储方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180817 Address after: 200436 Room 411, No. three, JIANGCHANG Road, Jingan District, Shanghai, 411 Patentee after: SHANGHAI INSPUR CLOUD CALCULATING SERVICE CO.,LTD. Address before: 100085 floor 1, C 2-1, No. 2, Shang Di Road, Haidian District, Beijing. Patentee before: INSPUR (BEIJING) ELECTRONIC INFORMATION INDUSTRY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221012 Address after: 010000 Rooms 102 and 103, S01 Scientific Research Building, Inner Mongolia Inspur Big Data Industrial Park, No. 33, Nandian Street, New District, Hohhot, Inner Mongolia Autonomous Region Patentee after: Inner Mongolia Inspur Information Technology Co.,Ltd. Address before: 200436 Room 411, No. three, JIANGCHANG Road, Jingan District, Shanghai, 411 Patentee before: SHANGHAI INSPUR CLOUD CALCULATING SERVICE CO.,LTD. |
|
| TR01 | Transfer of patent right |