CN104158864A - 一种数据块自愈式的云存储方法以及修复方法 - Google Patents
一种数据块自愈式的云存储方法以及修复方法 Download PDFInfo
- Publication number
- CN104158864A CN104158864A CN201410376148.5A CN201410376148A CN104158864A CN 104158864 A CN104158864 A CN 104158864A CN 201410376148 A CN201410376148 A CN 201410376148A CN 104158864 A CN104158864 A CN 104158864A
- Authority
- CN
- China
- Prior art keywords
- data
- data slice
- backup
- back end
- healing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本发明公开了一种数据块自愈式的云存储方法，解决了现有技术中云计算中心通常将数据块切碎成多块数据片存储在物理磁盘，当物理磁盘损坏时容易造成数据丢失，且不能进行快速恢复的问题。该数据块自愈式的云存储方法，包括以下步骤：创建虚拟磁盘，建立资源池；将数据块切碎成数据片，并对每片数据片进行编号；将每片数据片进行复制备份，且每片数据片至少备份一份并放入不同的数据节点，并将数据片实际存储信息地址存到元数据里面；当某一数据节点中的数据片损坏时，根据该数据节点中的数据片编号从元数据中查询该数据片其他备份数据片的地址；从其他备份所在的数据节点中重新读取数据片；将重新读取的数据片写入本地，进行修复。
Description
技术领域
本发明属于云存储技术领域，具体的说，是涉及一种数据块自愈式的云存储方法及修复方法。
背景技术
对于私有云或者公共云来说，云存储都是云计算基础架构中重要的组成部分。一款优秀的云存储解决方案架构能够帮助用户实现高效、合理、自动化的使用存储资源，也是衡量云计算基础架构是否成功的一大标识。然而在当今这个信息膨胀的时代，数据的容量和复杂度比以往任何时刻都要大。因此，面对日渐复杂的数据环境，构建一个高效性、扩展性和灵活性的云存储解决方案就成为用户IT基础架构建设的必需。
随着数据量的不断增加，数据的安全性要求也在不断增加。数据不仅要有足够的容量空间去存储，还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性，还要保证当本地发生重大的灾难时，可通过远程备份或远程容灾系统进行快速恢复。
目前，一般的云计算中心通常将数据块切碎成多块数据片存储在物理磁盘。但是当物理磁盘损坏时容易造成数据丢失；发现某块数据损坏时，需要人工检索，不能进行快速恢复。
发明内容
本发明的目的在于克服上述缺陷，提供一种数据节点自动检查、修复，节约人力成本人的数据块自愈式的云存储方法。
为了实现上述目的，本发明采用了技术方案如下：
一种数据块自愈式的云存储方法，包括以下步骤：
（1）创建虚拟磁盘，建立资源池；
（2）将数据块切碎成数据片，并对每片数据片进行编号；
（3）将每片数据片进行复制备份，且每片数据片至少备份一份，将数据片原件及备份件分别放入不同的数据节点，并将所有数据片实际存储信息地址存到元数据里面。
步骤（3）中每片数据片的备份数量至少为两份，并连同原件分别放入不同的数据节点中。
一种数据块自愈式的云存储方法的修复方法，包括以下步骤：
（4）当某一数据节点中的数据片损坏时，根据该数据节点中的数据片编号从元数据中查询该数据片其他备份数据片的地址；
（5）从其他备份所在的数据节点中重新读取数据片；
（6）将重新读取的数据片写入本地，进行修复。
数据节点自动检查放入其中的数据片是否有损坏，若有则执行所述步骤（4）至步骤（6）进行修复。
与现有技术相比，本发明的有益效果在于：
（1）本发明将数据节点自动检查，节约人力成本人，且可完成自动修复，大幅度提升数据的安全性。
（2）本发明快速的修复过程，提高了工作性能，且容易实现集群控制和管理。
具体实施方式
下面结合实施例对本发明作进一步说明。本发明的实施方式包括但不限于下列实施例。
实施例
本实施例提供了一种数据块自愈式的云存储方法，包括以下步骤：
（1）创建虚拟磁盘，建立资源池；
（2）将数据块切碎成数据片，并对每片数据片进行编号；
（3）将每片数据片进行复制备份，且每片数据片至少备份一份，将数据片原件及备份件分别放入不同的数据节点，并将数据片实际存储信息地址存到元数据里面。
其中，步骤（3）中每片数据片的备份数量至少为两份，并连同原件分别放入不同的数据节点中。
基于上述的云存储方法，本实施例还提供了一种修复方法，包括以下步骤：
（4）当某一数据节点中的数据片损坏时，根据该数据节点中的数据片编号从元数据中查询该数据片其他备份数据片的地址；
（5）从其他备份所在的数据节点中重新读取数据片；
（6）将重新读取的数据片写入本地，进行修复。
作为优选，数据节点自动检查放入其中的数据片是否有损坏，若有则执行上述步骤（4）至步骤（6）进行修复。
为了便于本领域技术人员对本发明有更清晰的了解和认识，下面举例进行说明：
首先，建立虚拟磁盘，将数据块切成四片，编号为1、2、3、4，分别为：数据片1、数据片2、数据片3和数据片4；然后，对每片数据片进行复制备份，并将原件和备份件分别放入到不同的数据节点，具体如下：
1、数据片1复制两份，将三份数据片1分别放在三个数据节点D1、D2、D3；
2、数据片2复制两份，将三份数据片2分别放在三个数据节点D1、D2、D3
3、数据片3复制两份，将三份数据片3分别放在三个数据节点D1、D2、D3；
4、数据片4复制两份，将三份数据片4分别放在三个数据节点D1、D2、D3；通过上述，则每个数据节点里均放入了四个数据片，分别为：数据片1、数据片2、数据片3和数据片4。
数据节点自动检查，检查放入其内的数据片是否有损坏，若发现数据节点D1中的数据片损坏后（数据片1、数据片2、数据片3和数据片4），则在元数据服务器里查询该数据节点D1中数据片的其他几分备份数据片的地址信息，在元数据里查询到数据片1、数据片2、数据片3和数据片4的备份存放在数据节点D2和数据节点D3中；然后，从数据节点D2或/和数据节点D3里重新读取正确数据片1、数据片2、数据片3和数据片4，并将读取的数据片写入数据节点D1，进行修复。
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述设计原理的前提下，为解决同样的技术问题，即使在本发明所公开的结构基础上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
Claims (4)
1.一种数据块自愈式的云存储方法，其特征在于，包括以下步骤：
（1）创建虚拟磁盘，建立资源池；
（2）将数据块切碎成数据片，并对每片数据片进行编号；
（3）将每片数据片进行复制备份，且每片数据片至少备份一份，将数据片原件及备份件分别放入不同的数据节点，并将所有数据片实际存储信息地址存到元数据里面。
2.根据权利要求1所述的一种数据块自愈式的云存储方法，其特征在于，步骤（3）中每片数据片的备份数量至少为两份，并连同原件分别放入不同的数据节点中。
3.由权利要求1所述的一种数据块自愈式的云存储方法的修复方法，其特征在于，包括以下步骤：
（4）当某一数据节点中的数据片损坏时，根据该数据节点中的数据片编号从元数据中查询该数据片其他备份数据片的地址；
（5）从其他备份所在的数据节点中重新读取数据片；
（6）将重新读取的数据片写入本地，进行修复。
4.根据权利要求3所述的修复方法，其特征在于，数据节点自动检查放入其中的数据片是否有损坏，若有则执行所述步骤（4）至步骤（6）进行修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410376148.5A CN104158864A (zh) | 2014-08-02 | 2014-08-02 | 一种数据块自愈式的云存储方法以及修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410376148.5A CN104158864A (zh) | 2014-08-02 | 2014-08-02 | 一种数据块自愈式的云存储方法以及修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104158864A true CN104158864A (zh) | 2014-11-19 |
Family
ID=51884269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410376148.5A Pending CN104158864A (zh) | 2014-08-02 | 2014-08-02 | 一种数据块自愈式的云存储方法以及修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104158864A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814946A (zh) * | 2018-12-29 | 2019-05-28 | 创新科存储技术（深圳）有限公司 | 一种在XenServer中实现分布式存储的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103118089A (zh) * | 2013-01-22 | 2013-05-22 | 华中科技大学 | 一种基于多个云存储系统的安全存储方法及其系统 |
| CN103455577A (zh) * | 2013-08-23 | 2013-12-18 | 中国科学院计算机网络信息中心 | 云主机镜像文件的多备份就近存储和读取方法及系统 |
| CN103780433A (zh) * | 2014-02-18 | 2014-05-07 | 成都致云科技有限公司 | 自愈式虚拟资源配置管理数据架构 |
-
2014
- 2014-08-02 CN CN201410376148.5A patent/CN104158864A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103118089A (zh) * | 2013-01-22 | 2013-05-22 | 华中科技大学 | 一种基于多个云存储系统的安全存储方法及其系统 |
| CN103455577A (zh) * | 2013-08-23 | 2013-12-18 | 中国科学院计算机网络信息中心 | 云主机镜像文件的多备份就近存储和读取方法及系统 |
| CN103780433A (zh) * | 2014-02-18 | 2014-05-07 | 成都致云科技有限公司 | 自愈式虚拟资源配置管理数据架构 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814946A (zh) * | 2018-12-29 | 2019-05-28 | 创新科存储技术（深圳）有限公司 | 一种在XenServer中实现分布式存储的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105446828B (zh) | 一种数据库备份、恢复方法、装置及系统 | |
| CN106407356B (zh) | 一种数据备份方法及装置 | |
| CN105843702B (zh) | 一种用于数据备份的方法以及装置 | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN101577735B (zh) | 一种接管故障元数据服务器的方法、装置及系统 | |
| WO2018098972A1 (zh) | 一种日志恢复方法、存储装置和存储节点 | |
| CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
| CN104750755B (zh) | 一种数据库主备切换后的数据回补方法及系统 | |
| CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
| CN101986276B (zh) | 文件存储方法、文件恢复方法、系统及服务器 | |
| CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
| CN104486387B (zh) | 一种数据同步处理方法及系统 | |
| CN104021200A (zh) | 一种数据库的数据同步方法和装置 | |
| CN102411524A (zh) | 一种快照卷数据拷贝方法 | |
| CN103106271A (zh) | 一种基于海量数据的数据库备份及恢复方法和系统 | |
| CN104199963A (zh) | HBase数据备份恢复的方法和装置 | |
| CN102708166B (zh) | 数据复制方法、数据恢复方法及装置 | |
| CN103176867B (zh) | 一种快速文件差异备份方法 | |
| CN103544081B (zh) | 双元数据服务器的管理方法和装置 | |
| CN104113439A (zh) | 云存储系统的自动数据修复方法 | |
| CN102629223B (zh) | 一种数据修复方法及装置 | |
| RU2016124319A (ru) | Способ и устройство для восстановления дедуплицированных данных | |
| CN105323271B (zh) | 一种云计算系统以及云计算系统的处理方法和装置 | |
| US20160253247A1 (en) | Method and device for restoring system file indexes | |
| CN103207916A (zh) | 元数据处理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20171204 Address after: 610000 8 building, No. 219, Tianfu Third Street, Sichuan high tech Zone, Chengdu high tech Zone Applicant after: Chengdu Chi Chi Technology Co., Ltd. Address before: 610000 Chengdu province high tech Zone, East Street, No. 76, grass layer, layer 4, No. Applicant before: CHENGDU ZHIYUN SCIENCE & TECHNOLOGY CO., LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141119 |