CN104113439A - 云存储系统的自动数据修复方法 - Google Patents
云存储系统的自动数据修复方法 Download PDFInfo
- Publication number
- CN104113439A CN104113439A CN201410376146.6A CN201410376146A CN104113439A CN 104113439 A CN104113439 A CN 104113439A CN 201410376146 A CN201410376146 A CN 201410376146A CN 104113439 A CN104113439 A CN 104113439A
- Authority
- CN
- China
- Prior art keywords
- address information
- data
- data server
- back end
- meta data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种云存储系统的自动数据修复方法，解决了现有技术中数据存放在多个数据节点中，但是数据节点中没有元数据服务器中的数据块地址信息备份，如果整个系统的元数据服务器损毁，则无法修复元数据服务器，系统将无法正常提供服务的问题。该云存储系统的自动数据修复方法包括以下步骤：（1）将元数据服务器中数据块存放的地址信息切成碎片，将所有地址信息碎片分别放入不同的数据节点，确保每个数据节点中的数据块里都有元数据服务器中的地址信息碎片；（2）当元数据服务器损毁时，从上述各数据节点中读取元数据服务器里的信息碎片，完成自动修复元数据服务器。本发明可自动修复，提高效率，减少人工干预和错误。
Description
技术领域
本发明涉及一种数据修复方法，具体的说，是涉及一种云存储系统的自动数据修复方法。
背景技术
对于私有云或者公共云来说，云存储都是云计算基础架构中重要的组成部分。一款优秀的云存储解决方案架构能够帮助用户实现高效、合理、自动化的使用存储资源，也是衡量云计算基础架构是否成功的一大标识。然而，在当今这个信息膨胀的时代，数据的容量和复杂度比以往任何时刻都要大。因此，面对日渐复杂的数据环境，构建一个高效性、扩展性和灵活性的云存储解决方案就成为用户IT基础架构建设的必需。
随着数据量的不断增加，数据的安全性要求也在不断增加。数据不仅要有足够的容量空间去存储，还需要实现数据的安全备份和远程容灾，不仅要保证本地数据的安全性，还要保证当本地发生重大的灾难时，可通过远程备份或远程容灾系统进行快速恢复。
虚拟化、云计算、大数据技术的快速发展改变了传统IT的应用模式，当用户在部署云计算时，由于云计算数据的计算和存储都在云平台上进行，云端的数据将更为重要，除去数据隐私和网络攻击的原因，复杂的系统结构、多用户瘦终端的应用环境、虚拟化的应用模式、庞大的存储设备、海量的数据备份也为云端的数据保护带来了新的挑战。
目前，一般的云存储系统中，数据存放在多个数据节点中，但是数据节点中没有元数据服务器中的数据块地址信息备份，如果整个系统的元数据服务器损毁，则无法修复元数据服务器，系统将无法正常提供服务。
发明内容
本发明的目的在于克服上述缺陷，提供一种可自动修复，提高效率，减少人工干预和错误的云存储系统的自动数据修复方法。
为了实现上述目的，本发明采用了技术方案如下：
云存储系统的自动数据修复方法，包括以下步骤：
（1）将元数据服务器中数据块存放的地址信息切成碎片，将所有地址信息碎片分别放入不同的数据节点，确保每个数据节点中的数据块里都有元数据服务器中的地址信息碎片；
（2）当元数据服务器损毁时，从上述各数据节点中读取元数据服务器里的信息碎片，根据所读取的所有地址信息碎片完成自动修复元数据服务器。
步骤（1）中，将所有地址信息碎片放入不同的数据节点的具体方式为：先对所有地址信息碎片进行备份，然后再将备份的地址信息碎片放入不同的数据节点。
进一步的，所述步骤（1）中将地址信息切成碎片的方式如下：地址信息存放在虚拟磁盘上，虚拟磁盘分为多块数据块，每块数据块由多片具有编号的数据页组成，将数据页分散到多个不同的数据节点中，每片数据页上记录着地址信息碎片。
更进一步的，所述步骤（2）中，当元数据服务器损毁时，根据数据页的编号从各数据节点中查询到记录着元数据服务器里地址信息的地址信息碎片，读取所有地址信息碎片中的信息后，写入元数据服务器，自动完成对元数据服务器的修复。
与现有技术相比，本发明的有益效果在于：
（1）本发明将在极端情况依然可以自我修复，提供最高的可靠性。
（2）本发明可提高系统可用时间，最大程度保障客户投资。
（3）本发明可自动修复，提高效率，减少人工干预和错误。
具体实施方式
下面结合实施例对本发明作进一步说明。本发明的实施方式包括但不限于下列实施例。
实施例
本实施例提供了一种云存储系统的自动数据修复方法，包括以下步骤：
（1）将元数据服务器中数据块的地址信息切成碎片，将所有数据块地址信息碎片分别放入不同的数据节点，确保每个数据节点中的数据块里都有元数据服务器中的数据块地址信息碎片；
（2）当元数据服务器损毁时，从上述各数据节点中读取元数据服务器里的信息碎片，根据所读取的所有地址信息碎片完成自动修复元数据服务器。
为了便于本领域技术人员对本发明有更清晰的了解和认识，下面举例进行说明：
首先，将元数据服务器中的数据块存放的地址信息切成两片，编号为1、2；然后，将地址信息碎片1和地址信息碎片2进行备份复制0；将地址信息碎片1和地址信息碎片2的备份碎片分别放入数据节点D1和数据节点D2中。当元数据服务器发生损毁时，分别从数据节点D1和数据节点D2里读取出元数据服务器里的数据块存放的地址信息碎片1和地址信息碎片2，然后，根据备份的数据块地址信息碎片1和地址信息碎片2，对元数据服务器里的数据块存放地址信息进行修复。
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述设计原理的前提下，为解决同样的技术问题，即使在本发明所公开的结构基础上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
Claims (4)
1.云存储系统的自动数据修复方法，其特征在于，包括以下步骤：
（1）将元数据服务器中数据块存放的地址信息切成碎片，将所有地址信息碎片分别放入不同的数据节点，确保每个数据节点中的数据块里都有元数据服务器中的地址信息碎片；
（2）当元数据服务器损毁时，从上述各数据节点中读取元数据服务器里的地址信息碎片，根据所读取的所有地址信息碎片完成自动修复元数据服务器。
2.根据权利要求1所述的，云存储系统的自动数据修复方法，其特征在于，步骤（1）中，将所有地址信息碎片放入不同的数据节点的具体方式为：先对所有地址信息碎片进行备份，然后再将备份的地址信息碎片放入不同的数据节点。
3.根据权利要求1所述的，云存储系统的自动数据修复方法，其特征在于，所述步骤（1）中将地址信息切成碎片的方式如下：地址信息存放在虚拟磁盘上，虚拟磁盘分为多块数据块，每块数据块由多片具有编号的数据页组成，将数据页分散到多个不同的数据节点中，每片数据页上记录着地址信息碎片。
4.根据权利要求3所述的，云存储系统的自动数据修复方法，其特征在于，所述步骤（2）中，当元数据服务器损毁时，根据数据页的编号从各数据节点中查询到记录着元数据服务器里地址信息的地址信息碎片，读取所有地址信息碎片中的信息后，写入元数据服务器，自动完成对元数据服务器的修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410376146.6A CN104113439A (zh) | 2014-08-02 | 2014-08-02 | 云存储系统的自动数据修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410376146.6A CN104113439A (zh) | 2014-08-02 | 2014-08-02 | 云存储系统的自动数据修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104113439A true CN104113439A (zh) | 2014-10-22 |
Family
ID=51710075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410376146.6A Pending CN104113439A (zh) | 2014-08-02 | 2014-08-02 | 云存储系统的自动数据修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104113439A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582499A (zh) * | 2018-11-27 | 2019-04-05 | 杭州宏杉科技股份有限公司 | 管理元数据修复方法及装置 |
| CN110515770A (zh) * | 2019-08-16 | 2019-11-29 | 苏州浪潮智能科技有限公司 | 一种数据的云备份方法、装置、设备及存储介质 |
| CN110968446A (zh) * | 2019-11-24 | 2020-04-07 | 苏州浪潮智能科技有限公司 | 一种元数据修复方法、装置、系统及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102024016A (zh) * | 2010-11-04 | 2011-04-20 | 天津曙光计算机产业有限公司 | 一种分布式文件系统快速数据恢复的方法 |
| CN102833346A (zh) * | 2012-09-06 | 2012-12-19 | 上海海事大学 | 基于存储元数据的云敏感数据安全保护系统及方法 |
| CN103118089A (zh) * | 2013-01-22 | 2013-05-22 | 华中科技大学 | 一种基于多个云存储系统的安全存储方法及其系统 |
-
2014
- 2014-08-02 CN CN201410376146.6A patent/CN104113439A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102024016A (zh) * | 2010-11-04 | 2011-04-20 | 天津曙光计算机产业有限公司 | 一种分布式文件系统快速数据恢复的方法 |
| CN102833346A (zh) * | 2012-09-06 | 2012-12-19 | 上海海事大学 | 基于存储元数据的云敏感数据安全保护系统及方法 |
| CN103118089A (zh) * | 2013-01-22 | 2013-05-22 | 华中科技大学 | 一种基于多个云存储系统的安全存储方法及其系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582499A (zh) * | 2018-11-27 | 2019-04-05 | 杭州宏杉科技股份有限公司 | 管理元数据修复方法及装置 |
| CN110515770A (zh) * | 2019-08-16 | 2019-11-29 | 苏州浪潮智能科技有限公司 | 一种数据的云备份方法、装置、设备及存储介质 |
| CN110968446A (zh) * | 2019-11-24 | 2020-04-07 | 苏州浪潮智能科技有限公司 | 一种元数据修复方法、装置、系统及计算机可读存储介质 |
| CN110968446B (zh) * | 2019-11-24 | 2022-08-12 | 苏州浪潮智能科技有限公司 | 一种元数据修复方法、装置、系统及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106407356B (zh) | 一种数据备份方法及装置 | |
| US8949182B2 (en) | Continuous and asynchronous replication of a consistent dataset | |
| CN105446828A (zh) | 一种数据库备份、恢复方法、装置及系统 | |
| WO2018098972A1 (zh) | 一种日志恢复方法、存储装置和存储节点 | |
| CN102782639B (zh) | 使复制目标能够回收瘦供给存储系统上未使用的存储空间的系统和方法 | |
| CN102693168A (zh) | 一种数据备份恢复的方法、系统和服务节点 | |
| EP3223158B1 (en) | Data recovery method and storage system | |
| US9251230B2 (en) | Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers | |
| CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
| CN104750755B (zh) | 一种数据库主备切换后的数据回补方法及系统 | |
| CN105339903A (zh) | 恢复文件系统对象 | |
| CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
| CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
| EP3147797B1 (en) | Data management method, node and system for database cluster | |
| CN105404565B (zh) | 一种双活数据保护方法和装置 | |
| CN103984309A (zh) | 一种具有容灾功能的卷烟生产系统及其容灾演练方法 | |
| CN107340971A (zh) | 一种数据存储与恢复架构与方法 | |
| CN104113439A (zh) | 云存储系统的自动数据修复方法 | |
| CN104794143A (zh) | 一种无代理的备份技术 | |
| US9015433B2 (en) | Resiliency with a destination volume in a replication environment | |
| EP2372552B1 (en) | Automated relocation of in-use multi-site protected data storage | |
| CN104850628A (zh) | 一种数据库数据的同步方法及装置 | |
| CN104391760A (zh) | 一种数据备份的方法、服务器和系统 | |
| CN103714089A (zh) | 一种实现云数据库回滚的方法及系统 | |
| CN203054824U (zh) | 一种服务器存储系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141022 |