CN112612411A - 基于分布式云存储的数据备份和即时访问的系统及方法 - Google Patents
基于分布式云存储的数据备份和即时访问的系统及方法 Download PDFInfo
- Publication number
- CN112612411A CN112612411A CN202011391518.4A CN202011391518A CN112612411A CN 112612411 A CN112612411 A CN 112612411A CN 202011391518 A CN202011391518 A CN 202011391518A CN 112612411 A CN112612411 A CN 112612411A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- module
- distributed cloud
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013467 fragmentation Methods 0.000 claims abstract description 25
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 25
- 239000012634 fragment Substances 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000008520 organization Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式云存储的数据备份和即时访问的系统及方法，该系统包括块存储数据读模块、数据分片模块、元数据信息管理模块、对象存储认证模块、对象存储数据读写模块、分片数据组织模块以及块/对象存储协议转换模块。本发明的基于分布式云存储的数据备份和即时访问的系统及方法通过将备份数据分片保存到分布式云存储中，利用分布式云存储的多副本安全机制保证了备份数据的安全性；按照业务数据的原始格式分片存储在分布式云存储中，并通过组织元数据实现即时访问备份数据内容，大幅缩短备份数据准备时间；能够利用不同形式的云存储实现备份、恢复和即时数据访问。
Description
技术领域
本发明涉及企业信息化开放平台的数据安全技术领域，具体来说，涉及一种基于分布式云存储的数据备份和即时访问的系统及方法。
背景技术
对象存储即分布式云存储的通称，每个信息块都有唯一的url访问地址，通过https协议安全访问，且都具有多个副本，其特点是没有最大数据空间的限制，安全可靠，但随机读写性能较块存储低。块存储是服务器读取和存储信息格式，其特点是读写速度快，但有最大存储空间限制。
现有数据安全领域中，备份的数据都是以打包成大文件的形式存储在磁带或磁盘中，当需要访问备份数据的内容时，首先要准备足够的存储空间，然后将打包的备份数据解包到目标存储中，这个过程就是传统的数据恢复过程。由于需要读取和写入全部的备份数据，因此时间和存储的消耗都与备份的数据量成正比，以10TB的备份数据，恢复速度300MB/s为列，需要准备至少10TB的存储空间，且全部恢复就需要9.7小时。如果使用分布式云存储，现有备份技术需要先将打包的备份数据文件从分布式云存储中复制到本地存储，然后再解包恢复到目标存储上，同样以10TB的备份数据，恢复速度300MB/s为例，需要准备至少20TB的空间和19.4小时的恢复时间。
发明内容
为了解决数据访问和恢复的效率问题，本发明提出一种基于分布式云存储的数据备份和即时访问的系统及方法，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于分布式云存储的数据备份和即时访问的系统，包括块存储数据读模块、数据分片模块、元数据信息管理模块、对象存储认证模块、对象存储数据读写模块、分片数据组织模块以及块/对象存储协议转换模块，其中，
所述块存储数据读模块，用于读取块存储数据，并将读取的数据传送给所述数据分片模块；
所述数据分片模块，用于将所述块存储数据读模块读取的数据按照分布式云存储提供的空间大小进行分片，且为了保证数据不被篡改，需要通过多种哈西算法记录每个分片数据的多个数据分片指纹，并向所述元数据信息管理模块传送所述分片数据及所述分片数据的数据分片指纹；
所述元数据信息管理模块，用于记录每个分片数据地址、指纹与原始块数据的对应关系，并向所述对象存储认证模块传送分片数据；
所述对象存储认证模块，用于实现分布式云对象存储的安全认证，并向所述对象存储数据读写模块传送分片数据；
所述对象存储数据读写模块，用于多进程并行读写分布式云存储中的分片数据（即对象存储数据）；
所述分片数据组织模块，用于根据每个分片数据地址、指纹与原始块数据的对应关系将所述对象存储数据读写模块读取的分布式云存储中的分片数据重新组织成块存储数据的格式，并将重新组织成的块存储数据传送给所述块/对象存储协议转换模块；
所述块/对象存储协议转换模块，用于将分布式云存储的数据重新组织成的块存储数据通过块存储协议映射给对应的服务器。
进一步地，所述对象存储数据读写模块由对象存储数据读模块和对象存储数据写模块组成。
进一步地，所述对象存储认证模块支持https协议和标准安全认证证书。
根据本发明的另一方面，提供了一种基于分布式云存储的数据备份和即时访问的方法，该方法包括以下步骤：
S1 数据备份，读取块存储上的数据并备份到分布式云存储；
S2 即时访问，读取分布式云存储的数据，并以块存储协议的形式挂载给服务器进行数据访问。
进一步地，所述步骤S1具体包括：读取块存储上的数据，按照云存储数据块大小将所述数据分片，分别存储到分布式云存储中，同时保留每个分片的原始数据信息与分布式云存储地址的对应关系（即元数据信息）。
进一步地，所述步骤S2具体包括：读取分布式云存储的数据，按照元数据信息将分布式云存储的数据重新组织，并通过协议转换模块转换为块存储协议的形式挂载给服务器，从服务器端看就是一个标准的快存储的设备，这样就能方便的读取分布式云存储中的信息。
本发明的有益效果：
（1）本发明的基于分布式云存储的数据备份和即时访问的系统及方法通过将备份数据分片保存到分布式云存储中，利用分布式云存储的多副本安全机制保证了备份数据的安全性；
（2）本发明按照业务数据的原始格式分片存储在分布式云存储中，并通过组织元数据实现即时访问备份数据内容，大幅缩短备份数据准备时间；
（3）企业云存储存在私有云、公有云和混合云的不同形态，本发明的基于分布式云存储的数据备份和即时访问的系统及方法能够利用不同形式的云存储实现备份、恢复和即时数据访问。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的数据备份到分布式云存储的流程图；
图2是根据本发明实施例所述的分布式云存储数据即时访问的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-2所示，根据本发明的基于分布式云存储的数据备份和即时访问的系统，包括块存储数据读模块、数据分片模块、元数据信息管理模块、对象存储认证模块、对象存储数据读写模块、分片数据组织模块以及块/对象存储协议转换模块；
所述块存储数据读模块，用于读取块存储数据，并将读取的数据传送给所述数据分片模块；
所述数据分片模块，用于将所述块存储数据读模块读取的数据按照分布式云存储提供的空间大小进行分片，且为了保证数据不被篡改，需要通过多种哈西算法记录每个分片数据的多个数据分片指纹，并向所述元数据信息管理模块传送所述分片数据及所述分片数据的数据分片指纹；
所述元数据信息管理模块，用于记录每个分片数据地址、指纹与原始块数据的对应关系，并向所述对象存储认证模块传送分片数据；
所述对象存储认证模块，用于实现分布式云对象存储的安全认证，并向所述对象存储数据读写模块传送分片数据，支持https协议和标准安全认证证书；
所述对象存储数据读写模块由对象存储数据读模块和对象存储数据写模块组成，用于多进程并行读写对象存储数据；
所述分片数据组织模块，用于根据每个分片数据地址、指纹与原始块数据的对应关系将所述对象存储数据读写模块读取的分布式云存储中的分片数据重新组织成块存储数据的格式，并将重新组织成的块存储数据传送给所述块/对象存储协议转换模块；
所述块/对象存储协议转换模块，用于将分布式云存储的数据重新组织成的块存储数据通过块存储协议映射给对应的服务器。
实施例2
基于分布式云存储的数据备份和即时访问的方法包括以下步骤：
S1读取块存储上的数据，按照云存储数据块大小将所述数据分片，分别存储到分布式云存储中，同时保留元数据信息，元数据信息为每个分片的原始数据信息与分布式云存储地址的对应关系。
S2读取分布式云存储的数据，按照元数据信息将分布式云存储的数据重新组织，并通过协议转换模块转换为块存储协议的形式挂载给服务器，从服务器端看就是一个标准的快存储的设备，这样就能方便的读取分布式云存储中的信息。
综上所述，借助于本发明的上述技术方案，通过将业务数据按照数据的原始的存储格式分片存储在云存储中，并保留存储的元数据信息，当需要访问备份数据内容时，可根据元数据信息将云存储上的备份数据直接组织成原始的业务数据格式，按照标准的iSCSI存储格式提供给应用主机挂载并直接访问其中的内容，从而实现根据元数据组织云存储中的数据，对外以存储协议形式提供存储服务即可访问备份数据内容，而且不需要准备额外的存储。以10TB备份数据为例，根据元数据组织数据在5分钟就可以完成。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于分布式云存储的数据备份和即时访问的系统，其特征在于，包括块存储数据读模块、数据分片模块、元数据信息管理模块、对象存储认证模块、对象存储数据读写模块、分片数据组织模块以及块/对象存储协议转换模块，其中，
所述块存储数据读模块，用于读取块存储数据，并将读取的数据传送给所述数据分片模块；
所述数据分片模块，用于将所述块存储数据读模块读取的数据按照分布式云存储提供的空间大小进行分片，记录每个分片数据的多个数据分片指纹，并向所述元数据信息管理模块传送所述分片数据及所述分片数据的数据分片指纹；
所述元数据信息管理模块，用于记录每个分片数据地址、指纹与原始块数据的对应关系，并向所述对象存储认证模块传送分片数据；
所述对象存储认证模块，用于实现分布式云对象存储的安全认证，并向所述对象存储数据读写模块传送分片数据；
所述对象存储数据读写模块，用于多进程并行读写分布式云存储中的分片数据；
所述分片数据组织模块，用于根据每个分片数据地址、指纹与原始块数据的对应关系将所述对象存储数据读写模块读取的分布式云存储中的分片数据重新组织成块存储数据的格式，并将重新组织成的块存储数据传送给所述块/对象存储协议转换模块；
所述块/对象存储协议转换模块，用于将分布式云存储的数据重新组织成的块存储数据通过块存储协议映射给对应的服务器。
2.根据权利要求1所述的基于分布式云存储的数据备份和即时访问的系统，其特征在于，所述对象存储数据读写模块由对象存储数据读模块和对象存储数据写模块组成。
3.根据权利要求1所述的基于分布式云存储的数据备份和即时访问的系统，其特征在于，所述对象存储认证模块支持https协议和标准安全认证证书。
4.一种基于分布式云存储的数据备份和即时访问的方法，其特征在于，包括以下步骤：
S1 数据备份，读取块存储上的数据并备份到分布式云存储；
S2 即时访问，读取分布式云存储的数据，并以块存储协议的形式挂载给服务器进行数据访问。
5.根据权利要求4所述的基于分布式云存储的数据备份和即时访问的方法，其特征在于，所述步骤S1具体包括：读取块存储上的数据，按照云存储数据块大小将所述数据分片，分别存储到分布式云存储中，同时保留每个分片的原始数据信息与分布式云存储地址的对应关系。
6.根据权利要求4所述的基于分布式云存储的数据备份和即时访问的方法，其特征在于，所述步骤S2具体包括：读取分布式云存储的数据，按照每个分片的原始数据信息与分布式云存储地址的对应关系将分布式云存储的数据重新组织并转换为块存储协议的形式挂载给服务器进行数据访问。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011391518.4A CN112612411A (zh) | 2020-12-01 | 2020-12-01 | 基于分布式云存储的数据备份和即时访问的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011391518.4A CN112612411A (zh) | 2020-12-01 | 2020-12-01 | 基于分布式云存储的数据备份和即时访问的系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612411A true CN112612411A (zh) | 2021-04-06 |
Family
ID=75228550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011391518.4A Pending CN112612411A (zh) | 2020-12-01 | 2020-12-01 | 基于分布式云存储的数据备份和即时访问的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612411A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022267627A1 (zh) * | 2021-06-25 | 2022-12-29 | 华为技术有限公司 | 数据处理方法以及相关装置 |
| CN116107520A (zh) * | 2023-04-13 | 2023-05-12 | 北京中科特瑞科技有限公司 | S3对象存储协议的加密数据存储方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462605A (zh) * | 2014-05-13 | 2017-02-22 | 云聚公司 | 流媒体内容的分布式安全数据存储和传输 |
| CN106506668A (zh) * | 2016-11-23 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种基于分布式存储实现对象存储的方法 |
| CN107609428A (zh) * | 2017-08-16 | 2018-01-19 | 大唐高鸿信安（浙江）信息科技有限公司 | 数据安全存储系统及方法 |
| CN109981649A (zh) * | 2019-03-27 | 2019-07-05 | 山东超越数控电子股份有限公司 | 一种基于安全认证网关的云存储安全访问方法，系统，终端及存储介质 |
-
2020
- 2020-12-01 CN CN202011391518.4A patent/CN112612411A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462605A (zh) * | 2014-05-13 | 2017-02-22 | 云聚公司 | 流媒体内容的分布式安全数据存储和传输 |
| CN106506668A (zh) * | 2016-11-23 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种基于分布式存储实现对象存储的方法 |
| CN107609428A (zh) * | 2017-08-16 | 2018-01-19 | 大唐高鸿信安（浙江）信息科技有限公司 | 数据安全存储系统及方法 |
| CN109981649A (zh) * | 2019-03-27 | 2019-07-05 | 山东超越数控电子股份有限公司 | 一种基于安全认证网关的云存储安全访问方法，系统，终端及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 樊重俊 等: "《大数据分析与应用》", 上海：立信会计出版社, pages: 118 - 120 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022267627A1 (zh) * | 2021-06-25 | 2022-12-29 | 华为技术有限公司 | 数据处理方法以及相关装置 |
| CN116107520A (zh) * | 2023-04-13 | 2023-05-12 | 北京中科特瑞科技有限公司 | S3对象存储协议的加密数据存储方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9792306B1 (en) | Data transfer between dissimilar deduplication systems | |
| US7716186B2 (en) | Method and system for transparent backup to a hierarchical storage system | |
| US8015157B2 (en) | File sharing system, file server, and method for managing files | |
| US11263194B2 (en) | File block addressing for backups | |
| US9703640B2 (en) | Method and system of performing incremental SQL server database backups | |
| JP4972158B2 (ja) | サンプリングを利用して重複データを無くすシステム、及び方法 | |
| US10013166B2 (en) | Virtual tape library system | |
| US10783121B2 (en) | Techniques for optimizing data flows in hybrid cloud storage systems | |
| CN102033786B (zh) | 一种对象存储系统中修复副本一致性的方法 | |
| CA2893304C (en) | Data storage method, data storage apparatus, and storage device | |
| US9043280B1 (en) | System and method to repair file system metadata | |
| US20090006792A1 (en) | System and Method to Identify Changed Data Blocks | |
| JP2016509309A (ja) | データを格納および取得するための方法およびシステム | |
| US11249672B2 (en) | Low-cost backup and edge caching using unused disk blocks | |
| CN102272751B (zh) | 在数据库环境通过背景同步的数据完整性 | |
| CN112612411A (zh) | 基于分布式云存储的数据备份和即时访问的系统及方法 | |
| CN104360914A (zh) | 增量快照方法和装置 | |
| CN106874145A (zh) | 一种基于消息队列的异步数据备份方法 | |
| CN101364218A (zh) | 一种硬盘录像机文件系统及其检查方法 | |
| CN115525602A (zh) | 数据处理方法以及相关装置 | |
| WO2014153931A1 (zh) | 文件存储方法、装置、访问客户端及元数据服务器系统 | |
| CN113553325A (zh) | 一种对象存储系统中聚合对象的同步方法和系统 | |
| US11474981B2 (en) | Database dual-core storage system based on optical disk and method using the system | |
| CN113835625B (zh) | 一种基于子路径的数据存储方法、装置、设备及存储介质 | |
| CN111581015B (zh) | 一种现代应用的持续数据保护系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |
|
| RJ01 | Rejection of invention patent application after publication |