CN103023996A - 一种云数据存储系统 - Google Patents
一种云数据存储系统 Download PDFInfo
- Publication number
- CN103023996A CN103023996A CN2012105002019A CN201210500201A CN103023996A CN 103023996 A CN103023996 A CN 103023996A CN 2012105002019 A CN2012105002019 A CN 2012105002019A CN 201210500201 A CN201210500201 A CN 201210500201A CN 103023996 A CN103023996 A CN 103023996A
- Authority
- CN
- China
- Prior art keywords
- backup
- data
- client
- server
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种云数据存储系统，包括客户端、备份服务器和集群服务器，其特征在于备份服务器接收客户端的数据备份恢复请求，缓存客户端的备份数据，并与集群服务器通信。该系统充分利用云存储技术的优势，应用已有的廉价计算机设备建立数据备份集群，满足用户数据备份/恢复业务的需求。
Description
技术领域
本发明属于云计算技术领域，具体涉及云数据的存储备份系统。
背景技术
作为一种数据安全策略，存储备份是避免数据丢失的最基本方法。目前较常见的网络数据备份系统按架构不同可分为基于网络附加存储结构、基于局域网结构、基于SAN 结构的LAN-Free 结构和Server-Free结构。
云存储技术的出现为数据备份提供了一种新方法。云存储的特点如下: 1) 提供完整的数据存储服务，用户可得到智能的备份软件及管理完善的存储容量; 2) 云存储仅对数据进行备份，用户不必担心失去对原始数据的控制; 3) 云存储服务具有价格上的优势，备份相同规模的数据，云存储所需的费用比购置存储设备建立数据中心成本低很多。
本发明提出一种新型数据备份系统，该系统充分利用云存储技术的优势，应用已有的廉价计算机设备建立数据备份集群，满足用户数据备份/恢复业务的需求。
发明内容
本发明提供一种云数据存储系统，包括客户端、备份服务器和集群服务器，其特征在于备份服务器接收客户端的数据备份恢复请求，缓存客户端的备份数据，并与集群服务器通信。
其中客户端负责文件打包、压缩策略、数据备份和恢复。客户端节点中保存为本机提供服务的备份服务器信息，当需要备份或恢复时向备份服务器发出相应请求，客户端文件的备份恢复过程。
还包括备份服务器对客户端进行识别认证，再接收客户端上传的备份文件，上传完备份文件，备份服务器将备份文件加上时间戳编号后暂存，并将备份文件的信息记入备份数据信息表，然后将文件名作为参数调用云数据上传。
其中所述集群服务器为Master /Slave 结构，由一个Name node 和多个的Data nodes 组成，所述Name node作为中心服务器负责管理文件系统的名字空间及客户对文件的访问，所述Name node 由云中具有较高性能的服务器配置而成。
采用该系统在不增加设备投资的前提下，充分应用用户已有的硬件基础设施和闲置资源，通过用户分群管理、小文件合并上传、恢复优先等能够提高系统性能。
附图说明
图1为客户端存储过程。
图2为客户端恢复过程。
具体实施方式
该存储系统包括客户端、备份服务器和集群三部分。客户端是众多需要数据备份/恢复服务的计算机节点，按照地域、系统类别等分为若干个群，需要进行数据备份或恢复时，向负责本群的备份服务器提出请求，进行文件备份和恢复操作．备份服务器是客户端和集群间数据备份恢复的桥梁，每个服务器负责一个客户端群． 他们接受客户端的数据备份恢复请求，缓存客户端的备份数据，根据备份数据的不同情况，分别对其进行合并、压缩后上传到集群备份，同时保存客户端备份文件的映像表，当客户端提出恢复请求时，从集群中读取备份文件，按文件映像表发送给客户端．集群由安装了软件的计算机组成，在软件的架构下，通过配置向多个备份服务器提供上传、下载服务，实现系统的核心功能。
如图1和图2所示，客户端模块用于实现系统数据备份恢复，包括文件打包、压缩策略、数据的备份和恢复。客户端模块备份数据前，应用tar-winrar等工具将所有数据文件打包成一个备份文件，按照“客户id-备份日期-bak”的规则命名; 同时进行压缩以节省存储空间、减少备份恢复时间。客户端节点中保存为本机提供服务的备份服务器信息，当需要备份或恢复时向备份服务器发出相应请求，客户端文件的备份恢复过程。
备份服务器接收到客户端的备份请求后，先对客户端进行识别认证，再接收客户端上传的备份文件，上传完备份文件，备份服务器将备份文件加上时间戳编号后暂存，并将备份文件的信息记入备份数据信息表，然后将文件名作为参数调用云数据上传算法，上传数据。
备份服务器接收到客户端的恢复请求后，先对客户端进行识别认证，认证通过后，再检查备份文件信息表，如果备份文件暂存在本地，则从备份服务器上发送文件给客户端; 如果备份文件存于集群中，则从备份集群中下载文件后，再发送给客户端。如果备份文件是由多个文件打包而成，则还需对文件解包，再发送客户数据。
集群处于二十四小时工作状态，因此备份服务器可随时进行数据的备份/恢复操作，为保证系统备份的性能，系统设计时采用恢复优先、冲突检测上传的策略进行备份恢复，即备份服务器需要下载数据时，立即进行; 而当需要上传数据时，如果没有其他备份服务器上传数据，立即上传，否则称为产生冲突，等待一段时间再进行检测以决定是否上传，等待时间的长短由退避算法确定。
备份集群采用Master /Slave 结构，由一个Namenode 和一定数量的Datanodes 组成． Namenode作为中心服务器负责管理文件系统的名字空间( namespace) 及客户对文件的访问． Namenode 由云中具有较高性能的服务器配置而成，以实现高效的元数据管理，避免性能瓶颈． DataNode 用于存储数据，由大量廉价计算机配置而成，并可根据备份数据的规模进行动态扩展． 备份时文件被分成一个或多个数据块，这些块存储在一组Datanode 上。Datanode 负责对文件系统客户端的读写请求进行处理，并在Namenode 统一调度下进行数据块的创建、删除和复制等操作。
采用该系统在不增加设备投资的前提下，充分应用用户已有的硬件基础设施和闲置资源，通过用户分群管理、小文件合并上传、恢复优先等能够提高系统性能。
以上通过图示和说明提出了本发明的描述，上述举例，并非穷举，本领域的普通技术人员可以在本发明的精神和范围内作出改进和变形。
Claims (4)
1.一种云数据存储系统，包括客户端、备份服务器和集群服务器，其特征在于备份服务器接收客户端的数据备份恢复请求，缓存客户端的备份数据，并与集群服务器通信。
2.如权利要求1所述的云数据存储系统，其中客户端负责文件打包、压缩策略、数据备份和恢复。
3.如权利要求1所述的云数据存储系统，还包括备份服务器对客户端进行识别认证。
4.如权利要求1所述的云数据存储系统，其中所述集群服务器为Master /Slave 结构，由一个Name node 和多个的Data nodes 组成，所述Name node作为中心服务器负责管理文件系统的名字空间及客户对文件的访问，所述Name node 由云中具有较高性能的服务器配置而成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105002019A CN103023996A (zh) | 2012-11-30 | 2012-11-30 | 一种云数据存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105002019A CN103023996A (zh) | 2012-11-30 | 2012-11-30 | 一种云数据存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103023996A true CN103023996A (zh) | 2013-04-03 |
Family
ID=47972120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012105002019A Pending CN103023996A (zh) | 2012-11-30 | 2012-11-30 | 一种云数据存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103023996A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103336730A (zh) * | 2013-06-05 | 2013-10-02 | 中国人民解放军国防科学技术大学 | 一种基于云存储的数据备份方法及系统 |
| CN103812945A (zh) * | 2014-02-26 | 2014-05-21 | 可牛网络技术（北京）有限公司 | 一种数据升级的方法和中心服务器 |
| CN104252397A (zh) * | 2013-06-27 | 2014-12-31 | 广州中国科学院软件应用技术研究所 | 支持云平台用户文件自动备份的实现方法 |
| CN105187552A (zh) * | 2015-09-29 | 2015-12-23 | 北京奇艺世纪科技有限公司 | 一种文件异地灾备的方法和装置 |
| CN105373445A (zh) * | 2014-07-04 | 2016-03-02 | 施耐德电气工业公司 | Plc/hmi设备文件的备份以及恢复方法 |
| CN106156359A (zh) * | 2016-07-28 | 2016-11-23 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据同步更新方法 |
| CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
| CN110941380A (zh) * | 2019-11-20 | 2020-03-31 | 三星电子（中国）研发中心 | 一种图片下载方法、装置和计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202309769U (zh) * | 2011-10-19 | 2012-07-04 | 王吉霞 | 一种基于云计算的数据存储系统 |
-
2012
- 2012-11-30 CN CN2012105002019A patent/CN103023996A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202309769U (zh) * | 2011-10-19 | 2012-07-04 | 王吉霞 | 一种基于云计算的数据存储系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杜勇: "基于HDFS的云数据备份系统的设计与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
| 郭东等: "基于HDFS的云数据备份系统", 《吉林大学学报(理学版) 》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103336730B (zh) * | 2013-06-05 | 2016-02-10 | 中国人民解放军国防科学技术大学 | 一种基于云存储的数据备份方法及系统 |
| CN103336730A (zh) * | 2013-06-05 | 2013-10-02 | 中国人民解放军国防科学技术大学 | 一种基于云存储的数据备份方法及系统 |
| CN104252397A (zh) * | 2013-06-27 | 2014-12-31 | 广州中国科学院软件应用技术研究所 | 支持云平台用户文件自动备份的实现方法 |
| CN103812945A (zh) * | 2014-02-26 | 2014-05-21 | 可牛网络技术（北京）有限公司 | 一种数据升级的方法和中心服务器 |
| CN105373445A (zh) * | 2014-07-04 | 2016-03-02 | 施耐德电气工业公司 | Plc/hmi设备文件的备份以及恢复方法 |
| CN105187552B (zh) * | 2015-09-29 | 2019-02-22 | 北京奇艺世纪科技有限公司 | 一种文件异地灾备的方法和装置 |
| CN105187552A (zh) * | 2015-09-29 | 2015-12-23 | 北京奇艺世纪科技有限公司 | 一种文件异地灾备的方法和装置 |
| CN106156359A (zh) * | 2016-07-28 | 2016-11-23 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据同步更新方法 |
| CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
| CN106250270B (zh) * | 2016-07-28 | 2019-05-21 | 广东奥飞数据科技股份有限公司 | 一种云计算平台下的数据备份方法 |
| CN106156359B (zh) * | 2016-07-28 | 2019-05-21 | 广东奥飞数据科技股份有限公司 | 一种云计算平台下的数据同步更新方法 |
| CN110941380A (zh) * | 2019-11-20 | 2020-03-31 | 三星电子（中国）研发中心 | 一种图片下载方法、装置和计算机可读存储介质 |
| CN110941380B (zh) * | 2019-11-20 | 2022-02-22 | 三星电子（中国）研发中心 | 一种图片下载方法、装置和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103023996A (zh) | 一种云数据存储系统 | |
| CN105187464B (zh) | 一种分布式存储系统中的数据同步方法、装置及系统 | |
| CN101814045B (zh) | 一种用于备份服务的数据组织方法 | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN101453489B (zh) | 一种网络附加存储装置及其数据备份和数据恢复方法 | |
| CN103095843B (zh) | 一种基于版本矢量的数据备份方法及客户端 | |
| CN102843403A (zh) | 基于分布式文件系统的文件处理方法、系统及客户端 | |
| CN102693168A (zh) | 一种数据备份恢复的方法、系统和服务节点 | |
| CN106156359A (zh) | 一种云计算平台下的数据同步更新方法 | |
| CN101673289B (zh) | 分布式文件存储构架的构建方法和装置 | |
| CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及系统 | |
| CN102662992A (zh) | 一种海量小文件的存储、访问方法及装置 | |
| CN103116615A (zh) | 一种基于版本矢量的数据索引方法及服务器 | |
| CN111124277A (zh) | 一种深度学习数据集缓存方法、系统、终端及存储介质 | |
| CN103118104A (zh) | 一种基于版本矢量的数据还原方法及服务器 | |
| CN103186554A (zh) | 分布式数据镜像方法及存储数据节点 | |
| CN104735110A (zh) | 元数据管理方法和系统 | |
| CN102262591A (zh) | 用于内存复制系统进行垃圾回收的方法和系统 | |
| CN107885616A (zh) | 一种基于文件系统解析的海量小文件备份恢复方法 | |
| CN102982182A (zh) | 一种数据存储规划方法及装置 | |
| CN104965835B (zh) | 一种分布式文件系统的文件读写方法及装置 | |
| CN103473258A (zh) | 云存储文件系统 | |
| CN103365740B (zh) | 一种数据冷备方法及装置 | |
| CN104054076A (zh) | 数据存储方法、数据库存储节点故障处理方法及装置 | |
| CN102820998B (zh) | 实现面向办公应用的双机容错服务系统及其数据存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130403 |