CN106713489A - 一种基于重删的同步远程复制系统及方法 - Google Patents

一种基于重删的同步远程复制系统及方法 Download PDF

Info

Publication number
CN106713489A
CN106713489A CN201710031983.9A CN201710031983A CN106713489A CN 106713489 A CN106713489 A CN 106713489A CN 201710031983 A CN201710031983 A CN 201710031983A CN 106713489 A CN106713489 A CN 106713489A
Authority
CN
China
Prior art keywords
hyperstream
service ends
deleted
backup
backup data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710031983.9A
Other languages
English (en)
Inventor
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710031983.9A priority Critical patent/CN106713489A/zh
Publication of CN106713489A publication Critical patent/CN106713489A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于重删的同步远程复制系统及方法，包括：HyperStream客户端：将备份数据传输至第一HyperStream服务端；第一HyperStream服务端：对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端；第一DPS服务端：将接收到的重删后的备份数据备份到第一存储设备；第二HyperStream服务端：将接收到的重删后的备份数据发送至第二DPS服务端；第二DPS服务端：将接收到的重删后的备份数据备份到第二存储设备。本发明重删可大大减少存储系统中的冗余数据，提高存储系统的使用率。

Description

一种基于重删的同步远程复制系统及方法
技术领域
本发明涉及数据复制领域，具体涉及一种基于重删的同步远程复制系统及复制方法。
背景技术
目前企业对数据量不断增长的需求，使得数据中心面临严峻的挑战。研究发现，存储系统中高达60%的数据是冗余的，如何缩减存储系统的冗余数据受到越来越多的关注。
发明内容
为解决上述问题，本发明提供一种采用HyperSteam平台作为重删检测的平台的基于重删的同步远程复制系统及复制方法。
本发明的技术方案是：一种基于重删的同步远程复制系统，包括：
HyperStream客户端：将备份数据传输至第一HyperStream服务端；
第一HyperStream服务端：对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端；
第一DPS服务端：将接收到的重删后的备份数据备份到第一存储设备；
第二HyperStream服务端：将接收到的重删后的备份数据发送至第二DPS服务端；
第二DPS服务端：将接收到的重删后的备份数据备份到第二存储设备。
进一步地，第一HyperStream服务端包括：重删引擎、数据库和流文件；
所述重删引擎通过数据库存储所有备份数据的数据块信息，并提示数据块是否已保存；
所述流文件存放数据块标识。
进一步地，第一HyperStream服务端：通过数据块标识进行重删检测。
进一步地，第一存储设备为物理磁带库或虚拟磁带库；
第二存储设备为物理磁带库或虚拟磁带库。
一种基于重删的同步远程复制方法，包括：HyperStream客户端、第一HyperStream服务端、第二HyperStream服务端、第一DPS服务端、第二DPS服务端、第一存储设备、第二存储设备；
S1：HyperStream客户端将备份数据传输至第一HyperStream服务端；
S2：第一HyperStream服务端对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端；
S3：第一DPS服务端将接收到的重删后的备份数据备份到第一存储设备；
S4：第二HyperStream服务端将接收到的重删后的备份数据发送至第二DPS服务端；
S5：第二DPS服务端将接收到的重删后的备份数据备份到第二存储设备。
进一步地，第一HyperStream服务端包括：重删引擎、数据库和流文件；
所述重删引擎通过数据库存储所有备份数据的数据块信息，并提示数据块是否已保存；
所述流文件存放数据块标识。
进一步地，步骤S2中，第一HyperStream服务端通过数据块标识进行重删检测。
进一步地，第一存储设备为物理磁带库或虚拟磁带库；
第二存储设备为物理磁带库或虚拟磁带库。
本发明采用采用HyperSteam平台作为重删检测的平台，将其部署在PC或服务器集群中，用以实现重复数据的检测，具有较高扩展性、易管理及高可靠性等优点，同时采用DPS系统将重删后的数据进行保存和远程复制到其他存储设备，防止出现当前数据中心数据损坏，数据无法还原的问题，且重删可大大减少存储系统中的冗余数据，提高存储系统的使用率。
附图说明
图1是本发明具体实施例原理示意图。
图2是本发明具体实施例方法流程图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
如图1所示，本发明提供的基于重删的同步远程复制系统，包括：HyperStream客户端1、第一HyperStream服务端2、第二HyperStream服务端3、第一DPS服务端4、第二DPS服务端6、第一存储设备5、第二存储设备7。
HyperStream客户端1：将备份数据传输至第一HyperStream服务端2。
第一HyperStream服务端2：对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端4和第二HyperStream服务端3。
第一DPS服务端4：将接收到的重删后的备份数据备份到第一存储设备5。
第二HyperStream服务端3：将接收到的重删后的备份数据发送至第二DPS服务端6。
第二DPS服务端6：将接收到的重删后的备份数据备份到第二存储设备7。
第一HyperStream服务端2包括：重删引擎、数据库和流文件；重删引擎通过数据库存储所有备份数据的数据块信息，并提示数据块是否已保存,即哪些数据块是已经保存过的; 流文件存放数据块标识; 第一HyperStream服务端2：通过数据块标识进行重删检测,即判断数据块是否重复。
第一存储设备5为物理磁带库或虚拟磁带库；第二存储设备7为物理磁带库或虚拟磁带库。
如图2所示，本发明提供的基于重删的同步远程复制方法，包括以下步骤：
S1：HyperStream客户端1将备份数据传输至第一HyperStream服务端2；
S2：第一HyperStream服务端2对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端4和第二HyperStream服务端3；
S3：第一DPS服务端4将接收到的重删后的备份数据备份到第一存储设备5；
S4：第二HyperStream服务端3将接收到的重删后的备份数据发送至第二DPS服务端；
S5：第二DPS服务端6将接收到的重删后的备份数据备份到第二存储设备7。
第一HyperStream服务端2包括：重删引擎、数据库和流文件；重删引擎通过数据库存储所有备份数据的数据块信息，并提示数据块是否已保存,即哪些数据块是已经保存过的; 流文件存放数据块标识; 上述步骤S2中，第一HyperStream服务端2通过数据块标识进行重删检测,即判断数据块是否重复。
上述第一存储设备5为物理磁带库或虚拟磁带库；第二存储设备7为物理磁带库或虚拟磁带库。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (8)

1.一种基于重删的同步远程复制系统，其特征在于，包括：
HyperStream客户端：将备份数据传输至第一HyperStream服务端；
第一HyperStream服务端：对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端；
第一DPS服务端：将接收到的重删后的备份数据备份到第一存储设备；
第二HyperStream服务端：将接收到的重删后的备份数据发送至第二DPS服务端；
第二DPS服务端：将接收到的重删后的备份数据备份到第二存储设备。
2.根据权利要求1所述的基于重删的同步远程复制系统，其特征在于，第一HyperStream服务端包括：重删引擎、数据库和流文件；
所述重删引擎通过数据库存储所有备份数据的数据块信息，并提示数据块是否已保存；
所述流文件存放数据块标识。
3.根据权利要求2所述的基于重删的同步远程复制系统，其特征在于，第一HyperStream服务端：通过数据块标识进行重删检测。
4.根据权利要求1、2或3所述的基于重删的同步远程复制系统，其特征在于，第一存储设备为物理磁带库或虚拟磁带库；
第二存储设备为物理磁带库或虚拟磁带库。
5.一种基于重删的同步远程复制方法，其特征在于，包括：HyperStream客户端、第一HyperStream服务端、第二HyperStream服务端、第一DPS服务端、第二DPS服务端、第一存储设备、第二存储设备；
S1：HyperStream客户端将备份数据传输至第一HyperStream服务端；
S2：第一HyperStream服务端对接收的备份数据进行重删检测和重删处理，并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端；
S3：第一DPS服务端将接收到的重删后的备份数据备份到第一存储设备；
S4：第二HyperStream服务端将接收到的重删后的备份数据发送至第二DPS服务端；
S5：第二DPS服务端将接收到的重删后的备份数据备份到第二存储设备。
6.根据权利要求5所述的基于重删的同步远程复制方法，其特征在于，第一HyperStream服务端包括：重删引擎、数据库和流文件；
所述重删引擎通过数据库存储所有备份数据的数据块信息，并提示数据块是否已保存；
所述流文件存放数据块标识。
7.根据权利要求6所述的基于重删的同步远程复制方法，其特征在于，步骤S2中，第一HyperStream服务端通过数据块标识进行重删检测。
8.根据权利要求5、6或7所述的基于重删的同步远程复制方法，其特征在于，第一存储设备为物理磁带库或虚拟磁带库；
第二存储设备为物理磁带库或虚拟磁带库。
CN201710031983.9A 2017-01-17 2017-01-17 一种基于重删的同步远程复制系统及方法 Pending CN106713489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710031983.9A CN106713489A (zh) 2017-01-17 2017-01-17 一种基于重删的同步远程复制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710031983.9A CN106713489A (zh) 2017-01-17 2017-01-17 一种基于重删的同步远程复制系统及方法

Publications (1)

Publication Number Publication Date
CN106713489A true CN106713489A (zh) 2017-05-24

Family

ID=58907616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710031983.9A Pending CN106713489A (zh) 2017-01-17 2017-01-17 一种基于重删的同步远程复制系统及方法

Country Status (1)

Country Link
CN (1) CN106713489A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562575A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 一种Oracle数据库备份的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982122A (zh) * 2012-11-13 2013-03-20 浪潮电子信息产业股份有限公司 一种适用于海量存储系统的重复数据删除方法
CN103049391A (zh) * 2012-12-29 2013-04-17 华为技术有限公司 数据处理方法、数据格式和设备
CN104778095A (zh) * 2015-01-20 2015-07-15 成都携恩科技有限公司 一种云平台数据管理方法
CN104794143A (zh) * 2014-07-30 2015-07-22 北京中科同向信息技术有限公司 一种无代理的备份技术
CN105487942A (zh) * 2015-11-30 2016-04-13 上海爱数信息技术股份有限公司 一种基于重复数据删除的备份与远程复制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982122A (zh) * 2012-11-13 2013-03-20 浪潮电子信息产业股份有限公司 一种适用于海量存储系统的重复数据删除方法
CN103049391A (zh) * 2012-12-29 2013-04-17 华为技术有限公司 数据处理方法、数据格式和设备
CN104794143A (zh) * 2014-07-30 2015-07-22 北京中科同向信息技术有限公司 一种无代理的备份技术
CN104778095A (zh) * 2015-01-20 2015-07-15 成都携恩科技有限公司 一种云平台数据管理方法
CN105487942A (zh) * 2015-11-30 2016-04-13 上海爱数信息技术股份有限公司 一种基于重复数据删除的备份与远程复制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562575A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 一种Oracle数据库备份的方法及系统

Similar Documents

Publication Publication Date Title
JP6296316B2 (ja) 分散型セキュリティ保護データストレージ、およびストリーミングメディアコンテンツの送信
CN106250270B (zh) 一种云计算平台下的数据备份方法
US8352540B2 (en) Distinguishing data streams to enhance data storage efficiency
US8234372B2 (en) Writing a file to a cloud storage solution
US8719223B2 (en) Cloud storage solution for reading and writing files
US20110276622A1 (en) Reading a file from a cloud storage solution
CN106843760A (zh) 一种基于重删的异步远程复制系统及方法
CN106502823A (zh) 数据云备份方法和系统
CN103327085B (zh) 一种分布式数据处理方法、数据中心及其系统
CN104902009B (zh) 一种基于可擦除编码和链式备份的分布式存储系统
CN103116615B (zh) 一种基于版本矢量的数据索引方法及服务器
CN103118104B (zh) 一种基于版本矢量的数据还原方法及服务器
WO2019134211A1 (zh) 一种文件存储方法、电子设备、系统和介质
CN104113606B (zh) 一致性动态均衡的分布式元数据节点架构的工作方法
US20120173925A1 (en) Method and a storage server for data redundancy
CN103795754A (zh) 多系统间的数据同步方法和系统
CN103593264A (zh) 远距离广域网络容灾备份系统及方法
CN101771717A (zh) 数据库同步方法及系统
CN104967660B (zh) 一种面向多云架构的网络性能提升方法
US8543864B2 (en) Apparatus and method of performing error recovering process in asymmetric clustering file system
CN107506265A (zh) 一种基于互联网的差异性远程文件备份与恢复系统
CN102184218B (zh) 一种基于因果关系的重复数据删除方法
CN106059936A (zh) 云系统组播文件的方法及装置
Gokulakrishnan et al. Data integrity and recovery management in cloud systems
WO2017157062A1 (zh) 一种动态文件的传输方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination