CN111581016B - 一种现代应用的副本数据管理系统及方法 - Google Patents

一种现代应用的副本数据管理系统及方法 Download PDF

Info

Publication number
CN111581016B
CN111581016B CN202010290216.1A CN202010290216A CN111581016B CN 111581016 B CN111581016 B CN 111581016B CN 202010290216 A CN202010290216 A CN 202010290216A CN 111581016 B CN111581016 B CN 111581016B
Authority
CN
China
Prior art keywords
metadata
object storage
copy
storage
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010290216.1A
Other languages
English (en)
Other versions
CN111581016A (zh
Inventor
周丰
贺鸿富
童莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN202010290216.1A priority Critical patent/CN111581016B/zh
Publication of CN111581016A publication Critical patent/CN111581016A/zh
Priority to PCT/CN2020/124230 priority patent/WO2021208402A1/zh
Priority to US17/996,248 priority patent/US20230214301A1/en
Application granted granted Critical
Publication of CN111581016B publication Critical patent/CN111581016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明涉及一种现代应用的副本数据管理系统及方法，该系统包括：现代应用模块，包括业务单元、对象存储网关、生产对象存储和数据库，所述的业务单元上传大、小对象并生成业务元数据，所述的对象存储网关在生产对象存储中写入和读取大、小对象，将小对象合并为大对象并同时生成对象元数据，所述的数据库存储业务元数据和对象元数据；副本数据管理模块，包括元数据处理单元和灾备对象存储，所述的元数据处理单元对数据库进行备份，生成元数据副本，所述的灾备对象存储对生产对象存储进行备份；利用元数据副本及其快照实现现代应用模块的恢复以及副本利用。与现有技术相比，本发明具有安全性好、利用率高等优点。

Description

一种现代应用的副本数据管理系统及方法
技术领域
本发明涉及对象存储技术，尤其是涉及一种现代应用的副本数据管理系统及方法。
背景技术
随着互联网的快速发展以及云技术的落地，移动办公和跨地域协作越来越多，在这样的背景下，各种基于对象存储构建的现代应用系统应运而生并快速发展，大量的数据涌入现代应用系统，现代应用系统包括业务单元、数据库以及对象存储，特点是数据保存在对象存储中，元数据保存在数据库中，同时通过对数据库中的元数据以及对象存储进行备份，生成副本数据，当现代应用系统出现损坏需要恢复时利用副本数据进行恢复，保证整个现代应用系统的数据的安全。
但是现代应用系统保存的数据可能都是一些小文件，当现代应用系统损坏后，需要将对象存储中的对象一个个恢复到重建的系统中，在海量小对象场景下，恢复的时间会很长，达不到快速恢复系统的要求，同时这些副本数据只能在系统恢复时被利用，未能有效利用，无法发挥副本数据的利用价值。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种现代应用的副本数据管理系统及方法，安全性好，充分利用存储数据。
本发明的目的可以通过以下技术方案来实现：
一种现代应用的副本数据管理系统，包括：
现代应用模块，包括业务单元、对象存储网关、生产对象存储和数据库，所述的业务单元用于生成大、小对象以及业务元数据，所述的对象存储网关用于在生产对象存储中写入和读取大、小对象，将小对象合并为大对象并同时生成对象元数据，所述的数据库用于存储业务元数据以及对象元数据，所述的业务元数据为业务单元所处理的数据，包括用户信息、用户权限、用户文件存储信息和对象名称，所述的对象元数据包括大对象名称、偏移量和长度，所述的对象存储网关采用对象存储 S3接口。
副本数据管理模块，包括元数据处理单元和灾备对象存储，所述的元数据处理单元用于对数据库进行备份，生成元数据副本，所述的灾备对象存储用于对生产对象存储进行备份；
利用元数据副本及其快照实现现代应用模块的恢复以及副本利用；
所述的副本利用过程具体为：
所述的元数据处理单元对元数据副本依次进行快照和克隆，生成克隆元数据快照，将克隆元数据快照挂载到数据库并通过对象存储网关以只读方式读取灾备对象存储中的大对象，为第三方数据分析、数据挖掘、开发测试等系统提供数据，实现了副本数据的安全利用。
进一步地，将访问生产对象存储以及灾备对象存储的地址改为对象存储网关的地址，使对生产对象存储以及灾备对象存储的操作全部由对象存储网关接管，所述的业务单元向对象存储网关发送对象写请求和对象读请求；
所述的对象存储网关接收到对象写请求时将上传至业务单元的大、小对象存储至生产对象存储，当生产对象存储中的小对象数据量达到设定阈值时对象存储网关将小对象合并为大对象；
所述的对象存储网关接收到对象读请求时先检测否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象。
进一步地，所述的恢复对象存储的过程包括损坏恢复和历史恢复；
所述的损坏恢复过程具体为：所述的元数据处理单元将最新的元数据副本恢复至数据库，所述的生产对象存储与灾备对象存储同步；
所述的历史恢复具体为：所述的元数据处理单元将指定时间点的元数据副本的快照恢复至数据库，所述的灾备对象存储通过查询数据库查询对应的大对象，并将该大对象恢复至生产对象存储。
一种现代应用的副本数据管理方法，具体为：
将访问生产对象存储以及灾备对象存储的地址改为对象存储网关的地址，使对生产对象存储以及灾备对象存储的操作全部由对象存储网关接管，业务单元生成大、小对象以及业务元数据，并向对象存储网关发送对象写请求和对象读请求，所述的对象存储网关采用对象存储S3接口；
所述的对象存储网关接收到对象写请求时将大、小对象存储至生产对象存储，灾备对象存储对生产对象存储进行备份，当生产对象存储中的小对象数据量达到设定阈值时对象存储网关将小对象合并为大对象，同时生成对象元数据，将业务元数据和对象元数据存储至数据库，元数据处理单元对元数据进行备份生成元数据副本；
所述的对象元数据包括大对象名称、偏移量和长度，所述的业务元数据为业务单元所处理的数据，包括用户信息、用户权限、用户文件存储信息和对象名称。
所述的对象存储网关接收到对象读请求时先检测否有元数据或元数据副本，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象；
进一步地，利用元数据副本及其快照实现数据库和生产对象存储的恢复以及副本利用。
进一步地，所述的数据库和生产对象存储的恢复包括损坏恢复和历史恢复；
所述的损坏恢复过程具体为：所述的元数据处理单元将最新的元数据副本恢复至数据库，所述的生产对象存储与灾备对象存储同步；
所述的历史恢复具体为：所述的元数据处理单元将指定时间点的元数据副本的快照恢复至数据库，所述的灾备对象存储通过查询数据库查询对应的大对象，并将该大对象恢复至生产对象存储。
进一步地，所述的副本利用过程具体为：所述的元数据处理单元对元数据副本依次进行快照和克隆，生成克隆元数据快照，将克隆元数据快照挂载到数据库并通过对象存储网关以只读方式读取灾备对象存储中的大对象。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明通过对象存储网关采用对象元数据访问的方式整合小对象，同时对生产对象存储和数据库进行备份，对应获得灾备对象存储和元数据副本，对元数据副本依次进行快照和克隆，获得克隆元数据快照，恢复生产对象存储的速度快，利用克隆元数据快照挂载到数据库，并通过对象存储网关以只读方式访问灾备对象存储，能够充分利用灾备对象存储中存储的数据，同时又不影响生产对象存储的安全，安全性好；
(2)本发明可对生产对象存储进行包括损坏恢复和历史恢复，进行损坏恢复时元数据处理单元将最新的元数据副本恢复至数据库，将灾备对象存储同步至生产对象存储，进行历史恢复时将指定时间点的元数据副本的快照恢复至数据库，灾备对象存储通过查询数据库查询对应的大对象并将该大对象恢复至生产对象存储，安全性好，操作简便。
附图说明
图1为本发明的系统框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
一种现代应用的副本数据管理系统，如图1，包括现代应用模块和副本数据管理模块；
现代应用模块包括业务单元、对象存储网关、生产对象存储和数据库，业务单元用于生成大、小对象以及业务元数据，对象存储网关用于在生产对象存储中写入和读取大、小对象，将小对象合并为大对象并同时生成对象元数据，数据库用于存储业务元数据和对象元数据，对象元数据包括大对象名称、偏移量和长度，业务元数据为业务单元所处理的数据，包括用户信息、用户权限、用户文件存储信息和对象名称，所述的对象元数据包括大对象名称、偏移量和长度，对象存储网关采用对象存储S3接口，访问生产对象存储以及灾备对象存储的地址改为对象存储网关的地址，使对生产对象存储以及灾备对象存储的的操作全部由对象存储网关接管；
副本数据管理模块包括元数据处理单元和灾备对象存储，元数据处理单元用于对元数据进行备份，生成并存储元数据副本，灾备对象存储用于对生产对象存储进行备份，达到保护生产对象存储的目的；
利用元数据副本及其快照实现现代应用模块的恢复以及副本利用；
所述的副本利用过程具体为：
所述的元数据处理单元对元数据副本依次进行快照和克隆，生成克隆元数据快照，将克隆元数据快照挂载到数据库并通过对象存储网关以只读方式读取灾备对象存储中的大对象，为第三方数据分析、数据挖掘、开发测试等系统提供数据，既保证了生产对象存储的安全，又充分利用了生产对象存储的数据。
业务单元向对象存储网关发送对象写请求和对象读请求；
对象存储网关接收到对象写请求时将上传至业务单元的大、小对象存储至生产对象存储，当生产对象存储中的小对象数据量达到设定阈值时对象存储网关将小对象合并为大对象；
对象存储网关接收到对象读请求时先检测否有对象元数据，若有则根据对象元数据或元数据副本访问大对象中指定位置以及长度的数据，否则直接读取大对象。
现代应用模块的恢复包括损坏恢复和历史恢复；
当生产对象存储损坏需要恢复时，需要进行损坏恢复，过程具体为：
将最新的元数据副本恢复至数据库，将灾备对象存储同步至生产对象存储；
当需要将生产对象存储恢复至历史版本时进行历史恢复，过程具体为：
元数据处理单元将元数据副本的快照恢复至数据库，元数据处理单元通过查询数据库查询对应的大对象，将该大对象恢复至生产对象存储，即可达到恢复到历史时间点的效果。
文档云中的许多用户有大量的图片、文档等文件，这些文件保存在生产对象存储中，为了提高生产对象存储保存数据的可靠性和安全性，也需要做数据保护，同时这些数据量庞大的数据有很大的价值，如做大数据分析、开发测试等；
实施方式如下：
部署对象存储网关，将生产对象存储和灾备对象存储的信息配置到对象存储网关中；将文档云中生产对象存储和灾备对象存储的地址修改为对象存储网关的地址；部署副本数据管理模块，将生产对象存储备份至灾备对象存储，数据库备份至元数据处理单元，完成数据的保护；将指定时间点的元数据快照克隆并挂载给数据库，并通过对象存储网关访问灾备对象存储，为第三方数据分析、数据挖掘、开发测试等系统提供数据。
实施例2
与实施例1对应的一种现代应用的副本数据管理方法，具体为：
业务单元生成大、小对象以及业务元数据，并向对象存储网关发送对象写请求和对象读请求；
对象存储网关接收到对象写请求时将大、小对象存储至生产对象存储，当生产对象存储中的小对象数据量达到设定阈值时对象存储网关将小对象合并为大对象，同时生成对象元数据，将业务元数据和对象元数据存储至数据库，对象存储网关采用对象存储S3接口，灾备对象存储对生产对象存储进行备份，对象元数据包括大对象名称、偏移量和长度，业务元数据为业务单元所处理的数据，包括用户信息、用户权限、用户文件存储信息和对象名称；
对象存储网关接收到对象读请求时先检测否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象；
利用元数据副本及其快照实现数据库以及生产对象存储的恢复以及副本利用；
所述的副本利用过程具体为：
所述的元数据处理单元对元数据副本依次进行快照和克隆，生成克隆元数据快照，将克隆元数据快照挂载到数据库并通过对象存储网关以只读方式读取灾备对象存储中的大对象，为第三方数据分析、数据挖掘、开发测试等系统提供数据，既保证了生产对象存储的安全，又充分利用了生产对象存储的数据。
数据库以及生产对象存储的恢复包括损坏恢复和历史恢复；
损坏恢复过程具体为：所述的元数据处理单元将最新的元数据副本恢复至数据库，所述的生产对象存储与灾备对象存储同步；
历史恢复具体为：所述的元数据处理单元将指定时间点的元数据副本的快照恢复至数据库，所述的灾备对象存储通过查询数据库查询对应的大对象，并将该大对象恢复至生产对象存储，即可达到恢复到历史时间点的效果。
实施例1和实施例2提出了一种现代应用的副本数据管理系统及方法，针对现代应用系统特性，通过副本数据管理技术，将现代应用系统的大、小对象、业务元数据以及对象元数据进行保护以及备份数据的再利用，充分发挥备份数据的价值，并通过实现一个对象存储网关，将小对象合并成大对象，使对象存储中数据能快速的迁移到副本数据管理系统中，在需要恢复的时候能快速地恢复，大幅提升数据保护的性能，解决现代应用中的数据的保护和再利用问题。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种现代应用的副本数据管理系统，其特征在于，包括：
现代应用模块，包括业务单元、对象存储网关、生产对象存储和数据库，所述的业务单元用于上传大、小对象并生成业务元数据，所述的对象存储网关用于在生产对象存储中写入和读取大、小对象，将小对象合并为大对象并同时生成对象元数据，所述的数据库用于存储业务元数据和对象元数据；
副本数据管理模块，包括元数据处理单元和灾备对象存储，所述的元数据处理单元用于对数据库进行备份，生成元数据副本，所述的灾备对象存储用于对生产对象存储进行备份；
利用元数据副本及其快照实现现代应用模块的恢复以及副本利用；
所述的副本利用过程具体为：
所述的元数据处理单元对元数据副本依次进行快照和克隆，生成克隆元数据快照，将克隆元数据快照挂载到数据库并通过对象存储网关以只读方式读取灾备对象存储中的大对象。
2.根据权利要求1所述的一种现代应用的副本数据管理系统，其特征在于，所述的业务单元向对象存储网关发送对象写请求和对象读请求；
所述的对象存储网关接收到对象写请求时将上传至业务单元的大、小对象存储至生产对象存储，当生产对象存储中的小对象数据量达到设定阈值时对象存储网关将小对象合并为大对象；
所述的对象存储网关接收到对象读请求时先检测否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象。
3.根据权利要求1所述的一种现代应用的副本数据管理系统，其特征在于，所述的现代应用模块的恢复包括损坏恢复和历史恢复；
所述的损坏恢复过程具体为：所述的元数据处理单元将最新的元数据副本恢复至数据库，所述的生产对象存储与灾备对象存储同步；
所述的历史恢复具体为：所述的元数据处理单元将指定时间点的元数据副本的快照恢复至数据库，所述的灾备对象存储通过查询数据库查询对应的大对象，并将该大对象恢复至生产对象存储。
4.根据权利要求1所述的一种现代应用的副本数据管理系统，其特征在于，所述的业务元数据包括用户信息、用户权限、用户文件存储信息和对象名称，所述的对象元数据包括大对象名称、偏移量和长度。
5.根据权利要求1所述的一种现代应用的副本数据管理系统，其特征在于，所述的对象存储网关采用对象存储S3接口。
6.一种现代应用的副本数据管理方法，其特征在于，具体为：
业务单元生成大、小对象以及业务元数据，对象存储网关将大、小对象写入生产对象存储并将小对象合成为大对象，同时生成对象元数据，将业务元数据和对象元数据存储至数据库，元数据处理单元对数据库进行备份生成元数据副本，灾备对象存储对生产对象存储进行备份；
利用元数据副本及其快照实现数据库和生产对象存储的恢复以及副本利用；
所述的副本利用过程具体为：
所述的元数据处理单元对元数据副本依次进行快照和克隆，生成克隆元数据快照，将克隆元数据快照挂载到数据库并通过对象存储网关以只读方式读取灾备对象存储中的大对象。
7.根据权利要求6所述的一种现代应用的副本数据管理方法，其特征在于，所述的业务单元向对象存储网关发送对象写请求和对象读请求；
所述的对象存储网关接收到对象写请求时将上传至业务单元的大、小对象存储至生产对象存储，当生产对象存储中的小对象数据量达到设定阈值时对象存储网关将小对象合并为大对象；
所述的对象存储网关接收到对象读请求时先检测否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象。
8.根据权利要求6所述的一种现代应用的副本数据管理方法，其特征在于，所述的恢复包括损坏恢复和历史恢复；
所述的损坏恢复过程具体为：所述的元数据处理单元将最新的元数据副本恢复至数据库，所述的生产对象存储与灾备对象存储同步；
所述的历史恢复具体为：所述的元数据处理单元将指定时间点的元数据副本的快照恢复至数据库，所述的灾备对象存储通过查询数据库查询对应的大对象，并将该大对象恢复至生产对象存储。
9.根据权利要求6所述的一种现代应用的副本数据管理方法，其特征在于，所述的业务元数据包括用户信息、用户权限、用户文件存储信息和对象名称，所述的对象元数据包括大对象名称、偏移量和长度。
10.根据权利要求6所述的一种现代应用的副本数据管理方法，其特征在于，所述的对象存储网关采用对象存储S3接口。
CN202010290216.1A 2020-04-14 2020-04-14 一种现代应用的副本数据管理系统及方法 Active CN111581016B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010290216.1A CN111581016B (zh) 2020-04-14 2020-04-14 一种现代应用的副本数据管理系统及方法
PCT/CN2020/124230 WO2021208402A1 (zh) 2020-04-14 2020-10-28 现代应用的副本数据管理系统及方法
US17/996,248 US20230214301A1 (en) 2020-04-14 2020-10-28 Copy Data Management System and Method for Modern Application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010290216.1A CN111581016B (zh) 2020-04-14 2020-04-14 一种现代应用的副本数据管理系统及方法

Publications (2)

Publication Number Publication Date
CN111581016A CN111581016A (zh) 2020-08-25
CN111581016B true CN111581016B (zh) 2021-05-18

Family

ID=72122574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010290216.1A Active CN111581016B (zh) 2020-04-14 2020-04-14 一种现代应用的副本数据管理系统及方法

Country Status (3)

Country Link
US (1) US20230214301A1 (zh)
CN (1) CN111581016B (zh)
WO (1) WO2021208402A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581016B (zh) * 2020-04-14 2021-05-18 上海爱数信息技术股份有限公司 一种现代应用的副本数据管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578599A (zh) * 2006-08-07 2009-11-11 米谋萨系统有限公司 数据的动态大块到砖块转换
CN101854388A (zh) * 2010-05-17 2010-10-06 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及系统
CN103838646A (zh) * 2014-02-13 2014-06-04 中国科学院国家天文台 一种用于地面应用大数据异地容灾备份的系统和方法
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统
CN104978351A (zh) * 2014-04-09 2015-10-14 中国电信股份有限公司 海量小文件备份方法与云存储网关
US9529808B1 (en) * 2012-07-16 2016-12-27 Tintri Inc. Efficient and flexible organization and management of file metadata
US10013314B2 (en) * 2014-04-02 2018-07-03 Commvault Systems, Inc. Information management by a media agent in the absence of communications with a storage manager
CN109067733A (zh) * 2018-07-27 2018-12-21 成都华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386438B2 (en) * 2009-03-19 2013-02-26 Symantec Corporation Method for restoring data from a monolithic backup
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全系统及方法
US8832493B2 (en) * 2010-12-22 2014-09-09 Cleversafe, Inc. Storing directory metadata in a dispersed storage network
US9294564B2 (en) * 2011-06-30 2016-03-22 Amazon Technologies, Inc. Shadowing storage gateway
US9069955B2 (en) * 2013-04-30 2015-06-30 International Business Machines Corporation File system level data protection during potential security breach
CN104133882B (zh) * 2014-07-28 2017-06-23 四川大学 一种基于hdfs的小文件处理方法
US10565230B2 (en) * 2015-07-31 2020-02-18 Netapp, Inc. Technique for preserving efficiency for replication between clusters of a network
CN106790434B (zh) * 2016-12-05 2020-03-27 上海爱数信息技术股份有限公司 网络数据的管理方法、网络附属存储网关及存储服务系统
CN106686148A (zh) * 2017-03-20 2017-05-17 郑州云海信息技术有限公司 一种用于提高对象存储系统中对象上传速度的方法和系统
CN109976941B (zh) * 2017-12-28 2022-12-13 华为技术有限公司 一种数据恢复方法和装置
WO2020009737A1 (en) * 2018-07-06 2020-01-09 Snowflake Inc. Data replication and data failover in database systems
US11341234B1 (en) * 2019-06-05 2022-05-24 EMC IP Holding Company LLC System for securely recovering backup and data protection infrastructure
CN111581016B (zh) * 2020-04-14 2021-05-18 上海爱数信息技术股份有限公司 一种现代应用的副本数据管理系统及方法
US11625306B2 (en) * 2020-11-04 2023-04-11 Netapp, Inc. Data connector component for implementing data requests
US11567835B2 (en) * 2021-04-25 2023-01-31 Kyndryl, Inc. Data protection and recovery
US20230083104A1 (en) * 2021-09-10 2023-03-16 Vmware, Inc. Efficiently Deleting Snapshots in a Log-Structured File System (LFS)-Based Storage System
US11663083B2 (en) * 2021-10-29 2023-05-30 EMC IP Holding Company LLC Cyber-related data recovery

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578599A (zh) * 2006-08-07 2009-11-11 米谋萨系统有限公司 数据的动态大块到砖块转换
CN101854388A (zh) * 2010-05-17 2010-10-06 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及系统
US9529808B1 (en) * 2012-07-16 2016-12-27 Tintri Inc. Efficient and flexible organization and management of file metadata
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统
CN103838646A (zh) * 2014-02-13 2014-06-04 中国科学院国家天文台 一种用于地面应用大数据异地容灾备份的系统和方法
US10013314B2 (en) * 2014-04-02 2018-07-03 Commvault Systems, Inc. Information management by a media agent in the absence of communications with a storage manager
CN104978351A (zh) * 2014-04-09 2015-10-14 中国电信股份有限公司 海量小文件备份方法与云存储网关
CN109067733A (zh) * 2018-07-27 2018-12-21 成都华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置

Also Published As

Publication number Publication date
US20230214301A1 (en) 2023-07-06
CN111581016A (zh) 2020-08-25
WO2021208402A1 (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
US11429305B2 (en) Performing backup operations using replicas
US9658928B2 (en) File-based cluster-to-cluster replication recovery
US9348827B1 (en) File-based snapshots for block-based backups
AU2009324800C1 (en) Method and system for managing replicated database data
CN107256182B (zh) 一种数据库还原的方法及设备
CN111078667B (zh) 一种数据迁移的方法以及相关装置
US11914554B2 (en) Adaptable multi-layered storage for deduplicating electronic messages
US11194669B2 (en) Adaptable multi-layered storage for generating search indexes
US11392460B2 (en) Adaptable multi-layer storage with controlled restoration of protected data
US11681586B2 (en) Data management system with limited control of external compute and storage resources
US11080142B2 (en) Preservation of electronic messages between snapshots
CN104461773A (zh) 一种虚拟机备份去重的方法
CN113360322A (zh) 一种基于备份系统恢复数据的方法及设备
CN112800019A (zh) 基于Hadoop分布式文件系统的数据备份方法及系统
CN111581016B (zh) 一种现代应用的副本数据管理系统及方法
CN111581017B (zh) 一种现代应用的备份恢复系统及方法
CN109753381B (zh) 一种基于对象存储的持续数据保护方法
US8195612B1 (en) Method and apparatus for providing a catalog to optimize stream-based data restoration
CN111078359B (zh) 一种通过目录映射实现虚机即时恢复的方法及系统
US8595271B1 (en) Systems and methods for performing file system checks
CN112346907B (zh) 一种基于异构对象存储的数据备份恢复方法及系统
CN111858159A (zh) 一种基于链式克隆特性实现的备份方法与系统
CN116107811A (zh) 数据备份方法、数据恢复方法、装置、介质及电子设备
CN111581015B (zh) 一种现代应用的持续数据保护系统及方法
CN116048874A (zh) 基于云环境的数据备份方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant