CN111581015B - 一种现代应用的持续数据保护系统及方法 - Google Patents
一种现代应用的持续数据保护系统及方法 Download PDFInfo
- Publication number
- CN111581015B CN111581015B CN202010289773.1A CN202010289773A CN111581015B CN 111581015 B CN111581015 B CN 111581015B CN 202010289773 A CN202010289773 A CN 202010289773A CN 111581015 B CN111581015 B CN 111581015B
- Authority
- CN
- China
- Prior art keywords
- production
- database
- object storage
- disaster tolerance
- storage gateway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004519 manufacturing process Methods 0.000 claims abstract description 298
- 238000011084 recovery Methods 0.000 claims description 17
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 230000010076 replication Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种现代应用的持续数据保护系统及方法,该系统包括:现代应用模块,包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库;容灾业务模块,包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库;数据保护模块,用于将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库。与现有技术相比,本发明具有安全性好、效率高等优点。
Description
技术领域
本发明涉及一种计算机数据保护技术,尤其是涉及一种现代应用的持续数据保护系统及方法。
背景技术
随着互联网的快速发展,云技术的落地,移动办公、跨地域协作越来越多,在这样的背景下,基于对象存储构建的现代应用系统应运而生并快速发展,现代应用系统包括业务单元、数据库以及对象存储,特点是数据保存在对象存储中,元数据保存在数据库中,要保证整个现代应用系统的业务连续性,成为当前面临的一个难题。
当前通常采用复制对象存储的方法实现持续数据保护,即将对象存储中的数据持续复制到同城或者异地的对象存储,复制时间长。
现有技术也给出了一些解决方案,中国专利CN200910236822.9提出了一种对象存储方法及其系统,该方法包括:客户端在进行写操作时,从元数据服务器读取写操作的对象文件的复本位置信息,根据复本位置信息,向主复本所在对象存储服务器发送写请求;主复本所在对象存储服务器接收写请求,更新本地的主复本,并将写请求转发给备份复本所在对象存储服务器;备份复本所在对象存储服务器接收到写请求后,更新本地的备份复本,并向主复本所在对象存储服务器发送应答;主复本所在对象存储服务器接收应答,当接收到部分备份复本的对象存储服务器的应答后,向客户端发送写操作成功应答,能够提高存储系统中写性能。
但该专利存在以下问题:
该专利只是对对象文件进行保护,对元数据服务器没有持续保护措施,当业务系统故障时,只有数据而无业务系统元数据,无法恢复业务;
该专利直接将对象文件作为复制的单元,遇到数量多、数据体积少的对象文件时复制时间以及数据回迁时间仍然很长,导致长时间的业务中断,数据丢失的风险也随着时间的延长而增加,无法满足持续数据保护的要求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种现代应用的持续数据保护系统及方法,安全性好,效率高。
本发明的目的可以通过以下技术方案来实现:
一种现代应用的持续数据保护系统,包括:
现代应用模块,包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库,所述的生产业务单元用于接受小对象并生成业务元数据,所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称,所述的生产业务数据库用于存储业务元数据,所述的现代应用模块访问生产对象存储的地址改为生产对象存储网关的地址,使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管,所述的生产对象存储网关用于接收和发送大、小对象,所述的生产对象存储用于存储大、小对象,并将小对象合并为大对象,同时将生成的对象元数据存储在生产对象数据库中,所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度;
容灾业务模块,包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库,所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口;
数据保护模块,用于将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,同时持续对生产业务数据库和生产对象数据库进行日志复制,生成日志副本并记录时间点;
初始化后数据保护模块将生产业务数据库实时同步到容灾业务数据库,所述的生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关,所述的生产对象存储网关删除已完成发送的小对象,所述的容灾对象存储网关将小对象合并为大对象,并将对应生成的对象元数据存储在容灾对象数据库,通过容灾业务模块接管发生故障的现代应用模块,保证业务的连续,新数据全部保存至容灾业务模块中。
初始化过程具体为:所述的数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,通过生产对象存储网关和容灾对象存储网关将生产对象存储中的大对象复制到容灾对象存储中。
进一步地,当现代应用模块修复后,所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库,同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关,再存储至生产对象存储,完成增量同步,实现业务回迁和新的持续数据保护,避免重新做一次全量同步,提高效率;;
如果将需要恢复到现代应用模块恢复至历史版本,则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,再通过查询生产对象数据库查询对应的大对象,并将大对象恢复至生产对象存储,实现恢复到历史时间点的效果。
进一步地,所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求;
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关,所述的生产对象存储网关先将小对象或大对象写入生产对象存储,当小对象数据量达到设定阈值时将小对象合并成1个大对象,生成对象元数据并存入生产对象数据库;
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据,若有则根据对象元数据访问大对象中指定位置以及长度的数据,否则直接读取大对象。
一种现代应用的持续数据保护方法,具体为:
生产业务单元接收小对象并生成业务元数据,将业务元数据存储在生产业务数据库中,访问生产对象存储的地址改为生产对象存储网关的地址,使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管,所述的生产对象存储网关接收大、小对象并存储在生产对象存储中,所述的生产对象存储对小对象进行合并,并将同时生成的对象元数据存储在生产对象数据库中,所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称,所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度;
建立与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库对应相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库;
将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库,所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口,实现对象存储常用接口;
将生产对象存储中的大对象复制到容灾对象存储中,生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关,所述的生产对象存储网关删除已完成发送的小对象,所述的容灾对象存储网关将小对象合并为大对象,并将对应生成的对象元数据存储在容灾对象数据库,通过容灾业务模块接管发生故障的现代应用模块;
进一步地,当现代应用模块修复后,所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库,同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关,再存储至生产对象存储,完成增量同步,实现业务回迁和新的持续数据保护;
如果将需要恢复到现代应用模块恢复至历史版本,则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,再通过查询生产对象数据库查询对应的大对象,并将大对象恢复至生产对象存储,实现恢复到历史时间点的效果。
进一步地,所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求;
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关,所述的生产对象存储网关先将小对象或大对象写入生产对象存储,当小对象数据量达到设定阈值时将小对象合并成1个大对象,生成对象元数据并存入生产对象数据库;
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据,若有则根据对象元数据访问大对象中指定位置以及长度的数据,否则直接读取大对象。
与现有技术相比,本发明具有以如下有益效果:
(1)本发明通过对象存储网关接收和发送大、小对象,通过数据保护模块同步业务元数据和对象元数据,现代应用模块和容灾业务模块结构相同,只需完成一次全量复制,即将生产业务数据库和生产对象数据库同步至容灾业务数据库和容灾对象数据库,将生产对象存储中的大对象发送至容灾对象存储,之后只需通过数据保护模块实时同步生产业务数据库和容灾业务数据库,并通过对象存储网关将生产对象存储中新增的小对象发送至容灾对象存储,容灾对象存储再合并小对象,将新生成的对象元数据存储至容灾对象数据库,实现增量复制,效率高,同时在现代应用模块出现故障时可由容灾业务模块接管,保证业务连续,现代应用模块修复后只需将容灾业务模块中新增的数据回迁即可完成业务回迁,速度快;
(2)本发明持续对生产业务数据库和生产对象数据库进行日志复制,生成日志副本并记录时间点,根据日志和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,操作方便,安全性好;
(3)本发明通过生产对象存储网关自动将达到一定数据量的小对象合并为大对象,对大对象进行传输,提高了数据传输的效率。
附图说明
图1为本发明的系统结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
一种现代应用的持续数据保护系统,如图1,包括现代应用模块、容灾业务模块和数据保护模块;
现代应用模块包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库,生产业务单元用于接受小对象并生成业务元数据,业务元数据包括用户信息、用户权限、文件信息以及对象名称,生产业务数据库用于存储业务元数据,现代应用模块访问生产对象存储的地址改为生产对象存储网关的地址,使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管,生产对象存储网关用于接收和发送大、小对象,生产对象存储用于存储大、小对象,并将小对象合并为大对象,同时将生成的对象元数据存储在生产对象数据库中,对象元数据包括小对象合并后对应的大对象名称、偏移量和长度;
生产业务单元访问生产对象存储的地址为生产对象存储网关的地址,即生产业务单元通过生产对象存储网关访问生产对象存储,生产业务单元向生产对象存储网关发送对象写请求和对象读请求;
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关,生产对象存储网关先将小对象或大对象写入生产对象存储,当小对象数据量达到设定阈值时将小对象合并成1个大对象,生成对象元数据并存入生产对象数据库;当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据,若有则根据对象元数据访问大对象并生成小对象,否则直接读取大对象;
容灾业务模块包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库,生产对象存储网关和容灾对象存储网关采用对象存储S3接口;
数据保护模块用于将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库,同时持续对生产业务数据库和生产对象数据库进行日志复制,生成日志副本并记录时间点;
将生产对象存储中的大对象复制到容灾对象存储中,完成初始化,数据保护模块实时将生产业务数据库同步至容灾业务数据库,生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关,生产对象存储网关删除已完成发送的小对象,容灾对象存储网关将小对象合并为大对象,并将对应生成的对象元数据存储在容灾对象数据库,通过容灾业务模块接管发生故障的现代应用模块,保证业务的连续,新数据全部保存至容灾业务模块中;
当现代应用模块修复后,数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库,同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关,再存储至生产对象存储,完成增量同步,实现业务回迁和新的持续数据保护,避免重新做一次全量同步,提高效率;
如果将需要恢复到现代应用模块恢复至历史版本,则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,再通过查询生产对象数据库查询对应的大对象,并将大对象恢复至生产对象存储,实现恢复到历史时间点的效果。
以文档云为例,文档云中有许多的用户,用户有大量的图片、文档等文件,这些文件保存在生产对象存储中,为了保证业务的连续性,需要建容灾业务模块。
实施例2
与实施例1对应的一种现代应用的持续数据保护方法,具体为:
生产业务单元接收小对象并生成业务元数据,将业务元数据存储在生产业务数据库中,访问生产对象存储的地址改为生产对象存储网关的地址,使访问生产对象存储的操作全部由生产对象存储网关接管,生产对象存储网关接收大、小对象并存储在生产对象存储中,生产对象存储对小对象进行合并,并将同时生成的对象元数据存储在生产对象数据库中,业务元数据包括用户信息、用户权限、文件信息以及对象名称,对象元数据包括小对象合并后对应的大对象名称、偏移量和长度;
建立与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库对应相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库,将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库,生产对象存储网关和容灾对象存储网关采用对象存储S3接口,实现对象存储常用接口;
数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,并持续对生产业务数据库和生产对象数据库进行日志复制,生成日志副本并记录时间点;
将生产对象存储中的大对象复制到容灾对象存储中,生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关,生产对象存储网关删除已完成发送的小对象,容灾对象存储网关将小对象合并为大对象,并将对应生成的对象元数据存储在容灾对象数据库,生产业务单元访问生产对象存储的地址为生产对象存储网关的地址,即生产业务单元通过生产对象存储网关访问生产对象存储。
现代应用模块向生产对象存储网关发送对象写请求和对象读请求;
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关,生产对象存储网关先将小对象或大对象写入生产对象存储,当小对象数据量达到设定阈值时将小对象合并成1个大对象,此时不删除小对象,生成对象元数据并存入生产对象数据库;
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据,若有则根据对象元数据访问大对象中指定位置以及长度的数据,否则直接读取大对象。
现代应用模块发生故障时容灾业务模块接管的现代应用模块,当现代应用模块修复后,数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库,同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关,再存储至生产对象存储,完成增量同步,实现业务回迁和新的持续数据保护,避免重新做一次全量同步,提高效率;
如果将需要恢复到现代应用模块恢复至历史版本,则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,再通过查询生产对象数据库查询对应的大对象,并将大对象恢复至生产对象存储,实现恢复到历史时间点的效果。
以文档云为例,文档云中有许多的用户,用户有大量的图片、文档等文件,这些文件保存在生产对象存储中,为了保证业务的连续性,需要建容灾业务模块。
实施例1和实施例2提出了一种现代应用的持续数据保护系统及方法,解决了现代应用模块持续数据保护的问题,在现代应用模块出现故障时,可快速通过容灾业务模块来接管业务并提供服务,现代应用模块修复后可快速进行业务回迁,满足业务连续性的要求。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (4)
1.一种现代应用的持续数据保护系统,其特征在于,包括:
现代应用模块,包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库,所述的生产业务单元用于接受小对象并生成业务元数据,所述的生产业务数据库用于存储业务元数据,所述的现代应用模块访问生产对象存储的地址改为生产对象存储网关的地址,使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管,所述的生产对象存储网关用于接收和发送大、小对象,并将小对象合并为大对象,同时将生成的对象元数据存储在生产对象数据库中,所述的生产对象存储用于存储大、小对象;
容灾业务模块,包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库;
数据保护模块,用于将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,并持续对生产业务数据库和生产对象数据库进行日志复制,生成日志副本并记录时间点;
初始化后数据保护模块实时将生产业务数据库同步至容灾业务数据库,生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关,所述的生产对象存储网关删除已完成发送的小对象,所述的容灾对象存储网关将小对象合并为大对象,并将对应生成的对象元数据存储在容灾对象数据库,通过容灾业务模块接管发生故障的现代应用模块;
初始化过程具体为:所述的数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,通过生产对象存储网关和容灾对象存储网关将生产对象存储中的大对象复制到容灾对象存储中;
所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库,同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关,再存储至生产对象存储,实现数据回迁;
所述的数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,再通过查询生产对象数据库查询对应的大对象,并将大对象恢复至生产对象存储,实现历史恢复;
所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求;
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关,所述的生产对象存储网关先将小对象或大对象写入生产对象存储,当小对象数据量达到设定阈值时将小对象合并成1个大对象,生成对象元数据并存入生产对象数据库;
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据,若有则根据对象元数据访问大对象中指定位置以及长度的数据,否则直接读取大对象;
所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称,所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度。
2.根据权利要求1所述的一种现代应用的持续数据保护系统,其特征在于,所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口。
3.一种现代应用的持续数据保护方法,其特征在于,具体为:
生产业务单元接收小对象并生成业务元数据,将业务元数据存储在生产业务数据库中,访问生产对象存储的地址改为生产对象存储网关的地址,使访问生产对象存储的操作全部由生产对象存储网关接管,所述的生产对象存储网关接收大、小对象并存储在生产对象存储中,同时对小对象进行合并,并将同时生成的对象元数据存储在生产对象数据库中;
建立与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库对应相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库;
数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,并持续对生产业务数据库和生产对象数据库进行日志复制,生成日志副本并记录时间点;
初始化后数据保护模块实时将生产业务数据库同步至容灾业务数据库,生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关,所述的生产对象存储网关删除已完成发送的小对象,所述的容灾对象存储网关将小对象合并为大对象,并将对应生成的对象元数据存储在容灾对象数据库,通过容灾业务模块接管发生故障的现代应用模块;
初始化过程具体为:将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库,将生产对象存储中的大对象复制到容灾对象存储中;
所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库,同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关,再存储至生产对象存储,实现数据回迁;
所述的数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点,再通过查询生产对象数据库查询对应的大对象,并将大对象恢复至生产对象存储,实现历史恢复;
所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求;
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关,所述的生产对象存储网关先将小对象或大对象写入生产对象存储,当小对象数据量达到设定阈值时将小对象合并成1个大对象,生成对象元数据并存入生产对象数据库;
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据,若有则根据对象元数据访问大对象中指定位置以及长度的数据,否则直接读取大对象;
所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称,所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度。
4.根据权利要求3所述的一种现代应用的持续数据保护方法,其特征在于,所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010289773.1A CN111581015B (zh) | 2020-04-14 | 2020-04-14 | 一种现代应用的持续数据保护系统及方法 |
US17/996,190 US20240281546A1 (en) | 2020-04-14 | 2020-10-28 | Continuous Data Protection System and Method for Modern Applications |
PCT/CN2020/124229 WO2021208401A1 (zh) | 2020-04-14 | 2020-10-28 | 现代应用的持续数据保护系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010289773.1A CN111581015B (zh) | 2020-04-14 | 2020-04-14 | 一种现代应用的持续数据保护系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111581015A CN111581015A (zh) | 2020-08-25 |
CN111581015B true CN111581015B (zh) | 2021-06-29 |
Family
ID=72126508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010289773.1A Active CN111581015B (zh) | 2020-04-14 | 2020-04-14 | 一种现代应用的持续数据保护系统及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240281546A1 (zh) |
CN (1) | CN111581015B (zh) |
WO (1) | WO2021208401A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111581015B (zh) * | 2020-04-14 | 2021-06-29 | 上海爱数信息技术股份有限公司 | 一种现代应用的持续数据保护系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838646A (zh) * | 2014-02-13 | 2014-06-04 | 中国科学院国家天文台 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
CN103875229A (zh) * | 2013-12-02 | 2014-06-18 | 华为技术有限公司 | 异步复制方法、装置与系统 |
CN109067733A (zh) * | 2018-07-27 | 2018-12-21 | 成都华为技术有限公司 | 发送数据的方法和装置,以及接收数据的方法和装置 |
US10216580B1 (en) * | 2018-03-29 | 2019-02-26 | Model9 Software Ltd. | System and method for mainframe computers backup and restore on object storage systems |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7020697B1 (en) * | 1999-10-01 | 2006-03-28 | Accenture Llp | Architectures for netcentric computing systems |
US6957221B1 (en) * | 2002-09-05 | 2005-10-18 | Unisys Corporation | Method for capturing a physically consistent mirrored snapshot of an online database from a remote database backup system |
US8117165B1 (en) * | 2008-04-30 | 2012-02-14 | Netapp, Inc. | Disk-to-disk backup of database archive logs |
CN103092927B (zh) * | 2012-12-29 | 2016-01-20 | 华中科技大学 | 一种分布式环境下的文件快速读写方法 |
CN107038091B (zh) * | 2017-03-29 | 2019-07-26 | 国网山东省电力公司信息通信公司 | 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法 |
CN107220005A (zh) * | 2017-05-27 | 2017-09-29 | 郑州云海信息技术有限公司 | 一种数据操作方法及系统 |
CN108958969B (zh) * | 2018-05-08 | 2019-09-17 | 杭州数梦工场科技有限公司 | 数据库灾备方法、装置及灾备系统 |
CN111581015B (zh) * | 2020-04-14 | 2021-06-29 | 上海爱数信息技术股份有限公司 | 一种现代应用的持续数据保护系统及方法 |
-
2020
- 2020-04-14 CN CN202010289773.1A patent/CN111581015B/zh active Active
- 2020-10-28 US US17/996,190 patent/US20240281546A1/en active Pending
- 2020-10-28 WO PCT/CN2020/124229 patent/WO2021208401A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103875229A (zh) * | 2013-12-02 | 2014-06-18 | 华为技术有限公司 | 异步复制方法、装置与系统 |
CN103838646A (zh) * | 2014-02-13 | 2014-06-04 | 中国科学院国家天文台 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
US10216580B1 (en) * | 2018-03-29 | 2019-02-26 | Model9 Software Ltd. | System and method for mainframe computers backup and restore on object storage systems |
CN109067733A (zh) * | 2018-07-27 | 2018-12-21 | 成都华为技术有限公司 | 发送数据的方法和装置,以及接收数据的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021208401A1 (zh) | 2021-10-21 |
US20240281546A1 (en) | 2024-08-22 |
CN111581015A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11429305B2 (en) | Performing backup operations using replicas | |
US9658928B2 (en) | File-based cluster-to-cluster replication recovery | |
US8914595B1 (en) | Snapshots in deduplication | |
US8712962B1 (en) | Snapshots in de-duplication | |
US9069479B1 (en) | Snapshots in deduplication | |
WO2018059441A1 (zh) | 数据处理方法和系统及装置 | |
KR101662212B1 (ko) | 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법 | |
US8762342B1 (en) | Method of inserting a validated time-image on the primary CDP subsystem in a continuous data protection and replication (CDP/R) subsystem | |
CN111078667B (zh) | 一种数据迁移的方法以及相关装置 | |
US11907078B2 (en) | Data backup method, apparatus, and system | |
CN110569269A (zh) | 一种数据同步方法及系统 | |
CN111581017B (zh) | 一种现代应用的备份恢复系统及方法 | |
WO2020063600A1 (zh) | 数据容灾方法与站点 | |
CN112800019A (zh) | 基于Hadoop分布式文件系统的数据备份方法及系统 | |
CN113885809B (zh) | 数据管理系统及方法 | |
CN111581015B (zh) | 一种现代应用的持续数据保护系统及方法 | |
CN103544081B (zh) | 双元数据服务器的管理方法和装置 | |
CN113076298A (zh) | 分布式小文件存储系统 | |
CN115658391A (zh) | 基于QianBase MPP数据库的WAL机制的备份恢复方法 | |
CN111581016B (zh) | 一种现代应用的副本数据管理系统及方法 | |
CN111522688A (zh) | 分布式系统的数据备份方法及装置 | |
CN112346907B (zh) | 一种基于异构对象存储的数据备份恢复方法及系统 | |
KR102089710B1 (ko) | 연속 데이터 관리 시스템 및 방법 | |
CN116339609A (zh) | 一种数据处理方法以及存储设备 | |
US11645333B1 (en) | Garbage collection integrated with physical file verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |