CN114721873A - 一种异步执行数据备份与恢复系统 - Google Patents
一种异步执行数据备份与恢复系统 Download PDFInfo
- Publication number
- CN114721873A CN114721873A CN202210383459.9A CN202210383459A CN114721873A CN 114721873 A CN114721873 A CN 114721873A CN 202210383459 A CN202210383459 A CN 202210383459A CN 114721873 A CN114721873 A CN 114721873A
- Authority
- CN
- China
- Prior art keywords
- backup
- database
- state
- recovery
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 53
- 230000010365 information processing Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种异步执行数据备份与恢复系统，属于Java/云平台技术领域，包含三部分：信息处理模块，接收用户操作，将消息转发到事件执行模块，并及时反馈数据所处状态；事件执行模块，异步执行备份及恢复等耗时较长的执行计划；定时任务模块，定时执行备份计划。支持查询当前数据处于备份中、恢复中、备份成功(或失败)、恢复成功(或失败)等状态。支持定时备份任务，可通过配置执行周期以及执行时间，定时执行数据的备份任务。
Description
技术领域
本发明涉及Java/云平台技术领域，尤其涉及一种异步执行数据备份与恢复系统。
背景技术
同步是指一个进程在接受到调用请求之后，该请求需要业务处理完毕之后才会返回响应信息，如果业务处理是个长时的过程，则请求会被阻塞，等待业务处理完毕并返回响应信息。异步是指一个进程在接收到请求之后，不需要一直等待下去，而是将业务处理交给其他的线程进行处理，而直接返回响应信息。
数据备份能够防止因操作失误或者系统故障从而导致的数据丢失，将数据库当中的全部数据以及部分数据从系统应用当中提取并保存到其他存储介质。数据备份是容灾的基础，数据安全性及可靠性需求度的提高，数据备份的重要性尤为突出，随着技术的发展，海量的数据持续增加，越来越多的数据备份选择网络备份，即将数据备份文件保存至云端服务。
数据恢复是将已有的数据备份文件导入到数据库服务存储，如果为云端备份存储，则系统会将备份文件从云端下载至本地并伴随着文件的解析实时将数据写入至数据库存储服务当中。
定时任务是指基于给定的时间点、周期频率、执行次数或者时间间隔，自动执行相关任务的过程。在很多的情况下任务并非需要立即执行，而是需要定期的去执行，因此需要创建定时任务去遵循制定的策略以及规则，定时执行具体的任务。
发明内容
为了解决以上技术问题，本发明提供了一种异步执行数据备份与恢复系统。能够异步执行数据的备份与恢复，及时反馈数据处于备份中及恢复中状态，无需等待数据备份及恢复成功(或失败)才通知用户其数据处理的状态。支持查询当前数据处于备份中、恢复中、备份成功(或失败)、恢复成功(或失败)等状态。支持定时备份任务，可通过配置执行周期以及执行时间，定时执行数据的备份任务。
本发明的技术方案是：
一种异步执行数据备份与恢复系统，
包含三部分：
信息处理模块，接收用户操作，将消息转发到事件执行模块，并及时反馈数据所处状态；
事件执行模块，异步执行备份及恢复等耗时较长的执行计划；
定时任务模块，定时执行备份计划。
进一步的，
信息处理模块
信息处理模块，在用户调用备份或恢复操作接口时，将任务处理通知到事件执行模块，并直接将调用成功的消息及时反馈给用户。
在接收用户执行请求之后，对数据库状态进行判断，如果此时数据库处于正常的运行状态，则修改数据库状态为备份中或者恢复中，并将消息通知到事件执行模块，不必等待事件执行模块的处理结果，而是直接返回响应信息，反馈用户任务请求已受理，数据库目前处于备份中(或者恢复中)状态；如果在对数据库状态进行判断时，数据库处于异常状态或者正在进行其他任务，则直接返回响应信息，反馈用户其操作请求失败。
进一步的，
事件执行模块
在接收到备份或恢复任务通知后，执行系统数据的备份或恢复任务，在备份或者恢复数据成功(或失败)后，修改数据库的状态并进行状态的记录。
获取信息处理模块的任务通知后，对数据库实际运行状态进行判断，如果数据库正常运行且未进行其他操作，则进入数据备份或恢复的执行状态，此时数据的备份以及恢复执行时间可能较长，待执行完毕之后，可将备份文件保存与云端进行存储，并修改数据库的状态为备份\恢复成功(或者备份\恢复失败)，将执行情况通知给用户。
进一步的，
定时任务模块
根据用户所配置的备份策略，按其制定的周期频次以及执行时间，定时执行备份任务，并修改数据库状态。
数据库会根据其制定的备份策略，按照周期频率，定时执行备份功能，并将备份文件保存于本地或者保存于云端进行存储。
在制定备份策略时，要查询数据库是否有备份策略，若有则更新已有的备份策略并保存，若无则为数据库创建定时策略并保存；此时后台系统会启动备份策略监控的线程，对策略信息进行实时监控，如果到达任务启动时间，后台系统会按照备份的策略，自动开始执行数据库的备份功能。
本发明的有益效果是
能够降低系统接口的响应时间；
可以解耦业务之间的相关流程关联，降低系统整体的耦合度；
异步处理数据备份及恢复等任务，提高系统的吞吐量；
可将任务先承接下来，然后系统后台处理其相关任务，起到流量削峰的作用。
附图说明
图1是异步请求流程示意图；
图2是信息接收模块流程图；
图3是事件执行模块流程图；
图4是定时任务模块流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
数据库云平台为用户提供了方便快捷的数据库自动化部署环境，并可通过数据库云平台实现数据库中数据的备份以及恢复功能。数据备份与恢复的执行时长，会与数据量成正比(数据量大，则备份与恢复执行时间较长；数据量小，则备份与恢复执行时间较短)，若执行时间较长，平台无法及时反馈用户数据库所处状态。
针对这一问题，本发明提出一种云平台的异步执行数据备份与恢复系统。本方法主要具备以下特点：
1)及时反馈用户数据状态；
2)异步处理备份及恢复等耗时较长的执行计划；
3)可配置备份策略，定时执行备份计划。
本发明设计主要包含三部分：
1)信息处理模块，通过该模块接收用户操作，将消息转发到事件执行模块，并及时反馈数据所处状态；
2)事件执行模块，通过该模块，异步执行备份及恢复等耗时较长的执行计划；
3)定时任务模块，通过该模块可定时执行备份计划。
其中：
1)信息处理模块
信息处理模块，在用户调用备份或恢复等操作接口时，将任务处理通知到事件执行模块，并直接将调用成功的消息及时反馈给用户。
在接收用户执行请求之后，对数据库状态进行判断，如果此时数据库处于正常的运行状态，则修改数据库状态为备份中或者恢复中，并将消息通知到事件执行模块，不必等待事件执行模块的处理结果，而是直接返回响应信息，反馈用户任务请求已受理，数据库目前处于备份中(或者恢复中)状态；如果在对数据库状态进行判断时，数据库处于异常状态或者正在进行其他任务，则直接返回响应信息，反馈用户其操作请求失败。
2)、事件执行模块
在接收到备份或恢复等任务通知后，执行系统数据的备份或恢复等耗时较长的任务，在备份或者恢复数据成功(或失败)后，修改数据库的状态并进行状态的持久化记录。
获取信息处理模块的任务通知后，对数据库实际运行状态进行判断，如果数据库正常运行且未进行其他操作，则进入数据备份或恢复的执行状态，此时数据的备份以及恢复执行时间可能较长，待执行完毕之后，可将备份文件保存与云端进行存储，并修改数据库的状态为备份\恢复成功(或者备份\恢复失败)，将执行情况通知给用户。
3)定时任务模块
根据用户所配置的备份策略，按其制定的周期频次以及执行时间，定时执行备份任务，并修改数据库状态。
为保证数据安全性可靠性，数据库会根据其制定的备份策略，按照周期频率，定时执行备份功能，并将备份文件保存于本地或者保存于云端进行存储。在制定备份策略时，为了保证备份策略的唯一性，要查询数据库是否有备份策略，若有则更新已有的备份策略并保存，若无则为数据库创建定时策略并保存；此时后台系统会启动备份策略监控的线程，对策略信息进行实时监控，如果到达任务启动时间，后台系统会按照备份的策略，自动开始执行数据库的备份功能。
本发明可及时返回响应信息，无需保持对任务的等待状态；后端启动新的线程，对请求任务进行处理，处理完毕会保存处理结果并反馈；按照制定的备份策略信息，按时执行数据备份的操作。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种异步执行数据备份与恢复系统，其特征在于，
包含三部分：
信息处理模块，接收用户操作，将消息转发到事件执行模块，并及时反馈数据所处状态；
事件执行模块，异步执行备份及恢复等耗时较长的执行计划；
定时任务模块，定时执行备份计划。
2.根据权利要求1所述的系统，其特征在于，
信息处理模块
信息处理模块，在用户调用备份或恢复操作接口时，将任务处理通知到事件执行模块，并直接将调用成功的消息及时反馈给用户。
3.根据权利要求2所述的系统，其特征在于，
在接收用户执行请求之后，对数据库状态进行判断，如果此时数据库处于正常的运行状态，则修改数据库状态为备份中或者恢复中，并将消息通知到事件执行模块，不必等待事件执行模块的处理结果，而是直接返回响应信息，反馈用户任务请求已受理，数据库目前处于备份中(或者恢复中)状态；如果在对数据库状态进行判断时，数据库处于异常状态或者正在进行其他任务，则直接返回响应信息，反馈用户其操作请求失败。
4.根据权利要求1所述的系统，其特征在于，
事件执行模块
在接收到备份或恢复任务通知后，执行系统数据的备份或恢复任务，在备份或者恢复数据成功(或失败)后，修改数据库的状态并进行状态的记录。
5.根据权利要求4所述的方法，其特征在于，
获取信息处理模块的任务通知后，对数据库实际运行状态进行判断，如果数据库正常运行且未进行其他操作，则进入数据备份或恢复的执行状态，此时数据的备份以及恢复执行时间可能较长，待执行完毕之后，可将备份文件保存与云端进行存储，并修改数据库的状态为备份\恢复成功(或者备份\恢复失败)，将执行情况通知给用户。
6.根据权利要求1所述的系统，其特征在于，
定时任务模块
根据用户所配置的备份策略，按其制定的周期频次以及执行时间，定时执行备份任务，并修改数据库状态。
7.根据权利要求6所述的系统，其特征在于，
数据库会根据其制定的备份策略，按照周期频率，定时执行备份功能，并将备份文件保存于本地或者保存于云端进行存储。
8.根据权利要求7所述的系统，其特征在于，
在制定备份策略时，要查询数据库是否有备份策略，若有则更新已有的备份策略并保存，若无则为数据库创建定时策略并保存；此时后台系统会启动备份策略监控的线程，对策略信息进行实时监控，如果到达任务启动时间，后台系统会按照备份的策略，自动开始执行数据库的备份功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210383459.9A CN114721873A (zh) | 2022-04-13 | 2022-04-13 | 一种异步执行数据备份与恢复系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210383459.9A CN114721873A (zh) | 2022-04-13 | 2022-04-13 | 一种异步执行数据备份与恢复系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114721873A true CN114721873A (zh) | 2022-07-08 |
Family
ID=82243012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210383459.9A Pending CN114721873A (zh) | 2022-04-13 | 2022-04-13 | 一种异步执行数据备份与恢复系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114721873A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116302701A (zh) * | 2023-03-20 | 2023-06-23 | 广州锦高信息科技有限公司 | mysql数据库定时自动备份方法及系统 |
| CN116382974A (zh) * | 2023-03-21 | 2023-07-04 | 安芯网盾(北京)科技有限公司 | 一种定制化数据的保护处理方法 |
-
2022
- 2022-04-13 CN CN202210383459.9A patent/CN114721873A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116302701A (zh) * | 2023-03-20 | 2023-06-23 | 广州锦高信息科技有限公司 | mysql数据库定时自动备份方法及系统 |
| CN116302701B (zh) * | 2023-03-20 | 2023-09-08 | 广州锦高信息科技有限公司 | mysql数据库定时自动备份方法及系统 |
| CN116382974A (zh) * | 2023-03-21 | 2023-07-04 | 安芯网盾(北京)科技有限公司 | 一种定制化数据的保护处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114721873A (zh) | 一种异步执行数据备份与恢复系统 | |
| CN110941502B (zh) | 消息处理方法、装置、存储介质及设备 | |
| CN110895488B (zh) | 任务调度方法及装置 | |
| CN103562890A (zh) | 在发布/订阅消息系统中管理消息订阅 | |
| CN111857998A (zh) | 一种可配置的定时任务调度方法及系统 | |
| CN110650164B (zh) | 文件的上传方法、装置、终端以及计算机存储介质 | |
| CN114971506A (zh) | 流程引擎与业务事件处理分离的系统及方法 | |
| CN110196749B (zh) | 虚拟机的恢复方法及装置、存储介质及电子装置 | |
| CN110109772B (zh) | 一种cpu的重启方法、通信设备及可读存储介质 | |
| CN112181627A (zh) | 定时任务调度方法、装置及系统 | |
| US20100274758A1 (en) | Data processing method, computer, and data processing program | |
| CN110895486A (zh) | 分布式任务调度系统 | |
| CN109684128B (zh) | 消息中间件的集群整体故障恢复方法、服务器及存储介质 | |
| CN111324617A (zh) | 一种数据库在线热备份的方法和设备 | |
| CN110798339A (zh) | 一种基于分布式任务调度框架的任务容灾方法 | |
| CN116701063B (zh) | 数联网数据语用内存状态数据的持久化方法、装置及系统 | |
| JPH11259326A (ja) | ホットスタンバイシステムおよびホットスタンバイシステムにおける自動再実行方法およびその記録媒体 | |
| CN108804239A (zh) | 平台整合的方法、装置、计算机设备和存储介质 | |
| CN114281603A (zh) | 一种事务对应的消息的发送方法及装置 | |
| CN116340051A (zh) | 数据处理方法、相关装置及设备 | |
| CN110597716A (zh) | 一种多业务触发的故障检测处理系统及方法 | |
| CN115309536B (zh) | 高并发的彩票交易场景下数据一致性方法 | |
| CN114428695B (zh) | 一种针对群体无人系统行为树的异常分级处理方法及系统 | |
| CN111949451A (zh) | 一种数据库操作备份方法及其系统 | |
| CN116893932A (zh) | 一种基于云平台工作流的资源定时快照与备份实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221213 Address after: Room 305-22, Building 2, No. 1158 Zhangdong Road and No. 1059 Dangui Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 200120 Applicant after: Shanghai Yunxi Technology Co.,Ltd. Address before: Building S02, 1036 Gaoxin Langchao Road, Jinan, Shandong 250100 Applicant before: Shandong Inspur Scientific Research Institute Co.,Ltd. |
|
| TA01 | Transfer of patent application right |