CN107122262B - 基于agent的数据库智能备份系统 - Google Patents

基于agent的数据库智能备份系统 Download PDF

Info

Publication number
CN107122262B
CN107122262B CN201710265679.0A CN201710265679A CN107122262B CN 107122262 B CN107122262 B CN 107122262B CN 201710265679 A CN201710265679 A CN 201710265679A CN 107122262 B CN107122262 B CN 107122262B
Authority
CN
China
Prior art keywords
backup
node
agent
database
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710265679.0A
Other languages
English (en)
Other versions
CN107122262A (zh
Inventor
顾伟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shishuo Education Technology Co.,Ltd.
Original Assignee
Hangzhou Kai Lesson Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kai Lesson Education Technology Co Ltd filed Critical Hangzhou Kai Lesson Education Technology Co Ltd
Priority to CN201710265679.0A priority Critical patent/CN107122262B/zh
Publication of CN107122262A publication Critical patent/CN107122262A/zh
Application granted granted Critical
Publication of CN107122262B publication Critical patent/CN107122262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于agent的数据库智能备份系统，包括元信息节点、管理节点、存储节点和备份节点；元信息节点存储所有数据库集群的IP、端口和数据库角色信息，以端口作为唯一标识；管理节点是对系统进行管理的服务器，包括存储节点管理模块、备份策略管理模块、备份清理模块和agent管理模块；备份节点是执行定时任务的数据库服务器，包括任务调度模块和备份执行模块；存储节点是存储数据库备份文件的数据库服务器或者存储设备，包括备份校验模块；本发明系统可自动化备份数据；充分利用存储节点，提高数据安全性；具有自动容错机制、可行的校验机制、完善的管理机制，可以实现一键操作，还原备份数据。

Description

基于agent的数据库智能备份系统
技术领域
本发明属于数据库备份技术领域，主要应用于互联网行业关系数据库和内存数据库类型的数据库自动化备份。
背景技术
对于互联网公司而言，数据库备份越来越重要，目前，常用的数据库备份方案，大多是调用开源的备份工具，进行简单的封装，这些方案存在如下缺点：
(1)需要较多的人工干预：由于备份系统设计不够智能，很多环节需要人工干预，增加维护成本。
(2)安全性较低：无法智能选择存储节点，增大数据丢失风险，存储利用率较低。
(3)管理性较差：由于设计上的缺陷，导致无法全面管理备份信息，降低了备份可用性。
(4)无法自动恢复数据：在恢复数据时候，需要复杂的流程和人工处理，自动化程度很低
(5)可用性无法保证：由于没有可行的数据校验机制，无法保证备份数据可用，降低了备份数据可用性。
(6)无法自动选择备份节点：需要手动或者固定选择某个备份节点，无法做到智能选择，灵活性低，增大备份出现问题的风险，降低备份可行性。
(7)功能单一：一般是只支持某个数据库的备份，不记录备份信息，也不支持多个数据库备份，无法进行全方位管理备份。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于agent的数据库智能备份系统，基于agent思想实现数据库备份智能化，该系统可以支持大规模关系数据库和内存数据库的自动备份和还原。
本发明的目的是通过以下技术方案来实现的：一种基于agent的数据库智能备份系统，该系统包括元信息节点、管理节点、存储节点和备份节点四部分；
元信息节点存储所有数据库集群的IP、端口和数据库角色信息，以端口作为唯一标识，数据库角色分为主节点和从节点，从节点实时同步主节点数据；这些信息可以来自人工录入，也可以从数据库节点自动获取；
管理节点是对系统进行管理的服务器，包括存储节点管理模块、备份策略管理模块、备份清理模块和agent管理模块；管理节点自动获取元信息节点的数据，调用存储节点管理模块更新存储节点详细信息，调用备份策略管理模块生成或者更新备份策略，分发定时任务和备份脚本到备份节点，所述定时任务包括备份开始时间、备份指令；所述备份脚本是封装了数据库备份相关的操作的脚本文件，需要传入的参数是端口，表示备份该端口的数据库；所述备份指令是调用备份脚本的一条命令；定期调用备份清理模块清理过期备份和失败备份；定期调用agent管理模块检查agent存活状态；
备份节点是执行定时任务的数据库服务器，是数据库节点的从节点，包括任务调度模块和备份执行模块；接收管理节点的定时任务后，在指定的时间调用任务调度模块和备份执行模块执行数据库备份；
存储节点是存储数据库备份文件的数据库服务器或者存储设备，包括备份校验模块；在指定时间调用备份校验模块对备份数据进行校验。
进一步地，所述管理节点还包括失败备份告警模块，管理节点定期调用失败备份告警模块检查失败备份并发出告警。失败备份告警模块调用备份策略信息和备份路由表信息，定期检查备份是否成功，如果存在失败备份，则通知管理人员处理；否则，不做任何处理。
进一步地，该系统还包括布置在管理节点或存储节点上的自动恢复数据模块，自动恢复数据模块获取备份文件，恢复所需数据。自动恢复数据模块为本系统的优选项，还原数据库节点是在指定的节点上恢复备份数据，需要传入数据库端口和日期，根据数据库端口和日期，调用备份路由表信息，获取对应的备份文件，传输备份文件到还原数据库节点，然后启动数据库服务。如果指定日期不存在相应的备份文件，那么报错退出；如果不指定日期，那么获取最近的备份文件；如果没有可用的备份文件，那么报错退出。
进一步地，所述管理节点分发定时任务和备份脚本到备份节点具体为：在所有的数据库节点部署agent客户端，在管理节点部署agent服务端；agent服务端调用自身接口分发指定的定时任务和备份脚本到对应的备份节点。
进一步地，所述存储节点管理模块中存储：存储基本信息和存储详细信息。
所述存储基本信息包括：存储节点IP、数据目录、机房标识、可接受备份的机房标识；所述机房标识是指存储节点所在的机房名称；所述可接受备份的机房标识表示哪些机房的备份节点可以使用该存储节点；存储基本信息需要人工录入，由于数据量很小，工作量可以忽略；如果需要横向扩展存储节点，只需要录入新的存储节点的存储基本信息即可。
所述存储详细信息包括：存储节点IP和数据目录、机房标识、可用空间大小；
管理节点根据存储基本信息得到所有的存储节点，采用agent方式获取存储节点的可用空间大小，更新存储详细信息。
进一步地，所述备份策略管理模块生成或者更新备份策略具体为：
调用存储节点管理模块，实时更新和获取存储节点的存储详细信息，然后扫描备份白名单，如果某个数据库端口位于白名单，不需要备份；否则根据数据库的类型选择对应的备份策略模板，生成和更新备份策略；如果该数据库端口不存在备份策略，那么生成新的备份策略；如果已经存在备份策略，那么更新其对应的存储节点的IP和数据目录。同时，针对废弃或者需要调整的备份策略，将其记录到备份废弃信息表里，备份废弃信息表包括：备份节点IP和端口、备份类型、存储节点IP和数据目录、任务状态、触发策略、保留时间等信息。备份白名单是指不需要备份的数据库节点端口，需要人工录入，由于数据量很小，忽略维护成本。
所述备份策略包括如下信息：备份节点IP和端口、存储节点IP和数据目录、备份开始时间、保留时间、触发策略；所述备份开始时间是指系统自动设定的备份操作的启动时间。所述触发策略是指每周备份的天数。所述备份策略模板是指根据数据库类型，对备份策略设置默认值。所述任务状态是指备份定时任务的状态，包括开启和关闭。
进一步地，所述任务调度模块采用agent方式，调用备份策略管理模块，根据备份策略，分发定时任务到指定的备份节点上，然后调用备份执行模块。如果该备份节点已经存在定时任务，则直接调用备份执行模块。
进一步地，所述agent管理模块检查agent服务端，如果不存在，则调用agent自身的管理工具，启动agent服务端，若启动失败，通知数据库管理人员处理。该模块扫描所有备份节点，如果不存在agent客户端，那么通知数据库管理人员处理。agent列表是在agent服务端保存了agent客户端节点的列表，存在于该列表，表示该节点可以接收agent服务端的指令。调用备份策略管理模块，如果备份节点不在agent列表里，那么该模块自动将该备份节点添加到agent列表，如果添加操作失败，那么通知管理人员处理。同时，扫描备份废弃信息表里状态为开启的备份节点，调用agent删除备份节点上的备份任务，同时更新任务状态为关闭。
进一步地，所述备份执行模块是真正执行备份操作的模块，通过调用数据库备份工具，执行数据库备份操作。根据备份策略信息，传输备份文件到相应的存储节点数据目录。同时，记录备份相关信息到备份路由表和备份统计表里。备份路由表信息包括：备份节点IP和端口，存储节点IP和数据目录，备份类型，日期和状态等信息；备份统计表信息包括：备份节点IP和端口，存储节点IP和数据目录，备份文件大小和压缩文件大小，备份时间戳和状态以及校验信息。
进一步地，所述备份校验模块：在备份执行模块中，对备份节点上备份文件采用MD5sum进行校验，记录到备份统计表里，该模块根据备份统计表信息，对存储节点上的备份文件进行一次MD5sum校验，记录到备份统计表里，比对前后两次校验值，如果一致，那么表示备份文件可用；否则表示备份文件不可用，更新备份路由表和备份统计表中对应的状态为失败。针对备份文件数据量巨大的情况，可以采用随机抽查某个备份文件校验。该模块保证了备份文件的有效性。
进一步地，所述备份清理模块扫描备份路由表，定期清理如下备份文件：1)过期备份文件：扫描备份策略信息的保留时间和备份路由表信息，调用agent删除存储节点上超过保留时间的备份文件。2)失败备份：扫描备份路由表中状态为失败的信息，调用agent，删除存储节点上这些备份文件。3)黑名单文件：黑名单文件是指存储节点上的备份文件，在备份路由表里没有记录，认为这些备份属于无效备份，需要删除。扫描存储节点上所有备份文件，调用agent，删除这些备份文件。定期执行备份清理模块，可以清理无用备份，节省大量存储空间。
本发明的有益效果是：
(1)自动化备份数据：几乎不需要人工干预，备份过程实现自动化。
(2)充分利用存储节点，提高数据安全性：可以轻松横向扩展存储节点，并且可以均衡利用存储空间，平均分布备份存储，大大提升备份数据安全性。
(3)自动容错机制：如果备份出现故障，在一定程度上，可以自行处理问题，不需要人工干预。
(4)可行的校验机制：针对备份文件，进行可行的校验机制，充分保证备份文件是可用的。
(5)完善的管理机制：记录备份详细信息，可以追溯历史上任何一次备份情况，很好的管理所有的备份文件。
(6)自动恢复数据：可以实现一键操作，还原备份数据。
附图说明
图1是本发明备份系统总体架构图；
图2是本发明备份系统各个模块流程图；
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明备份系统总体架构图，管理节点是核心，首先调用元信息节点，获取到存储节点的IP和数据目录以及数据库节点的IP和端口以及角色信息，根据存储节点的IP和数据目录，采用agent方式获取到其可用空间大小，从而更新存储节点详细信息，然后从数据库节点的信息里，自动选择备份节点，然后根据备份策略模板，生成或者更新备份策略，然后分发定时任务和备份脚本到备份节点；备份节点在指定时间点触发数据库备份；存储节点定期校验备份文件，保证备份文件可用。另外，管理节点定期清理过期和失败备份文件，每天执行失败备份告警操作，及时发现和告警失败的备份。
图2是本发明备份系统各个模块流程图，备份策略模块在产生和更新备份策略时候，会调用存储节点管理模块，获取实时存储节点信息，便于正确选择合适的存储节点；同时，调用agent管理模块，保证agent可用；然后调用任务调度模块，分发备份任务到备份节点。在指定的时间点，备份执行模块自动触发，备份结束后，调用备份校验模块，对备份文件进行校验。为了保证备份有效性，定期运行失败备份检查模块，及时发现失败备份和处理相关问题。以上是本发明设计的主要流程。下面详细介绍各模块的实现过程：
元信息节点存储所有数据库集群的IP、端口和数据库角色信息，以端口作为唯一标识，数据库角色分为主节点和从节点，从节点实时同步主节点数据；这些信息可以来自人工录入，也可以从数据库节点自动获取；
管理节点是对系统进行管理的服务器，包括存储节点管理模块、备份策略管理模块、备份清理模块和agent管理模块；管理节点自动获取元信息节点的数据，调用存储节点管理模块更新存储节点详细信息，调用备份策略管理模块生成或者更新备份策略，分发定时任务和备份脚本到备份节点，所述定时任务包括备份开始时间、备份指令；所述备份脚本是封装了数据库备份相关的操作的脚本文件，需要传入的参数是端口，表示备份该端口的数据库；所述备份指令是调用备份脚本的一条命令；定期调用备份清理模块清理过期备份和失败备份；定期调用agent管理模块检查agent存活状态；
备份节点是执行定时任务的数据库服务器，是数据库节点的从节点，包括任务调度模块和备份执行模块；接收管理节点的定时任务后，在指定的时间调用任务调度模块和备份执行模块执行数据库备份；
存储节点是存储数据库备份文件的数据库服务器或者存储设备，包括备份校验模块；在指定时间调用备份校验模块对备份数据进行校验。
进一步地，所述管理节点还包括失败备份告警模块，管理节点定期调用失败备份告警模块检查失败备份并发出告警。失败备份告警模块调用备份策略信息和备份路由表信息，定期检查备份是否成功，如果存在失败备份，则通知管理人员处理；否则，不做任何处理。
进一步地，该系统还包括布置在管理节点或存储节点上的自动恢复数据模块，自动恢复数据模块获取备份文件，恢复所需数据。自动恢复数据模块为本系统的优选项，还原数据库节点是在指定的节点上恢复备份数据，需要传入数据库端口和日期，根据数据库端口和日期，调用备份路由表信息，获取对应的备份文件，传输备份文件到还原数据库节点，然后启动数据库服务。如果指定日期不存在相应的备份文件，那么报错退出；如果不指定日期，那么获取最近的备份文件；如果没有可用的备份文件，那么报错退出。
进一步地，所述管理节点分发定时任务和备份脚本到备份节点具体为：在所有的数据库节点部署agent客户端，在管理节点部署agent服务端；agent服务端调用自身接口分发指定的定时任务和备份脚本到对应的备份节点。
进一步地，所述存储节点管理模块中存储：存储基本信息和存储详细信息。
所述存储基本信息包括：存储节点IP、数据目录、机房标识、可接受备份的机房标识；所述机房标识是指存储节点所在的机房名称；所述可接受备份的机房标识表示哪些机房的备份节点可以使用该存储节点；存储基本信息需要人工录入，由于数据量很小，工作量可以忽略；如果需要横向扩展存储节点，只需要录入新的存储节点的存储基本信息即可。
所述存储详细信息包括：存储节点IP和数据目录、机房标识、可用空间大小；
管理节点根据存储基本信息得到所有的存储节点，采用agent方式获取存储节点的可用空间大小，更新存储详细信息(根据存储基本信息获取相应的存储节点空间使用情况，不需要人工处理，从而保证备份系统准确选择可用空间最大的存储节点，充分利用所有存储节点的存储空间)。
进一步地，所述备份策略管理模块生成或者更新备份策略具体为：
调用存储节点管理模块，实时更新和获取存储节点的存储详细信息，然后扫描备份白名单，如果某个数据库端口位于白名单，不需要备份；否则根据数据库的类型选择对应的备份策略模板，生成和更新备份策略；如果该数据库端口不存在备份策略，那么生成新的备份策略；如果已经存在备份策略，那么更新其对应的存储节点的IP和数据目录。同时，针对废弃或者需要调整的备份策略，将其记录到备份废弃信息表里，备份废弃信息表包括：备份节点IP和端口、备份类型、存储节点IP和数据目录、任务状态、触发策略、保留时间等信息。备份白名单是指不需要备份的数据库节点端口，需要人工录入，由于数据量很小，忽略维护成本。
所述备份策略包括如下信息：备份节点IP和端口、存储节点IP和数据目录、备份开始时间、保留时间、触发策略；所述备份开始时间是指系统自动设定的备份操作的启动时间。所述触发策略是指每周备份的天数。所述备份策略模板是指根据数据库类型，对备份策略设置默认值。所述任务状态是指备份定时任务的状态，包括开启和关闭。
进一步地，所述任务调度模块采用agent方式，调用备份策略管理模块，根据备份策略，分发定时任务到指定的备份节点上，然后调用备份执行模块。如果该备份节点已经存在定时任务，则直接调用备份执行模块。
进一步地，所述agent管理模块检查agent服务端，如果不存在，则调用agent自身的管理工具，启动agent服务端，若启动失败，通知数据库管理人员处理。该模块扫描所有备份节点，如果不存在agent客户端，那么通知数据库管理人员处理。agent列表是在agent服务端保存了agent客户端节点的列表，存在于该列表，表示该节点可以接收agent服务端的指令。调用备份策略管理模块，如果备份节点不在agent列表里，那么该模块自动将该备份节点添加到agent列表，如果添加操作失败，那么通知管理人员处理。同时，扫描备份废弃信息表里状态为开启的备份节点，调用agent删除备份节点上的备份任务，同时更新任务状态为关闭。
进一步地，所述备份执行模块是真正执行备份操作的模块，通过调用数据库备份工具，执行数据库备份操作。根据备份策略信息，传输备份文件到相应的存储节点数据目录。同时，记录备份相关信息到备份路由表和备份统计表里。备份路由表信息包括：备份节点IP和端口，存储节点IP和数据目录，备份类型，日期和状态等信息；备份统计表信息包括：备份节点IP和端口，存储节点IP和数据目录，备份文件大小和压缩文件大小，备份时间戳和状态以及校验信息。
进一步地，所述备份校验模块：在备份执行模块中，对备份节点上备份文件采用MD5sum进行校验，记录到备份统计表里，该模块根据备份统计表信息，对存储节点上的备份文件进行一次MD5sum校验，记录到备份统计表里，比对前后两次校验值，如果一致，那么表示备份文件可用；否则表示备份文件不可用，更新备份路由表和备份统计表中对应的状态为失败。针对备份文件数据量巨大的情况，可以采用随机抽查某个备份文件校验。该模块保证了备份文件的有效性。
进一步地，所述备份清理模块扫描备份路由表，定期清理如下备份文件：1)过期备份文件：扫描备份策略信息的保留时间和备份路由表信息，调用agent删除存储节点上超过保留时间的备份文件。2)失败备份：扫描备份路由表中状态为失败的信息，调用agent，删除存储节点上这些备份文件。3)黑名单文件：黑名单文件是指存储节点上的备份文件，在备份路由表里没有记录，认为这些备份属于无效备份，需要删除。扫描存储节点上所有备份文件，调用agent，删除这些备份文件。定期执行备份清理模块，可以清理无用备份，节省大量存储空间。

Claims (8)

1.一种基于agent的数据库智能备份系统，其特征在于，该系统包括元信息节点、管理节点、存储节点和备份节点四部分；
元信息节点存储所有数据库集群的IP、端口和数据库角色信息，以端口作为唯一标识，数据库角色分为主节点和从节点，从节点实时同步主节点数据；
管理节点是对系统进行管理的服务器，包括存储节点管理模块、备份策略管理模块、备份清理模块和agent管理模块；管理节点自动获取元信息节点的数据，调用存储节点管理模块更新存储节点详细信息，调用备份策略管理模块生成或者更新备份策略，分发定时任务和备份脚本到备份节点，所述定时任务包括备份开始时间、备份指令；所述备份脚本是封装了数据库备份相关的操作的脚本文件，需要传入的参数是端口，表示备份该端口的数据库；所述备份指令是调用备份脚本的一条命令；定期调用备份清理模块清理过期备份和失败备份；定期调用agent管理模块检查agent存活状态；
备份节点是执行定时任务的数据库服务器，是数据库节点的从节点，包括任务调度模块和备份执行模块；接收管理节点的定时任务后，在指定的时间调用任务调度模块和备份执行模块执行数据库备份；
存储节点是存储数据库备份文件的数据库服务器或者存储设备，包括备份校验模块；在指定时间调用备份校验模块对备份数据进行校验；
所述存储节点管理模块中存储：存储基本信息和存储详细信息；
所述存储基本信息包括：存储节点IP、数据目录、机房标识、可接受备份的机房标识；所述机房标识是指存储节点所在的机房名称；所述可接受备份的机房标识表示哪些机房的备份节点可以使用该存储节点；如果需要横向扩展存储节点，只需要录入新的存储节点的存储基本信息即可；所述存储详细信息包括：存储节点IP和数据目录、机房标识、可用空间大小；
管理节点根据存储基本信息得到所有的存储节点，采用agent方式获取存储节点的可用空间大小，更新存储详细信息；
所述备份策略管理模块生成或者更新备份策略具体为：
调用存储节点管理模块，实时更新和获取存储节点的存储详细信息，然后扫描备份白名单，如果某个数据库端口位于白名单，不需要备份；否则根据数据库的类型选择对应的备份策略模板，生成和更新备份策略；如果该数据库端口不存在备份策略，那么生成新的备份策略；如果已经存在备份策略，那么更新其对应的存储节点的IP和数据目录；同时，针对废弃或者需要调整的备份策略，将其记录到备份废弃信息表里，备份废弃信息表包括：备份节点IP和端口、备份类型、存储节点IP和数据目录、任务状态、触发策略、保留时间；
所述备份策略包括如下信息：备份节点IP和端口、存储节点IP和数据目录、备份开始时间、保留时间、触发策略；所述备份开始时间是指系统自动设定的备份操作的启动时间；所述触发策略是指每周备份的天数；所述备份策略模板是指根据数据库类型，对备份策略设置默认值；所述任务状态是指备份定时任务的状态，包括开启和关闭。
2.根据权利要求1所述的一种基于agent的数据库智能备份系统，其特征在于，所述管理节点还包括失败备份告警模块，管理节点定期调用失败备份告警模块检查失败备份并发出告警；失败备份告警模块调用备份策略信息和备份路由表信息，定期检查备份是否成功，如果存在失败备份，则通知管理人员处理；否则，不做任何处理。
3.根据权利要求1所述的一种基于agent的数据库智能备份系统，其特征在于，该系统还包括布置在管理节点或存储节点上的自动恢复数据模块，自动恢复数据模块获取备份文件，恢复所需数据；需要传入数据库端口和日期，根据数据库端口和日期，调用备份路由表信息，获取对应的备份文件，传输备份文件到还原数据库节点，然后启动数据库服务；如果指定日期不存在相应的备份文件，那么报错退出；如果不指定日期，那么获取最近的备份文件；如果没有可用的备份文件，那么报错退出。
4.根据权利要求1所述的一种基于agent的数据库智能备份系统，其特征在于，所述管理节点分发定时任务和备份脚本到备份节点具体为：在所有的数据库节点部署agent客户端，在管理节点部署agent服务端；agent服务端调用自身接口分发指定的定时任务和备份脚本到对应的备份节点。
5.根据权利要求1所述的一种基于agent的数据库智能备份系统，其特征在于，所述任务调度模块采用agent方式，调用备份策略管理模块，根据备份策略，分发定时任务到指定的备份节点上，然后调用备份执行模块；如果该备份节点已经存在定时任务，则直接调用备份执行模块。
6.根据权利要求1所述的一种基于agent的数据库智能备份系统，其特征在于，所述agent管理模块检查agent服务端，如果不存在，则调用agent自身的管理工具，启动agent服务端，若启动失败，通知数据库管理人员处理；agent管理模块扫描所有备份节点，如果不存在agent客户端，那么通知数据库管理人员处理；agent列表是在agent服务端保存了agent客户端节点的列表，存在于该列表，表示该节点可以接收agent服务端的指令；调用备份策略管理模块，如果备份节点不在agent列表里，那么agent管理模块自动将该备份节点添加到agent列表，如果添加操作失败，那么通知管理人员处理；同时，扫描备份废弃信息表里状态为开启的备份节点，调用agent删除备份节点上的备份任务，同时更新任务状态为关闭。
7.根据权利要求1所述的一种基于agent的数据库智能备份系统，其特征在于，所述备份执行模块是真正执行备份操作的模块，通过调用数据库备份工具，执行数据库备份操作；根据备份策略信息，传输备份文件到相应的存储节点数据目录；同时，记录备份相关信息到备份路由表和备份统计表里；备份路由表信息包括：备份节点IP和端口，存储节点IP和数据目录，备份类型，日期和状态；备份统计表信息包括：备份节点IP和端口，存储节点IP和数据目录，备份文件大小和压缩文件大小，备份时间戳和状态以及校验信息。
8.根据权利要求7所述的一种基于agent的数据库智能备份系统，其特征在于，所述备份校验模块：在备份执行模块中，对备份节点上备份文件采用MD5sum进行校验，记录到备份统计表里，备份校验模块根据备份统计表信息，对存储节点上的备份文件进行一次MD5sum校验，记录到备份统计表里，比对前后两次校验值，如果一致，那么表示备份文件可用；否则表示备份文件不可用，更新备份路由表和备份统计表中对应的状态为失败；针对备份文件数据量巨大的情况，可以采用随机抽查某个备份文件校验。
CN201710265679.0A 2017-04-21 2017-04-21 基于agent的数据库智能备份系统 Active CN107122262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710265679.0A CN107122262B (zh) 2017-04-21 2017-04-21 基于agent的数据库智能备份系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710265679.0A CN107122262B (zh) 2017-04-21 2017-04-21 基于agent的数据库智能备份系统

Publications (2)

Publication Number Publication Date
CN107122262A CN107122262A (zh) 2017-09-01
CN107122262B true CN107122262B (zh) 2018-07-06

Family

ID=59725478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710265679.0A Active CN107122262B (zh) 2017-04-21 2017-04-21 基于agent的数据库智能备份系统

Country Status (1)

Country Link
CN (1) CN107122262B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491358B (zh) * 2017-09-04 2020-05-15 上海航天控制技术研究所 基于运载火箭地测微机大数据量的快速容错处理方法
CN107957920A (zh) * 2017-10-31 2018-04-24 清远恒成智道信息科技有限公司 数据库备份系统
CN108446346B (zh) * 2018-03-07 2022-04-15 鞍钢集团矿业有限公司 一种数据集中备份系统及方法
CN108733515A (zh) * 2018-05-24 2018-11-02 广州酷狗计算机科技有限公司 文件备份的调度方法、文件备份方法、装置及存储介质
CN113015963A (zh) * 2018-12-04 2021-06-22 深圳迈瑞生物医疗电子股份有限公司 一种自动备份方法、设备及计算机存储介质
CN109815060A (zh) * 2019-01-30 2019-05-28 北京百度网讯科技有限公司 用于备份信息的方法及装置
CN111400105A (zh) * 2020-03-27 2020-07-10 北京拓世寰宇网络技术有限公司 数据库备份方法及装置
CN111666179B (zh) * 2020-06-12 2023-03-28 重庆云海时代信息技术有限公司 一种多点数据容灾的智能复制系统及服务器
CN112035297A (zh) * 2020-08-28 2020-12-04 浪潮云信息技术股份公司 一种基于备份任务的自动执行云备份方法
CN112256416A (zh) * 2020-10-22 2021-01-22 上海英方软件股份有限公司 一种实现任务复杂调度并同时数据清理的方法及系统
KR102389139B1 (ko) * 2021-02-17 2022-04-22 유비콘 주식회사 블록체인 기반 분산저장을 통한 공간향상 솔루션 시스템
CN113505027B (zh) * 2021-09-10 2022-03-01 深圳市科力锐科技有限公司 业务系统备份方法、装置、设备及存储介质
CN116185718B (zh) * 2023-03-10 2023-12-15 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201503584U (zh) * 2009-06-11 2010-06-09 升东网络科技发展(上海)有限公司 数据库全量自动备份系统
CN101887388B (zh) * 2010-06-18 2014-03-12 中兴通讯股份有限公司 基于内存数据库的数据备份系统和方法
CN104794143A (zh) * 2014-07-30 2015-07-22 北京中科同向信息技术有限公司 一种无代理的备份技术

Also Published As

Publication number Publication date
CN107122262A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN107122262B (zh) 基于agent的数据库智能备份系统
US11914486B2 (en) Cloning and recovery of data volumes
CN106406993A (zh) 一种定时任务管理方法和系统
US7827199B2 (en) Centralized configuration data management for distributed clients
US8938421B2 (en) Method and a system for synchronizing data
US10261872B2 (en) Multilevel disaster recovery
CN105940396A (zh) 分布式存储系统中对象的层级组块
CN103560906B (zh) 数据复制的方法及装置
CN103905537A (zh) 分布式环境下管理工业实时数据存储的系统
CN111274052A (zh) 数据分发方法、服务器及计算机可读存储介质
CN108848132B (zh) 一种基于云的配电调度主站系统
CN103067230A (zh) 一种通过植入监控代码实现对http服务监控的方法
CN104657497A (zh) 一种基于分布式计算的海量用电信息并行计算系统及方法
CN110895488B (zh) 任务调度方法及装置
CN107179977B (zh) 基于mpm模型的数据库全自动监控系统
CN107357681A (zh) 基于salt的Zookeeper备份管理系统及方法
CN108089915A (zh) 基于消息队列的业务控件化处理的方法及系统
CN102708158A (zh) 一种PostgreSQL云存储归档调度系统
CN108092936A (zh) 一种基于插件架构的主机监控系统
WO2019223178A1 (zh) 跨平台任务调度方法、系统、计算机设备和存储介质
CN113760513A (zh) 一种分布式任务调度方法、装置、设备和介质
CN109787844A (zh) 一种配网主站通信故障快速定位系统
CN102594874A (zh) 一种同步处理方法和装置
CN101610225B (zh) 一种同步处理方法、系统和装置
US11042454B1 (en) Restoration of a data source

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310015 room 703, 1 North and South business building, Gongshu District, Hangzhou, Zhejiang.

Applicant after: Hangzhou Kai lesson Education Technology Co.,Ltd.

Address before: 310015 room 703, 1 North and South business building, Gongshu District, Hangzhou, Zhejiang.

Applicant before: HANGZHOU SHISHUO EDUCATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 907, 9th Floor, Building 2, No. 88 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province, 318000

Patentee after: Hangzhou Shishuo Education Technology Co.,Ltd.

Address before: 310015 room 703, 1 North and South business building, Gongshu District, Hangzhou, Zhejiang.

Patentee before: Hangzhou Kai lesson Education Technology Co.,Ltd.