CN106569911A - 数据备份方法和装置 - Google Patents

Abstract

本发明公开了一种数据备份方法，该数据备份方法包括根据用户操作获取对应的数据库；接收用户提交的与所述数据库对应的备份策略评估页面；根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；根据所述备份策略对所述数据库进行备份。本发明还公开了一种数据备份装置。本发明针对不同的数据库实例采用对应的备份策略，提高了系统备份效率，方便用户使用。

Description

数据备份方法和装置

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据备份方法和装置。

背景技术

随着科技的发展，数据库已经被广泛应用。然而在实际使用过程中可能由于系统出现操作失误或系统故障等原因导致数据丢失。为尽可能的避免数据丢失，一般都会将数据进行备份。

现有技术中一般采用通用的数据备份方案，没有针对性去匹配需要备份数据库的备份需求。

发明内容

本发明的主要目的在于提出一种数据备份方法和装置，旨在实现针对性匹配数据库的备份需求进行备份。

为实现上述目的，本发明提供的一种数据备份方法，所述数据备份方法包括以下步骤：

根据用户操作获取对应的数据库；

接收用户提交的与所述数据库对应的备份策略评估页面；

根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；

根据所述备份策略对所述数据库进行备份。

可选地，用户填写的信息包括：数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长中至少一种。

可选地，所述根据所述备份策略评估页面中用户的填写信息和用户选择的预设策略确定备份策略的步骤包括：

根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获得备份评估结果；

根据所述备份评估结果确定所述数据库的备份策略。

可选地，所述备份策略包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径中至少一种。

可选地，所述根据所述备份策略对所述数据库进行备份的步骤之前包括：

根据所述备份策略生成备份作业至备份任务表。

可选地，所述根据所述备份策略生成备份作业至备份任务表的步骤之后包括：

接收用户触发的备份查询指令；

根据所述备份查询指令获得所述数据库的备份任务表，并显示。

可选地，所述根据所述备份策略对所述数据库进行备份的步骤包括：

接收用户在备份任务表中手工触发的备份开始指令；

根据所述备份开始指令采用所述备份策略对所述数据库进行备份。

可选地，所述根据所述备份策略对所述数据库进行备份的步骤包括：

扫描所述备份任务表；

根据所述备份任务表中备份作业的开始时间启动调度任务；

根据所述任务表中的配置信息调用备份工具对所述数据库进行备份。

可选地，所述根据所述任务表中的配置信息调用备份工具对所述数据库进行备份的步骤包括：

根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份节点列表中节点的IP地址，并从所述节点列表中选取用于备份的节点；

调用用于备份的节点进行备份。

可选地，所述根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份数据库所在节点的IP地址，并选取用于备份的节点的步骤包括：

在所述数据库中添加记录，并标记所述备份作业的状态为开始状态。

可选地，所述调用用于备份的节点进行备份的步骤之后还包括：

获取用于备份的节点的执行结果；

在所述执行结果表示备份成功时，获取用于备份的节点的备份日志进行二次验证；

在验证通过时，更新所述备份任务的状态。

可选地，所述根据所述备份任务表中备份作业的开始时间启动调度任务的步骤之前包括：

在发现新的备份作业时，对新备份作业进行配置检查和字段匹配，以确定新备份作业的有效性；

在确定新备份作业有效时，标记所述新备份作业的状态为有效。

可选地，所述根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略的步骤包括：

根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略，并以策略映射表形式保存所述备份策略。

可选地，所述备份方法还包括：

接收用户在所述备份策略映射表上触发的修改指令；

根据所述修改指令修改所述备份策略映射表中的配置信息。

可选地，所述备份方法还包括：

接收用户触发的数据恢复指令和用户选择的恢复时间点信息，获得数据库中的恢复配置信息，其中所述恢复配置信息至少包括已备份的文件；

根据所述恢复配置信息和恢复指令进行数据恢复处理。

此外，为实现上述目的，本发明还提供一种数据备份装置，所述数据备份装置包括：

第一获取模块，用于根据用户操作获取对应的数据库；

第一接收模块，用于接收用户提交的与所述数据库对应的备份策略评估页面；

确定模块，用于根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；

备份模块，用于根据所述备份策略对所述数据库进行备份。

可选地，用户填写的信息包括：数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长中至少一种。

可选地，所述确定模块包括：

计算单元，用于根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获得备份评估结果；

确定单元，用于根据所述备份评估结果确定所述数据库的备份策略。

可选地，所述备份策略包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径中至少一种。

可选地，所述数据备份装置还包括：

生成模块，用于根据所述备份策略生成备份作业至备份任务表。

可选地，所述数据备份装置还包括：

第二接收模块，用于接收用户触发的备份查询指令；

显示模块，用于根据所述备份查询指令获得所述数据库的备份任务表，并显示。

可选地，所述备份模块包括：

接收单元，用于接收用户在备份任务表中手工触发的备份开始指令；

第一备份单元，用于根据所述备份开始指令采用所述备份策略对所述数据库进行备份。

可选地，所述备份模块还包括：

扫描单元，用于扫描所述备份任务表；

启动单元，用于根据所述备份任务表中备份作业的开始时间启动调度任务；

第二备份单元，用于根据所述任务表中的配置信息调用备份工具对所述数据库进行备份。

可选地，所述第二备份单元包括：

获取子单元，用于根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份节点列表中节点的IP地址，并从所述节点列表中选取用于备份的节点；

备份子单元，用于调用用于备份的节点进行备份。

可选地，所述获取子单元还用于在所述数据库中添加记录，并标记所述备份作业的状态为开始状态。

可选地，所述数据备份装置还包括：

第二获取模块，用于获取用于备份的节点的执行结果；

验证模块，用于在所述执行结果表示备份成功时，获取用于备份的节点的备份日志进行二次验证；

更新模块，用于在验证通过时，更新所述备份任务的状态。

可选地，所述数据备份装置还包括：

匹配模块，用于在发现新的备份作业时，对新备份作业进行配置检查和字段匹配，以确定新备份作业的有效性；

标记模块，用于在确定新备份作业有效时，标记所述新备份作业的状态为有效。

可选地，所述确定模块还用于根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略，并以策略映射表形式保存所述备份策略。

可选地，所述数据备份装置还包括：

第三接收模块，用于接收用户在所述备份策略映射表上触发的修改指令；

修改模块，用于根据所述修改指令修改所述备份策略映射表中的配置信息。

可选地，所述数据备份装置还包括：

第四接收模块，用于接收用户触发的数据恢复指令和用户选择的恢复时间点信息，获得数据库中的恢复配置信息，其中所述恢复配置信息至少包括已备份的文件；

恢复模块，用于根据所述恢复配置信息和恢复指令进行数据恢复处理。

本发明通过根据用户的登录信息选取对应的数据库；接收用户提交的与所述数据库对应的备份策略评估页面；根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；根据所述备份策略对所述数据库进行备份。通过上述方式，本发明设置有备份策略评估页面，使得用户可以根据实际情况在备份策略评估页面中填写与将要备份数据库对应的信息，根据用户填写的信息则可以确定对应的备份策略，能够针对不同的数据库实例采用对应的备份策略，提高了系统备份效率，方便用户使用。

附图说明

图1为本发明数据备份方法第一实施例的流程示意图；

图2为本发明数据备份方法第二实施例的流程示意图；

图3为本发明实施例中根据所述备份策略对所述数据库进行备份的一细化流程示意图；

图4为本发明实施例中根据所述备份策略对所述数据库进行备份的另一细化流程示意图；

图5为本发明数据备份方法第三实施例的流程示意图；

图6为本发明数据备份方法第四实施例的流程示意图；

图7为本发明数据备份方法第五实施例的流程示意图；

图8为本发明数据备份方法第六实施例的流程示意图；

图9为本发明数据备份装置第一实施例的功能模块示意图；

图10为本发明数据备份装置第二实施例的功能模块示意图；

图11为本发明数据备份装置第三实施例的功能模块示意图；

图12为本发明数据备份装置第四实施例的功能模块示意图；

图13为本发明数据备份装置第五实施例的功能模块示意图；

图14为本发明数据备份装置第六实施例的功能模块示意图；

图15为本发明数据备份装置第七实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种数据备份方法。

参照图1，图1为本发明数据备份方法第一实施例的流程示意图。

在本实施例中，该数据备份方法包括：

步骤S10，根据用户操作获取对应的数据库；

本发明可以具有用户管理功能，即具有用户注册、用户角色管理和资源管理等，其中用户注册提供注册服务，即用户可以在本发明中进行注册；用户角色管理则是管理用户的权限，本实施例中将用户分为系统管理员和普通用户两个角色，可以为不同的用户设置不同的权限，其中系统管理员是超级用户，可以管理和查看所有用户的备份配置和任务；普通用户只能管理和查看用户自己的备份配置和任务；资源管理是管理各个用户所能操作的数据库，在用户注册时，可以添加相关联的数据库，当然也可以在后面添加或修改关联的数据库，进一步地，为避免用户操作其他用户关联的数据库，设置完关联的数据库时，可以由管理员进行审批后，才能进行对应的操作。

步骤S20，接收用户提交的与所述数据库对应的备份策略评估页面；

根据用户的操作，选择将要备份的数据库后，可以读取预设的备份策略评估问题，并在备份策略评估界面中显示。具体实施中在需要对选择的数据库进行备份时，用户也可以通过进入备份策略评估页面的菜单进入备份策略评估界面，系统后台提取预设的备份评估问题，并在备份策略评估界面显示。

然后用户可以根据备份评估问题进行回答。在用户回答完成时，用户则可以进行提交。

本实施例中用户填写信息包括数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长。具体地，本实施例中备份评估页面中问题包括各个问题和各问题的解释，用户可以点击位于问题后的“？”按钮获得该项问题的详细解释，当然也可以设置其他的按钮，比如“解释”按钮，具体地，

数据源(完整数据库or特定的表)；

其中，数据源只能够从用户关联的数据库里选，通过读取数据库能够获取数据库地址和其所有表名。一般情况，如果指定部分表的话，只能进行逻辑备份；全库的话可以进行逻辑备份，也可以进行物理备份。具体还得结合其它情况判断，比如数据库大小，表大小。

数据类型(静态or动态：不变化，变化很小(小于5％)，变化，不确定)：

一般情况，静态数据由于变化不大，可以做增量备份；动态数据如果变化数据量大，可以进行物理备份。具体还得结合其它情况进行判断，比如数据库大小，数据变化量。

数据库大小(小于100M，小于1G，小于10G，小于100G，大于100G，不确定)：

一般情况，对于小的数据库，可以简单处理直接每天全量备份和物理备份；当数据库较大时，根据具体情况区分逻辑备份或物理备份，以及考虑是否做增量备份。

数据增量(小于100M，小于1G，小于10G，大于10G，不确定)：

一般情况，如果数据增量比例不大，可以配置增量备份，减轻存储压力；如果数据增量跟全量数据量差得不多，则可以直接全量备份。

备份冲突时间段：

考虑因素：1)不与关键业务运行时间冲突(用户输入)；2)避免流量高峰期(后台查询)。

保存周期(1星期，1个月，1年，永久，不确定)：

考虑因素：1)数据重要性；2)数据量；3)监管要求。

数据可用性(重要，一般，不确定)：

跟存储的策略相关，如果对数据可用性要求高，后台存储需要配置多副本。

恢复点目标(RPO，Recovery Point Object，即可以容忍丢失多少数据：5分钟，30分钟，2小时，1天，不确定)：

与用户对数据丢失的容忍度有关，如果需要基于时间点的恢复，则需要备份数据库的Binlog日志，恢复点目标决定了Binlog备份的频率；反之，若用户对恢复点目标无要求，则不需要备份Binlog。

恢复时长(RTO，Recovery Time Object，即恢复需要在多长时间内完成：30分钟，1小时，2小时，1天)。

具体实施中用户填写信息包括数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长至少一种或者两种以上组合。

步骤S30，根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；

在接收到用户填写的信息后，根据用户填写的信息确定用户选择的将要备份的数据库的备份策略。

具体地，确定所述数据库的备份策略的步骤包括：

根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获得备份评估结果；

根据所述备份评估结果确定所述数据库的备份策略。

本实施例中对每个问题设置对应的权重，用户填写的回答对应设置有分值，在用户提交备份评估回答后，根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获取对应的评估值，从而根据评估值获得对应的备份评估结果。然后根据备份评估结果确定所述数据库的备份策略。

具体实施中也可以对每个问题的回答设置对应的分值，然后根据用户填写的信息计算获得总分值，从而确定将要备份的数据库的备份策略。

本实施例中备份策略包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径，具体实施汇总备份策略可以包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径中至少一种或者两种以上组合。

具体地，备份方式包括物理备份或者逻辑备份；全量备份或者增量备份。

备份工具是指根据备份方式采用逻辑备份还是物理备份选择备份工具，备份工具包括mydumper、xtrabackup。

开始时间是指备份开始时间，可选择多个时间段。

备份速度是指备份速度预估。

备份运行时参数包括备份过程中开启的线程数、是否压缩等。

备份周期是指备份周期数，比如每天全备或者每周全备，当然用户可以根据实际情况设置。

保存路径是指保存位置和副本个数。具体实施中还可以包括Binlog备份频率和数据保存周期。

进一步地，本发明还支持现有技术中采用通用数据备份方案，即用户可以选择通用备份方案作为某一数据库的备份策略。

步骤S40，根据所述备份策略对所述数据库进行备份。

在确定备份策略后，根据确定的备份策略对对应的数据库进行备份。具体包括根据用户触发的开始指令，采用该备份策略进行备份，当然也可以根据备份策略中开始时间进行备份。

本发明通过根据用户的登录信息选取对应的数据库；接收用户提交的与所述数据库对应的备份策略评估页面；根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；根据所述备份策略对所述数据库进行备份。通过上述方式，本发明设置有备份策略评估页面，使得用户可以根据实际情况在备份策略评估页面中填写与将要备份数据库对应的信息，根据用户填写的信息则可以确定对应的备份策略，能够针对不同的数据库实例采用对应的备份策略，提高了系统备份效率，方便用户使用。

参照图2，图2为本发明数据备份方法第二实施例的流程示意图。

基于本发明数据备份方法第一实施例，该数据备份方法还可以包括：

步骤S50，根据所述备份策略生成备份作业至备份任务表。

进一步地，为方便用户查询备份作业，本实施例在确定备份策略后，根据备份策略生成对应的备份作业至备份任务表。用户则可以随时查询备份任务表知晓对应数据库的状态。

具体地，查询备份任务表的过程可以包括：接收用户触发的备份查询指令；根据所述备份查询指令获得所述数据库的备份任务表，并显示。

用户可以根据通过查询备份任务菜单触发查询指令，根据用户触发的查询指令获得与用户关联的数据库的备份任务表，并显示。当然用户还可以选择查询某一数据库的备份任务表，则根据用户的操作查询该数据库的备份任务表。具体地，用户可以查询过去24小时任务执行状态：用户可以查询所有关联的数据库备份任务执行情况，可以通过不同的颜色标注任务的执行状态，只有系统管理员可以查询所有用户的备份任务执行情况；用户也可以查询某个任务的详细执行情况：点击某个备份任务，显示该备份任务的详细执行情况，包括备份启停时间、备份数据大小和备份存储路径等等；用户还可以查询某个备份作业的历史执行情况：点击某个备份作业，查询该作业的历史执行情况，可以按最近一个月或三个月等不同方式显示；用户还可以查询24小时内将被调度的备份任务：按时间先后顺序展示24小时内即将被调度的备份任务，点击单个任务可以展示该任务的执行配置。

参照图3，图3为本发明实施例中根据所述备份策略对所述数据库进行备份的一细化流程示意图。

基于本发明数据备份方法第二实施例，步骤S40可以包括：

步骤S41，接收用户在备份任务表中手工触发的备份开始指令；

步骤S42，根据所述备份开始指令采用所述备份策略对所述数据库进行备份。

为方便用户使用，本实施例中数据库备份支持用户手动开始备份，具体地，用户可以根据需要通过备份任务表中触发对应的数据库的备份开始指令，在接收到用户触发的备份开始指令时，确定用户操作的数据库，采用该备份作业对应的备份策略对用户要操作的数据库进行备份。

参照图4，图4为本发明实施例中根据所述备份策略对所述数据库进行备份的另一细化流程示意图。

基于本发明数据备份方法第二实施例，步骤S40还可以包括：

步骤S43，扫描所述备份任务表；

步骤S44，根据所述备份任务表中备份作业的开始时间启动调度任务；

步骤S45，根据所述任务表中的配置信息调用备份工具对所述数据库进行备份。

本实施例可以根据备份策略自动进行备份，具体地，本实施例实时扫描备份任务表，根据扫描到的备份任务表中备份作业的开始时间启动调度任务，读取备份任务表中的配置信息调研对应的备份工具对对应的数据库进行备份。其中配置信息可以包括数据中心编号、数据中心节点号、数据集号、备份级别、存储路径等。

需要特别说明的是如果接收到用户手动触发的开始指令，则以用户手动触发的开始指令进行备份，在备份完成时重新执行扫描该备份任务表中的已经开始的备份作业开始时间，避免用户触发的开始指令的时间和备份任务表中开始时间相隔较短，造成运行出错等。

进一步地，如果将本发明用于分布式存储系统中，步骤S45则可以包括：

步骤S451，根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份节点列表中节点的IP地址，并从所述节点列表中选取用于备份的节点；

步骤S452，调用用于备份的节点进行备份。

分布式存储系统中在进行备份时，根据备份任务表中配置信息调用数据库自身工具获取当前备份数据集中3台主机的IP地址(分布式数据库中当前备份数据集一般包括3个节点(服务器)，其中1个是对外服务的主节点，2个是备用节点)，根据获得的IP地址判断3个节点中哪个是主节点，哪个是备节点，选取其中一个备节点执行备份，即选取用于备份的机器，并在数据库中增加备份任务记录，初始状态设为Started(开始)。

然后主节点将调用命令发送到两台远程数据库节点，需要特别说明的是分布式数据存储中两个节点不同步，备份时将最接近的保留，另一个则备份至与最新的数据库相同。本实施例中备份节点则可以根据备份脚本调度命令开始备份。

本实施例结合数据库自身架构特点，能够实现更高的备份效率，数据库数据备份的存储方案采用GlusterFS(扩展性比较好)分布式文件系统，通过两者的结合，提升了系统的性能、扩展性和可靠性。

进一步地，步骤S451可以包括：

在所述数据库中添加记录，并标记所述备份作业的状态为开始状态。

为方便用户查看，本实施例中在开始备份时，在进行备份的数据库中添加备份记录，并在备份任务表中对应的备份作业进行标记，将对应的备份作业的状态标记为开始。方便在用户手动触发的开始备份时，通过识别备份作业的状态，状态为开始的备份作业则不需要进行扫描。避免用户触发的备份任务正在执行，根据备份任务表中时间重新启动该数据库的备份。

参照图5，图5为本发明数据备份方法第三实施例的流程示意图。

基于本发明数据备份方法上述实施例，该数据备份方法还可以包括：

步骤S60，获取用于备份的节点的执行结果；

步骤S70，在所述执行结果表示备份成功时，获取用于备份的节点的备份日志进行二次验证；

步骤S80，在验证通过时，更新所述备份任务的状态。

在备份作业完成时，本实施例获取用于备份的节点的执行结果，具体地读取远程脚本的执行结果，若远程脚本执行成功，则获取用于备份的节点中的备份日志做二次验证，在验证通过时，获取远端记录的备份工具对应的日志记录，更新本地数据库对应的任务信息，更新备份任务状态。

参照图6，图6为本发明数据备份方法第四实施例的流程示意图。

基于本发明数据备份方法第二实施例，该数据备份方法还可以包括：

步骤S90，在发现新的备份作业时，对新备份作业进行配置检查和字段匹配，以确定新备份作业的有效性；

步骤S100，在确定新备份作业有效时，更新所述新备份作业的状态为有效。

为确保新备份任务的有效性，本实施例在备份任务表中存在新的备份任务时，对新备份任务进行配置检查和字段匹配，获取预设规则集合和数据库中待核对字段，判断备份任务中备份配置信息是否符合预设规则，备份字段是否与数据库中的表格字段匹配，具体地，备份字段是否与数据库中的表格字段匹配包括字段对核对，固定值核对，多字段映射核对。

进一步地，在进行备份时，则可以对备份作业的有效性进行验证，只对有效的备份作业进行备份。

参照图7，图7为本发明数据备份方法第五实施例的流程示意图。

基于上述实施例，步骤S30可以包括：

步骤S31，根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略，并以策略映射表形式保存所述备份策略。

本实施例中，在根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略时，以策略映射表形式保存所述备份策略，策略映射表可以参照下表所示：

所述备份方法还可以包括：

步骤S110，接收用户在所述备份策略映射表上触发的修改指令；

步骤S120，根据所述修改指令修改所述备份策略映射表中的配置信息。

本实施例中为了方便用户使用，用户在填写备份策略评估问题时，可能会有些问题的答案不是很贴切或者填写错，用户则在备份策略生成时，查看备份策略，通过上述表格的方式，方便用户一目了然地进行查看，同时用户可以在策略表中进行修改。具体地，用户在所述备份策略映射表上选择要修改的内容，然后根据将要修改内容中选项进行选择，根据用户的选择，对应修改该备份策略映射表中的配置信息，比如修改数据类型时，点击某一行，则可以弹出数据类型的选项，包括静态和动态，用户则根据选项进行选择。

参照图8，图8为本发明数据备份方法第六实施例的流程示意图。

基于上述实施例，该备份方法还包括：

步骤S130，接收用户触发的数据恢复指令和用户选择的恢复时间点信息，获取数据库中的恢复配置信息，其中所述恢复配置信息至少包括已备份的文件；

步骤S140，根据所述恢复配置信息和恢复指令进行数据恢复处理。

实际使用中，如果操作失误或者程序出错等原因导致数据库中出现错误，此时需要将备份的数据进行恢复，数据恢复只支持手工方式恢复。恢复配置信息至少包括已备份的文件。本实施例中用户可以选择需要恢复的备份作业和需要恢复的时间点，然后点击恢复按钮，从而对数据库进行恢复，根据用户触发的恢复指令和用户选择的恢复时间点信息，通过查询数据库返回待恢复的数据所在的存储路径，已经需要追加的binlog文件列表。用户将信息给到数据库管理员，由数据库管理员手工进行数据恢复。

本发明进一步提供一种数据备份装置。

参照图9，图9为本发明数据备份装置第一实施例的功能模块示意图。

在本实施例中，该数据备份装置包括：

第一获取模块10，用于根据用户操作获取对应的数据库；

本发明可以具有用户管理功能，即具有用户注册、用户角色管理和资源管理等，其中用户注册提供注册服务，即用户可以在本发明中进行注册；用户角色管理则是管理用户的权限，本实施例中将用户分为系统管理员和普通用户两个角色，可以为不同的用户设置不同的权限，其中系统管理员是超级用户，可以管理和查看所有用户的备份配置和任务；普通用户只能管理和查看用户自己的备份配置和任务；资源管理是管理各个用户所能操作的数据库，在用户注册时，可以添加相关联的数据库，当然也可以在后面添加或修改关联的数据库，进一步地，为避免用户操作其他用户关联的数据库，设置完关联的数据库时，可以由管理员进行审批后，才能进行对应的操作。

第一接收模块20，用于接收用户提交的与所述数据库对应的备份策略评估页面；

根据用户的操作，选择将要备份的数据库后，可以读取预设的备份策略评估问题，并在备份策略评估界面中显示。具体实施中在需要对选择的数据库进行备份时，用户也可以通过进入备份策略评估页面的菜单进入备份策略评估界面，系统后台提取预设的备份评估问题，并在备份策略评估界面显示。

然后用户可以根据备份评估问题进行回答。在用户回答完成时，用户则可以进行提交。

本实施例中用户填写信息包括数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长。具体地，本实施例中备份评估页面中问题包括各个问题和各问题的解释，用户可以点击位于问题后的“？”按钮获得该项问题的详细解释，当然也可以设置其他的按钮，比如“解释”按钮，具体地，

数据源(完整数据库or特定的表)；

其中，数据源只能够从用户关联的数据库里选，通过读取数据库能够获取数据库地址和其所有表名。一般情况，如果指定部分表的话，只能进行逻辑备份；全库的话可以进行逻辑备份，也可以进行物理备份。具体还得结合其它情况判断，比如数据库大小，表大小。

数据类型(静态or动态：不变化，变化很小(小于5％)，变化，不确定)：

一般情况，静态数据由于变化不大，可以做增量备份；动态数据如果变化数据量大，可以进行物理备份。具体还得结合其它情况进行判断，比如数据库大小，数据变化量。

数据库大小(小于100M，小于1G，小于10G，小于100G，大于100G，不确定)：

一般情况，对于小的数据库，可以简单处理直接每天全量备份和物理备份；当数据库较大时，根据具体情况区分逻辑备份或物理备份，以及考虑是否做增量备份。

数据增量(小于100M，小于1G，小于10G，大于10G，不确定)：

一般情况，如果数据增量比例不大，可以配置增量备份，减轻存储压力；如果数据增量跟全量数据量差得不多，则可以直接全量备份。

备份冲突时间段：

考虑因素：1)不与关键业务运行时间冲突(用户输入)；2)避免流量高峰期(后台查询)。

保存周期(1星期，1个月，1年，永久，不确定)：

考虑因素：1)数据重要性；2)数据量；3)监管要求。

数据可用性(重要，一般，不确定)：

跟存储的策略相关，如果对数据可用性要求高，后台存储需要配置多副本。

恢复点目标(RPO，Recovery Point Object，即可以容忍丢失多少数据：5分钟，30分钟，2小时，1天，不确定)：

与用户对数据丢失的容忍度有关，如果需要基于时间点的恢复，则需要备份数据库的Binlog日志，恢复点目标决定了Binlog备份的频率；反之，若用户对恢复点目标无要求，则不需要备份Binlog。

恢复时长(RTO，Recovery Time Object，即恢复需要在多长时间内完成：30分钟，1小时，2小时，1天)。

具体实施中用户填写信息包括数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长至少一种或者两种以上组合。

确定模块30，用于根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；

在接收到用户填写的信息后，根据用户填写的信息确定用户选择的将要备份的数据库的备份策略。

具体地，确定模块30还用于：

根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获得备份评估结果；

根据所述备份评估结果确定所述数据库的备份策略。

本实施例中对每个问题设置对应的权重，用户填写的回答对应设置有分值，在用户提交备份评估回答后，根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获取对应的评估值，从而根据评估值获得对应的备份评估结果。然后根据备份评估结果确定所述数据库的备份策略。

具体实施中也可以对每个问题的回答设置对应的分值，然后根据用户填写的信息计算获得总分值，从而确定将要备份的数据库的备份策略。

本实施例中备份策略包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径，具体实施汇总备份策略可以包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径中至少一种或者两种以上组合。

具体地，备份方式包括物理备份或者逻辑备份；全量备份或者增量备份。

备份工具是指根据备份方式采用逻辑备份还是物理备份选择备份工具，备份工具包括mydumper、xtrabackup。

开始时间是指备份开始时间，可选择多个时间段。

备份速度是指备份速度预估。

备份运行时参数包括备份过程中开启的线程数、是否压缩等。

备份周期是指备份周期数，比如每天全备或者每周全备，当然用户可以根据实际情况设置。

保存路径是指保存位置和副本个数。具体实施中还可以包括Binlog备份频率和数据保存周期。

进一步地，本发明还支持现有技术中采用通用数据备份方案，即用户可以选择通用备份方案作为某一数据库的备份策略。

备份模块40，用于根据所述备份策略对所述数据库进行备份。

在确定备份策略后，根据确定的备份策略对对应的数据库进行备份。具体包括根据用户触发的开始指令，采用该备份策略进行备份，当然也可以根据备份策略中开始时间进行备份。

本发明通过根据用户的登录信息选取对应的数据库；接收用户提交的与所述数据库对应的备份策略评估页面；根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；根据所述备份策略对所述数据库进行备份。通过上述方式，本发明设置有备份策略评估页面，使得用户可以根据实际情况在备份策略评估页面中填写与将要备份数据库对应的信息，根据用户填写的信息则可以确定对应的备份策略，能够针对不同的数据库实例采用对应的备份策略，提高了系统备份效率，方便用户使用。

参阅图10，图10为本发明数据备份装置第二实施例的功能模块示意图。

基于本发明数据备份装置，该数据备份装置还包括：

生成模块50，用于根据所述备份策略生成备份作业至备份任务表。

进一步地，为方便用户查询备份作业，本实施例在确定备份策略后，根据备份策略生成对应的备份作业至备份任务表。用户则可以随时查询备份任务表知晓对应数据库的状态。

具体地，参阅图11，图11为本发明数据备份装置第三实施例的功能模块示意图。该数据备份装置还可以包括：

第二接收模块60，用于接收用户触发的备份查询指令；

显示模块70，用于根据所述备份查询指令获得所述数据库的备份任务表，并显示。

用户可以根据通过查询备份任务菜单触发查询指令，根据用户触发的查询指令获得与用户关联的数据库的备份任务表，并显示。当然用户还可以选择查询某一数据库的备份任务表，则根据用户的操作查询该数据库的备份任务表。具体地，用户可以查询过去24小时任务执行状态：用户可以查询所有关联的数据库备份任务执行情况，可以通过不同的颜色标注任务的执行状态，只有系统管理员可以查询所有用户的备份任务执行情况；用户也可以查询某个任务的详细执行情况：点击某个备份任务，显示该备份任务的详细执行情况，包括备份启停时间、备份数据大小和备份存储路径等等；用户还可以查询某个备份作业的历史执行情况：点击某个备份作业，查询该作业的历史执行情况，可以按最近一个月或三个月等不同方式显示；用户还可以查询24小时内将被调度的备份任务：按时间先后顺序展示24小时内即将被调度的备份任务，点击单个任务可以展示该任务的执行配置。

继续参阅图11，所述备份模块40还用于接收用户在备份任务表中手工触发的备份开始指令；根据所述备份开始指令采用所述备份策略对所述数据库进行备份。

为方便用户使用，本实施例中数据库备份支持用户手动开始备份，具体地，用户可以根据需要通过备份任务表中触发对应的数据库的备份开始指令，在接收到用户触发的备份开始指令时，确定用户操作的数据库，采用该备份作业对应的备份策略对用户要操作的数据库进行备份。

继续参阅图11，所述备份模块40还用于扫描所述备份任务表；根据所述备份任务表中备份作业的开始时间启动调度任务；根据所述任务表中的配置信息调用备份工具对所述数据库进行备份。

本实施例可以根据备份策略自动进行备份，具体地，本实施例实时扫描备份任务表，根据扫描到的备份任务表中备份作业的开始时间启动调度任务，读取备份任务表中的配置信息调研对应的备份工具对对应的数据库进行备份。其中配置信息可以包括数据中心编号、数据中心节点号、数据集号、备份级别、存储路径等。

需要特别说明的是如果接收到用户手动触发的开始指令，则以用户手动触发的开始指令进行备份，在备份完成时重新执行扫描该备份任务表中的已经开始的备份作业开始时间，避免用户触发的开始指令的时间和备份任务表中开始时间相隔较短，造成运行出错等。

进一步地，如果将本发明用于分布式存储系统中，则备份模块40还用于根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份节点列表中节点的IP地址，并从所述节点列表中选取用于备份的节点；调用用于备份的节点进行备份。

分布式存储系统中在进行备份时，根据备份任务表中配置信息调用数据库自身工具获取当前备份数据集中3台主机的IP地址(分布式数据库中当前备份数据集一般包括3个节点(服务器)，其中1个是对外服务的主节点，2个是备用节点)，根据获得的IP地址判断3个节点中哪个是主节点，哪个是备节点，选取其中一个备节点执行备份，即选取用于备份的机器，并在数据库中增加备份任务记录，初始状态设为Started(开始)。

然后主节点将调用命令发送到两台远程数据库节点，需要特别说明的是分布式数据存储中两个节点不同步，备份时将最接近的保留，另一个则备份至与最新的数据库相同。本实施例中备份节点则可以根据备份脚本调度命令开始备份。

本实施例结合数据库自身架构特点，能够实现更高的备份效率，TDSQL数据备份的存储方案采用GlusterFS(扩展性比较好)分布式文件系统，通过两者的结合，提升了系统的性能、扩展性和可靠性。

进一步地，备份模块40还可以用于在所述数据库中添加记录，并标记所述备份作业的状态为开始状态。

为方便用户查看，本实施例中在开始备份时，在进行备份的数据库中添加备份记录，并在备份任务表中对应的备份作业进行标记，将对应的备份作业的状态标记为开始。方便在用户手动触发的开始备份时，通过识别备份作业的状态，状态为开始的备份作业则不需要进行扫描。避免用户触发的备份任务正在执行，根据备份任务表中时间重新启动该数据库的备份。

参阅图12，图12为本发明数据备份装置第四实施例的功能模块示意图；

基于数据备份装置上述实施例，该数据备份装置还可以包括：

第二获取模块80，用于获取用于备份的节点的执行结果；

验证模块90，用于在所述执行结果表示备份成功时，获取用于备份的节点的备份日志进行二次验证；

更新模块100，用于在验证通过时，更新所述备份任务的状态。

在备份作业完成时，本实施例获取用于备份的节点的执行结果，具体地读取远程脚本的执行结果，若远程脚本执行成功，则获取用于备份的节点中的备份日志做二次验证，在验证通过时，获取远端记录的备份工具对应的日志记录，更新本地数据库对应的任务信息，更新备份任务状态。

参阅图13，图13为本发明数据备份装置第五实施例的功能模块示意图。

基于数据备份装置上述实施例，该数据备份装置还可以包括：

匹配模块110，用于在发现新的备份作业时，对新备份作业进行配置检查和字段匹配，以确定新备份作业的有效性；

标记模块120，用于在确定新备份作业有效时，标记所述新备份作业的状态为有效。

为确保新备份任务的有效性，本实施例在备份任务表中存在新的备份任务时，对新备份任务进行配置检查和字段匹配，获取预设规则集合和数据库中待核对字段，判断备份任务中备份配置信息是否符合预设规则，备份字段是否与数据库中的表格字段匹配，具体地，备份字段是否与数据库中的表格字段匹配包括字段对核对，固定值核对，多字段映射核对。

进一步地，在进行备份时，则可以对备份作业的有效性进行验证，只对有效的备份作业进行备份。

参阅图14，图14为本发明数据备份装置第六实施例的功能模块示意图。

基于数据备份装置上述实施例，确定模块30还用于根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略，并以策略映射表形式保存所述备份策略。

本实施例中，在根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略时，以策略映射表形式保存所述备份策略，策略映射表可以参照下表所示：

该数据备份装置还可以包括：

第三接收模块130，用于接收用户在所述备份策略映射表上触发的修改指令；

修改模块140，用于根据所述修改指令修改所述备份策略映射表中的配置信息。

本实施例中为了方便用户使用，用户在填写备份策略评估问题时，可能会有些问题的答案不是很贴切或者填写错，用户则在备份策略生成时，查看备份策略，通过上述表格的方式，方便用户一目了然地进行查看，同时用户可以在策略表中进行修改。具体地，用户在所述备份策略映射表上选择要修改的内容，然后根据将要修改内容中选项进行选择，根据用户的选择，对应修改该备份策略映射表中的配置信息，比如修改数据类型时，点击某一行，则可以弹出数据类型的选项，包括静态和动态，用户则根据选项进行选择。

参阅图15，图15为本发明数据备份装置第七实施例的功能模块示意图。

基于数据备份装置上述实施例，该数据备份装置还包括：

第四接收模块150，用于接收用户触发的数据恢复指令和用户选择的恢复时间点信息，获取数据库中的恢复配置信息，其中所述恢复配置信息至少包括已备份的文件；

恢复模块160，用于根据所述恢复配置信息和恢复指令进行数据恢复处理。

实际使用中，如果操作失误或者程序出错等原因导致数据库中出现错误，此时需要将备份的数据进行恢复，数据恢复只支持手工方式恢复。恢复配置信息至少包括已备份的文件。本实施例中用户可以选择需要恢复的备份作业和需要恢复的时间点，然后点击恢复按钮，从而对数据库进行恢复，根据用户触发的恢复指令和用户选择的恢复时间点信息，通过查询数据库返回待恢复的数据所在的存储路径，已经需要追加的binlog文件列表。用户将信息给到数据库管理员，由数据库管理员手工进行数据恢复。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (30)

1.一种数据备份方法，其特征在于，所述数据备份方法包括以下步骤：

根据用户操作获取对应的数据库；

接收用户提交的与所述数据库对应的备份策略评估页面；

根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；

根据所述备份策略对所述数据库进行备份。

2.如权利要求1所述的数据备份方法，其特征在于，用户填写的信息包括：数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长中至少一种。

3.如权利要求1所述的数据备份方法，其特征在于，所述根据所述备份策略评估页面中用户的填写信息和用户选择的预设策略确定备份策略的步骤包括：

根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获得备份评估结果；

根据所述备份评估结果确定所述数据库的备份策略。

4.如权利要求3所述的数据备份方法，其特征在于，所述备份策略包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径中至少一种。

5.如权利要求1所述的数据备份方法，其特征在于，所述根据所述备份策略对所述数据库进行备份的步骤之前包括：

根据所述备份策略生成备份作业至备份任务表。

6.如权利要求5所述的数据备份方法，其特征在于，所述根据所述备份策略生成备份作业至备份任务表的步骤之后包括：

接收用户触发的备份查询指令；

根据所述备份查询指令获得所述数据库的备份任务表，并显示。

7.如权利要求6所述的数据备份方法，其特征在于，所述根据所述备份策略对所述数据库进行备份的步骤包括：

接收用户在备份任务表中手工触发的备份开始指令；

根据所述备份开始指令采用所述备份策略对所述数据库进行备份。

8.如权利要求5所述的数据备份方法，其特征在于，所述根据所述备份策略对所述数据库进行备份的步骤包括：

扫描所述备份任务表；

根据所述备份任务表中备份作业的开始时间启动调度任务；

根据所述任务表中的配置信息调用备份工具对所述数据库进行备份。

9.如权利要求8所述的数据备份方法，其特征在于，所述根据所述任务表中的配置信息调用备份工具对所述数据库进行备份的步骤包括：

根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份节点列表中节点的IP地址，并从所述节点列表中选取用于备份的节点；

调用用于备份的节点进行备份。

10.如权利要求9所述的数据备份方法，其特征在于，所述根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份数据库所在节点的IP地址，并选取用于备份的节点的步骤包括：

在所述数据库中添加记录，并标记所述备份作业的状态为开始状态。

11.如权利要求10所述的数据备份方法，其特征在于，所述调用用于备份的节点进行备份的步骤之后还包括：

获取用于备份的节点的执行结果；

在所述执行结果表示备份成功时，获取用于备份的节点的备份日志进行二次验证；

在验证通过时，更新所述备份任务的状态。

12.如权利要求8所述的数据备份方法，其特征在于，所述根据所述备份任务表中备份作业的开始时间启动调度任务的步骤之前包括：

在发现新的备份作业时，对新备份作业进行配置检查和字段匹配，以确定新备份作业的有效性；

在确定新备份作业有效时，标记所述新备份作业的状态为有效。

13.如权利要求1所述的数据备份方法，其特征在于，所述根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略的步骤包括：

根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略，并以策略映射表形式保存所述备份策略。

14.如权利要求13所述的数据备份方法，其特征在于，所述备份方法还包括：

接收用户在所述备份策略映射表上触发的修改指令；

根据所述修改指令修改所述备份策略映射表中的配置信息。

15.如权利要求1所述的数据备份方法，其特征在于，所述备份方法还包括：

接收用户触发的数据恢复指令和用户选择的恢复时间点信息，获得数据库中的恢复配置信息，其中所述恢复配置信息至少包括已备份的文件；

根据所述恢复配置信息和恢复指令进行数据恢复处理。

16.一种数据备份装置，其特征在于，所述数据备份装置包括：

第一获取模块，用于根据用户操作获取对应的数据库；

第一接收模块，用于接收用户提交的与所述数据库对应的备份策略评估页面；

确定模块，用于根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略；

备份模块，用于根据所述备份策略对所述数据库进行备份。

17.如权利要求16所述的数据备份装置，其特征在于，用户填写的信息包括：数据源、数据类型、数据库大小、数据增量、备份冲突时间、保存周期、数据可用性、恢复点目标和恢复时长中至少一种。

18.如权利要求16所述的数据备份装置，其特征在于，所述确定模块还用于根据用户填写的信息和与用户填写信息所对应问题的预设权重进行计算，获得备份评估结果；根据所述备份评估结果确定所述数据库的备份策略。

19.如权利要求18所述的数据备份装置，其特征在于，所述备份策略包括备份方式、备份工具、开始时间、备份速度、备份运行参数、备份周期和保存路径中至少一种。

20.如权利要求16所述的数据备份装置，其特征在于，所述数据备份装置还包括：

生成模块，用于根据所述备份策略生成备份作业至备份任务表。

21.如权利要求20所述的数据备份装置，其特征在于，所述数据备份装置还包括：

第二接收模块，用于接收用户触发的备份查询指令；

显示模块，用于根据所述备份查询指令获得所述数据库的备份任务表，并显示。

22.如权利要求21所述的数据备份装置，其特征在于，所述备份模块还用于接收用户在备份任务表中手工触发的备份开始指令；根据所述备份开始指令采用所述备份策略对所述数据库进行备份。

23.如权利要求20所述的数据备份装置，其特征在于，所述备份模块还用于扫描所述备份任务表；根据所述备份任务表中备份作业的开始时间启动调度任务；根据所述任务表中的配置信息调用备份工具对所述数据库进行备份。

24.如权利要求23所述的数据备份装置，其特征在于，所述备份模块还用于根据所述任务表中的配置信息调用分布式数据库备份工具获取当前备份节点列表中节点的IP地址，并从所述节点列表中选取用于备份的节点；调用用于备份的节点进行备份。

25.如权利要求24所述的数据备份装置，其特征在于，所述备份模块还用于在所述数据库中添加记录，并标记所述备份作业的状态为开始状态。

26.如权利要求25所述的数据备份装置，其特征在于，所述数据备份装置还包括：

第二获取模块，用于获取用于备份的节点的执行结果；

验证模块，用于在所述执行结果表示备份成功时，获取用于备份的节点的备份日志进行二次验证；

更新模块，用于在验证通过时，更新所述备份任务的状态。

27.如权利要求24所述的数据备份装置，其特征在于，所述数据备份装置还包括：

匹配模块，用于在发现新的备份作业时，对新备份作业进行配置检查和字段匹配，以确定新备份作业的有效性；

标记模块，用于在确定新备份作业有效时，标记所述新备份作业的状态为有效。

28.如权利要求16所述的数据备份装置，其特征在于，所述确定模块还用于根据所述备份策略评估页面中用户填写的信息确定所述数据库的备份策略，并以策略映射表形式保存所述备份策略。

29.如权利要求28所述的数据备份装置，其特征在于，所述数据备份装置还包括：

第三接收模块，用于接收用户在所述备份策略映射表上触发的修改指令；

修改模块，用于根据所述修改指令修改所述备份策略映射表中的配置信息。

30.如权利要求16所述的数据备份装置，其特征在于，所述数据备份装置还包括：

第四接收模块，用于接收用户触发的数据恢复指令和用户选择的恢复时间点信息，获得数据库中的恢复配置信息，其中所述恢复配置信息至少包括已备份的文件；

恢复模块，用于根据所述恢复配置信息和恢复指令进行数据恢复处理。