CN103488546B - 一种支持多级别数据和数据库在线并发备份与恢复方法 - Google Patents

Abstract

本发明公开了一种支持多级别数据和数据库在线并发备份与恢复方法，执行以下步骤进行备份数据恢复：启动所有备份代理服务器和备份数据服务器，并注册到主控服务器；通过管理控制台，选择备份任务类别，备份任务类别包括目录备份或用户完整备份；通过主控服务器发布备份数据任务请求消息或者数据库备份任务请求消息给备份数据服务器和备份代理服务器；（3）备份数据服务器收到开始上传或下载数据命令，按任务号建立备份文件存放目录，之后开启文件传输服务，接受备份代理服务器文件上传或下载连接；接收上传或下载文件数据之传输结束后，向主控服务器发送任务完成消息。本发明支持海量数据存储及备份需求，支持在线备份数据与恢复。

Description

一种支持多级别数据和数据库在线并发备份与恢复方法

技术领域

本发明属于计算机数据存储领域，特别涉及一种支持多级别数据和数据库在线并发备份与恢复方法。

背景技术

当前，人们对信息的载体——数据的依赖性越来越大，备份数据的关键技术研究也越来越深入。同时，随着云存储等计算机网络数据存储技术的兴起，可靠的备份数据方法显得尤为重要。

常用的备份恢复机制存在以下问题：

（1）热备份方式并不能解决像操作人员误删除造成数据丢失这样的问题，因为热备份系统为保证数据的一致性，会定时同步双机的数据。一旦误删数据，则不能恢复。

（2）备份介质磁带的可靠性较差，难以保存，容易失效。所用磁带机存取速度太慢，备份一次数据所需时间太长。

（3）数据存储备份方式接近手工，难以满足数据的高效在线备份的需求。

（4）主机操作系统、应用系统的备份、恢复采用手工方式，这种现状的严重后果是：一旦由于硬盘故障造成操作系统或者应用系统不能正常运行，恢复需要很长的时间。恢复期间，势必影响作业的连续性，甚至造成整个系统停止运行。

从以上的问题分析中，发明人认识到对于云存储等计算机网络数据存储系统的设计方案中如果没有相应的高效在线数据存储备份解决方案，就不算是完整的备份数据方案，这样的计算机系统并不是永远可靠的。双机热备份、磁盘阵列、磁盘镜像、数据库软件的自动复制等功能均不能称为完整的数据存储备份系统，它们解决的只是系统可用性的问题，而计算机系统的可靠性问题需要完整的备份数据管理系统来解决。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种支持多级别数据和数据库在线并发备份与恢复方法。

为了解决上述技术问题，本发明公开了一种支持多级别数据和数据库在线并发备份与恢复方法，设置一个主控服务器、一个管理控制台、一个以上的备份数据服务器和一个以上的备份代理服务器四个部分组成的备份数据恢复系统，各个部分之间通过网络进行数据连接，数据连接分为数据通道和信令通道；信令通道交互信令消息，控制数据通道的建立与释放；备份数据服务器包括数据存放单元、数据读取单元、数据转发与数据处理单元；备份代理服务器包括发送数据单元、读取数据单元、备份状态显示数据单元；

主控服务器是备份数据与恢复的中心服务器，保存各个备份任务的完成信息，是发布备份任务和恢复任务的命令控制服务器；

管理控制台用于发布备份和恢复的任务，查看备份数据恢复系统中各个注册的备份代理服务器和备份数据服务器的在线状态，跟踪各个备份数据恢复任务的完成情况；

备份数据恢复系统通过执行以下步骤进行备份数据恢复：

（1）启动所有备份代理服务器和备份数据服务器，并注册到主控服务器；

（2）通过管理控制台，选择备份任务类别，备份任务类别包括目录备份或用户完整备份，如果是目录备份则添加目录列表和文件列表并生成备份数据任务请求消息，如果是用户完整备份则添加用户列表和库列表并生成数据库备份任务请求消息；通过主控服务器发布备份数据任务请求消息或者数据库备份任务请求消息给备份数据服务器和备份代理服务器；

（3）备份数据服务器收到开始上传或下载数据命令，按任务号建立备份文件存放目录，之后开启文件传输服务，接受备份代理服务器文件上传或下载连接；接收上传或下载文件数据之传输结束后，向主控服务器发送任务完成消息。

本发明中，主控服务器包含用户管理模块、日志管理模块、设备管理模块、备份恢复任务管理模块、网传接口模块、数据库接口模块以及消息管理器；

进行备份数据恢复时主控服务器采用如下信令流程步骤：

主控服务器调用模块初始化，完成模块功能，模块功能包括加载数据库接口模块，初始化数据对象，初始化消息管理器和消息队列，初始化备份任务和会话对象管理器；

主控服务器的消息管理器检查消息队列，如果有消息，则读取一条消息，分析消息类型，送入对应会话对象管理器；

会话对象管理器分析消息的源地址和目标地址，如果源地址和目标地址有误或在局域网中不存在，则在主控服务器的消息管理器中显示对应的错误信息，否则送入数据转发与数据处理单元；

从消息队列中删除消息。

本发明中，进行备份数据恢复时管理控制台采用如下信令流程步骤：

选择备份代理服务器和备份的任务类别；

若选择目录备份，则添加目录列表或添加文件列表，生成备份数据任务请求消息；若选择用户完整备份，则添加用户列表或库表列表，生成数据库备份任务请求消息；

采用多线程发送消息至主控服务器，发送消息队列组由备份代理服务器的发送数据单元完成，一旦读到数据即行发送；读取数据功能由代理服务器的读取数据单元完成；发送和读取后，调用备份状态显示数据单元对相关数据进行显示。

本发明提出一种新的支持多级别数据和数据库在线并发备份与恢复方法，用以保护目前云存储系统中的关键数据并加强系统备份数据的安全性和高效性，支持多应用节点用户在线数据并发备份与恢复，同时支持多种数据库的在线备份和数据组织。此外，用户可以直接将客户端机器上的数据自动备份到存储服务提供商的异地数据中心，以便及时恢复数据。

本发明提出的支持多级别数据和数据库在线并发备份与恢复方法包括：备份数据系统主要包括一个主控服务器、一个管理控制台、多个备份数据服务器和多个备份代理服务器，从逻辑上将各个联网节点之间的数据连接划分为数据通道和信令通道，并应用Socket技术和FTP协议对数据进行传输。系统运行时，各个联网节点通过信令通道交互信令消息，控制数据通道的建立与释放。设计两侧结构，底层是通用数据传输接口，它可以直接作为系统的信令通道，又可以作为数据通道的底层基础；上层是在底层即通用数据传输接口上的点到点文件传输应用。系统采用线程池技术和套接字I/O完成模型来实现数据的并发备份功能。通过分布式文件管理调度策略，完成备份数据过程中的分发与传输，保证数据安全存储并从正确的位置获取备份数据。此外，对数据进行的备份采用了分级压缩方式进行传输和存储，并建立了完善的索引，方便用户快速从备份文件中查找到源数据，并从中恢复出来。

根据本发明的上述方法，可以解决以下问题：

1备份数据支持多应用节点和多应用节点的在线备份数据和并发备份功能；

2数据库备份支持Oracle、SQLServer、国产数据库等主流数据库的在线备份；

3数据恢复支持多级别的数据恢复方式；数据管理提供适合备份传输、存储和恢复的数据压缩算法和数据组织方法。

本发明的有益效果是：本发明方法支持海量数据存储及备份需求，支持在线备份数据与恢复，支持多应用节点和多介质节点，同时，支持Oracle、SQLServer、国产数据库等主流数据库的在线备份，支持多级别数据恢复功能，提供适合备份传输、存储和恢复的数据压缩算法和数据组织方法。该发明方法的主要如下：

1）并发高效性：对于备份数据，可以同时发起多个文件传输。通过在传输消息中加入应用层ID、任务ID等字段，将同一底层通道传输的数据消息路由到不同的应用层。

2）速率可控性：根据本发明方法，客户端在向首选备份数据服务器备份时，速率可较快；而主备份服务器在向次级备份数据服务器做备份时，可以降速，以节省系统和网络资源。

3）传输数据连续性：在文件传输的每一个环节，都要向上层应用施加回调或者发送消息。如定期发送进度消息，当网络失败或者其他原因导致文件传输中断时，向上层提交消息。

4）线程安全性：系统采用多线程技术来设计，由于多个线程可能会操作同一片数据，这就要求实现严格的同步。另外，由于上层应用也可能对底层网传进行多线调用，因而在必要之处进行同步控制。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明总体流程图。

图2为本发明系统框架图。

图3为本发明主控服务器处理流程图。

图4为本发明备份管理控制台备份任务发布流程图。

具体实施方式

图1是进行多级别数据和数据库在线并发备份与恢复方法的操作使用流程图。如图1所示，本发明所述的备份与恢复方法包括以下步骤：

(1)首先启动所有备份代理服务器和备份数据服务器，并注册到中心主控服务器，主控服务器是备份数据与恢复的中心服务器，保存有各个备份任务的完成情况，是发布备份任务和恢复任务的命令控制服务器；

(2)通过管理控制台，选择备份任务类别（目录备份和用户完整备份），添加目录列表和文件列表（或用户列表和库列表），生成数据（或数据库）备份任务请求消息，之后等待任务状态更新，管理控制台完成发布备份和恢复的任务，查看云备份系统中各个登记的设备的在线状态，跟踪各个任务的完成情况；

(3)数据服务器收到开始上传/下载数据命令，按任务号建立备份文件存放目录，之后开启文件传输服务，接受备份代理服务器文件上传/下载连接，接收上传/下载文件数据之传输结束，并向主控服务器发送任务完成消息；

(4)查看备份数据服务器，确定备份与恢复任务的数据上传和下载，各数据服务器之间相对独立，可并行工作；

(5)利用备份代理服务器在需要备份的主机上搜集、整理数据，与确定的数据服务器之间形成数据上传和下载的关系，各代理之间相对独立，可并行工作。

图2是本发明中提出的支持多级别数据和数据库在线并发备份与恢复方法的框架图。如图2所示，本发明所提出的备份与恢复方法框架图由四个部分组成：备份中心主控服务器、备份管理控制台、备份服务控制器及备份代理服务器。

备份管理控制台在发布备份任务时，并不知道数据将要存储在哪个数据服务器上，数据服务器的最终确定通过主控服务器的调度完成，对于执行了备份操作的备份代理服务器而言，它只知道数据在云存储系统中做了备份，需要恢复时，能够从正确的位置取到备份数据，从而，整个备份数据任务完成分布式的文件管理和调度。

图3为本发明中主控服务器处理流程图，主控服务器是备份数据与恢复的中心服务器，是整个系统发布备份任务和恢复任务的命令控制服务器，包含用户管理模块、日志管理模块、设备管理模块、备份恢复任务管理模块、网传接口模块、数据库接口模块。

其中，用户管理模块的主要作用是对用户进行管理，包括登录、注册等功能，系统只有经过登录后，才可以使用，并且会把登录的用户名传递到其它模块供使用。

日志管理模块的主要作用是向主控服务器所在的物理机的C:\backup\logs\bk.log中写入日志信息，每条日志信息的内容格式为：时间+用户名（来自于用户管理模块的登录用户名）+目标机器IP+操作名称+备注，如某条日志：2012-12-1012:15:18[admin][192.168.1.1.73]数据备份备份700M的文件。

设备管理模块主要作用是对物理模块进行管理，包括主控服务器可以管理的代理服务器的个数、种类、操作系统，数据服务器的个数、种类、操作系统，辅助设备的连接与管理（如，使用移动硬盘作为数据服务器）。

备份恢复任务管理模块的主要作用就是备份和恢复，备份就是将代理服务器上的文件或文件夹通过Socket技术和FTP协议传输到数据服务器上。恢复就是讲数据服务器上的文件通过Socket技术和FTP协议传输到代理服务器上。

网传接口模块的主要作用是规定数据传输时目标IP地址及对应的端口号，如FTP传输时，使用的端口号为21。

数据库接口模块的作用是将数据库的表数据放入数据服务器和将数据服务器的数据放入数据库中。备份时，通过调用数据库的Backup函数将表数据放入数据服务器中，恢复时，调用数据库的Restore函数将数据服务器的数据恢复到数据库中。

下面对主控服务器处理流程和备份管理控制台备份任务发布流程分别予以说明。如图3所示，具体信令流程为：

(1)启动所有备份代理服务器和备份数据服务器，并注册到中心主控服务器；

(2)调用模块初始化，完成模块功能（包括加载数据库接口模块，初始化数据对象，初始化消息管理器和消息队列等，初始化备份任务和会话对象管理器等）；

(3)消息处理线程检查消息队列，如果有消息，则读取一条消息，分析消息类型，送入对应会话对象，否则返回；

(4)会话对象管理器分析消息的源地址和目标地址，如果源地址和目标地址有误或者在局域网中不存在，则在主控服务器的消息管理器中显示对应的错误信息，并从消息队列中删除消息，根据用户需求决定是否结束程序并关闭系统，否则送入数据转发与数据处理单元，后回调至通信模块；

(5)从消息队列中删除消息，如果程序结束，则关闭系统。

图4是本发明备份管理控制台备份任务发布流程图，管理控制台用于发布备份和恢复的任务，查看云备份系统中各个登记的设备的在线状态，跟踪各个任务的完成情况。如图4所示，具体信令流程为：

(1)用户从代理列表中选择代理设备，并选择需要备份的任务类别；

(2)若选择目录备份，则添加目录列表或添加文件列表，生成备份数据任务请求消息；若选择用户完整备份，则添加用户列表或库表列表，生成数据库备份任务请求消息；

(3)发送消息至主控服务器，为了快速响应SAP连接，必须采用多线程。发送队列组由发送队列扫描线程扫描，读到数据即行发送；另一个线程，套接字读扫描线程，负责扫描套接字读状态，读取数据后分发到接收队列。实现时，采用操作系统提供的线程池机制，由一个消息队列挂着若干处理线程，其队列管理及回调时机是由操作系统来管理的，因此它能根据CPU的个数来动态调整运行线程个数，使之达到性能最佳。

(4)加入备份状态显示模块；

(5)等待任务状态更新。

本发明同时支持Oracle、SQLServer、国产数据库等主流数据库的在线备份与恢复，提供适合备份传输、存储和恢复的数据压缩算法和数据组织方法，能够广泛应用于云存储等计算机网络数据存储领域。

本发明提供了一种支持多级别数据和数据库在线并发备份与恢复方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种支持数据和数据库在线并发备份与恢复方法，其特征在于，设置一个主控服务器、一个管理控制台、一个以上的备份数据服务器和一个以上的备份代理服务器四个部分组成的备份数据恢复系统，各个部分之间通过网络进行数据连接，数据连接分为数据通道和信令通道；信令通道交互信令消息，控制数据通道的建立与释放；备份数据服务器包括数据存放单元、数据读取单元、数据转发与数据处理单元；备份代理服务器包括发送数据单元、读取数据单元、备份状态显示数据单元；

主控服务器是备份数据与恢复的中心服务器，保存各个备份任务的完成信息，是发布备份任务和恢复任务的命令控制服务器；

管理控制台用于发布备份和恢复的任务，查看备份数据恢复系统中各个注册的备份代理服务器和备份数据服务器的在线状态，跟踪各个备份数据恢复任务的完成情况；

备份数据恢复系统通过执行以下步骤进行备份数据恢复：

(1)启动所有备份代理服务器和备份数据服务器，并注册到主控服务器；

(2)通过管理控制台，选择备份任务类别，备份任务类别包括目录备份或用户完整备份，如果是目录备份则添加目录列表和文件列表并生成备份数据任务请求消息，如果是用户完整备份则添加用户列表和库列表并生成数据库备份任务请求消息；通过主控服务器发布备份数据任务请求消息或者数据库备份任务请求消息给备份数据服务器和备份代理服务器；

(3)备份数据服务器收到开始上传或下载数据命令，按任务号建立备份文件存放目录，之后开启文件传输服务，接受备份代理服务器文件上传或下载连接；接收上传或下载文件数据之传输结束后，向主控服务器发送任务完成消息。

2.根据权利要求1所述的一种支持数据和数据库在线并发备份与恢复方法，其特征在于，主控服务器包含用户管理模块、日志管理模块、设备管理模块、备份恢复任务管理模块、网传接口模块、数据库接口模块以及消息管理器；

进行备份数据恢复时主控服务器采用如下信令流程步骤：

主控服务器调用模块初始化，完成模块功能，模块功能包括加载数据库接口模块，初始化数据对象，初始化消息管理器和消息队列，初始化备份任务和会话对象管理器；

主控服务器的消息管理器检查消息队列，如果有消息，则读取一条消息，分析消息类型，送入对应会话对象管理器；

会话对象管理器分析消息的源地址和目标地址，如果源地址和目标地址有误或在局域网中不存在，则在主控服务器的消息管理器中显示对应的错误信息，否则送入数据转发与数据处理单元；

从消息队列中删除消息。

3.根据权利要求1所述的一种支持数据和数据库在线并发备份与恢复方法，其特征在于，进行备份数据恢复时管理控制台采用如下信令流程步骤：

选择备份代理服务器和备份的任务类别；

若选择目录备份，则添加目录列表或添加文件列表，生成备份数据任务请求消息；若选择用户完整备份，则添加用户列表或库表列表，生成数据库备份任务请求消息；

采用多线程发送消息至主控服务器，发送消息队列组由备份代理服务器的发送数据单元完成，一旦读到数据即行发送；读取数据功能由备份代理服务器的读取数据单元完成；发送和读取后，调用备份状态显示数据单元对相关数据进行显示。