CN101753345B - 一种数据远程汇总备份装置、方法及系统 - Google Patents

Abstract

本发明公开了一种数据远程汇总备份装置、方法及系统。其中的系统包括分端和汇总端，还包括：部署于分端的第一数据远程汇总备份装置，用以配置汇总端的地址信息及分端的运行配置信息，从汇总端获取汇总信息，并在分端的运行配置信息中的汇总时间到时，根据汇总信息从分端的数据库提取待汇总数据，将其传送至汇总端；部署于汇总端的第二数据远程汇总备份装置，用于配置汇总信息供分端下载使用，以及汇总端的运行配置信息，还用于接收来自第一数据远程汇总备份装置的待汇总数据，将其写入汇总端的数据库中。本发明实现了对相同管理系统的不同数据库的数据自动远程汇总备份到一个数据库中的方法，可实现对这些数据的统一管理，提高了工作效率，降低了失误率。

Description

一种数据远程汇总备份装置、方法及系统

技术领域

本发明涉及电信网管系统，尤其涉及一种对多种数据库的数据进行远程汇总备份的装置、方法及系统。

背景技术

现代社会的飞速发展，大量的信息被采集、管理和传输，因而对信息科技的要求也越来越高，信息的存储也越来越多样化。这样，信息的集中管理、共享及同步就显的尤为重要，需要一种通用和高效的系统和方法来实现。

例如电信网管系统中，网管系统支持多种数据库，各个分公司(分部)有可能采用不同类型的数据库，总部需要对各个分公司(分部)不同的数据库进行集中数据汇总、备份和管理，通常采用的一种方式：各个分公司(分部)分别采用手工或者其他方式将其数据库中的数据转存为文件，然后通过文件的方式进行传送到总部，这样不但需要人力和时间，实时性也不够，而且总部在接收到各个分公司(分部)的文件时，无法把各个分公司(分部)的数据放在系统中进行横向比较查看，需要人工来进行比较，这种人工比较方式效率低，而且失误也较大；另一种方式，用总部直接连接到分公司(分部)的数据库中查看，这种方式受网络的影响比较大，而且这种方式只能每次连接一个分公司(分部)，也无法横向比较其他分公司(分部)的数据。

数据的同步技术也广泛的应用到了各行各业中，例如通讯、网络等行业。但是，同步技术只是一对一的同步方式，是对两端同类数据进行校验，使得两端的同类数据相同；但是无法把分散的数据进行汇总管理和共享；而且，由于同步是对一套系统中同样的数据进行差异数据进行同步校验，所以同步技术无法对相同管理系统的不同数据库的不同数据汇总，只能对已有的数据进行同步。

数据备份技术也已广泛应用到各种行业或者系统中，备份技术的特点是：对某些数据进行同样的拷贝或者复制，以保存这些数据不丢失，当这些数据由于意外或者其他的原因遭到破坏或者需要重新恢复旧数据时，可以利用这些备份的数据进行恢复或者恢复旧数据，以保证系统的正常运行。但是，这些备份的数据都是单个系统的数据，即使备份在同一个地方，这些数据也是多表多系统存在的，无法对这些备份在同一地方多分公司(分部)的数据进行集中管理。

发明内容

本发明所要解决的技术问题是提供一种数据远程汇总备份装置、数据远程汇总备份系统、以及相应的方法，实现将相同管理系统的不同数据库的数据自动汇总备份到一个数据库中，提高工作效率，且方便对这些数据进行统一管理。

为解决上述技术问题，本发明是通过以下技术方案实现的：

一种数据远程汇总备份装置，包括配置信息模块、数据提取/入库模块、数据发送/接收模块；

所述配置信息模块，在所述装置部署于分端时，用以配置用于存储汇总数据的汇总端的地址信息以及分端的运行配置信息，从该汇总端获取汇总信息并存储为分端汇总信息表；或者在所述装置部署于汇总端时，用于配置汇总信息供分端下载使用，以及配置汇总端的运行配置信息；

所述数据提取/入库模块，在所述装置部署于分端时，用于根据所述分端汇总信息表从分端数据库中提取待汇总数据；或者在所述装置部署于汇总端时，将数据发送/接收模块发送来的待汇总数据写入汇总端数据库中进行保存；

所述数据发送/接收模块，在所述装置部署于分端时，用于根据配置信息模块所配置的存储汇总数据的汇总端的地址信息以及分端的运行配置信息，将分端的数据提取/入库模块所提取的待汇总数据发送至汇总端；或者在所述装置部署于汇总端时，接收来自分端的待汇总数据，将其交由汇总端的数据提取/入库模块。

上述装置中，所述分端的数据发送/接收模块包括：数据包发送模块和FTP文件发送模块；分端的数据发送/接收模块在将分端的数据提取/入库模块所提取的待汇总数据发送至汇总端的过程中，先调用所述数据包发送模块，将所述待汇总数据压缩打包以数据包方式发送至汇总端；若发送超时并且链路断链超时，则调用所述FTP文件发送模块，定时向汇总端发送心跳消息以检测分端与汇总端的链路是否连通，待连通时将所述待汇总数据的剩余部分以FTP文件的方式发送至汇总端。

上述装置中，所述分端的数据提取/入库模块在根据所述分端汇总信息表从分端数据库中提取待汇总数据时，先根据分端汇总信息表中的表信息从分端数据库中查找相应的表；若该表中的数据带有时间戳，则从中提取出在分端的运行配置信息中汇总周期内的数据作为待汇总数据；若该表中的数据没有时间戳，则从中提取出与前次汇总时发生变化的数据作为待汇总数据。

上述装置还包括日志记录模块，该日志记录模块在所述装置部署于分端时，用以记录分端的数据发送/接收模块向汇总端成功发送的待汇总数据的相关信息，或者该日志记录模块在所述装置部署于汇总端时，记录汇总端的数据提取/入库模块向汇总端数据库成功写入的待汇总数据的相关信息。

一种数据远程汇总备份方法，包括以下步骤：

(1)在各个分端配置用以存储汇总数据的汇总端的地址信息以及分端的运行配置信息；并在所述汇总端配置汇总信息供各分端下载使用，以及配置汇总端的运行配置信息；

(2)所述各分端分别从汇总端下载汇总信息，存储为分端汇总信息表，并根据分端汇总信息表从分端的数据库提取待汇总数据；

(3)所述各分端分别根据所述汇总端的地址信息，将所述待汇总数据传送至汇总端；

(4)所述汇总端接收所述待汇总数据，将其存入汇总端的数据库中。

上述方法中，所述步骤(1)中，所述分端的运行配置信息包括：连接数据库类型、用户名、密码、汇总时间、汇总周期和超时的时间长度；所述汇总端的运行配置信息包括：连接数据库类型、用户名和密码。

上述方法中，所述步骤(2)中，分端提取待汇总数据的方法为：

①根据分端汇总信息表中的表信息从本分端的数据库中提取出对应表；

②若该表中数据带有时间戳，则从中提取出在本分端的运行配置信息中的汇总周期内的数据作为待汇总数据；若该表中数据没有时间戳，则从中提取出与前次汇总时发生变化的数据作为待汇总数据。

上述方法中，所述步骤(3)中，分端将待汇总数据传送至汇总端的方法为：将所述待汇总数据压缩打包，以数据包的方式发送到汇总端；若发送超时并且链路断链超时，则分端定时向汇总端发送心跳消息以检测两端的链路是否连通，待连通时将所述待汇总数据的剩余部分以FTP文件的方式发送至汇总端。

上述方法中，所述步骤(4)中，所述汇总端在接收待汇总数据过程中，先将其写入临时数据文件，待全部接收完时，再将其中的待汇总数据写入数据库中。

上述方法还包括：所述分端对其向汇总端成功发送的待汇总数据的相关信息进行记录；同时，所述汇总端对其成功写入汇总端数据库的待汇总数据的相关信息进行记录。

一种数据远程汇总备份系统，包括分端和汇总端，还包括：

第一数据远程汇总备份装置，部署于所述分端，用以配置汇总端的地址信息以及分端的运行配置信息，从所述汇总端获取汇总信息并存储为分端汇总信息表，并在分端的运行配置信息中的汇总时间到时，根据分端汇总信息表从分端的数据库提取待汇总数据，将其通过数据包或者FTP文件的方式传送至汇总端；

第二数据远程汇总备份装置，部署于汇总端，用于配置汇总信息供分端下载使用，以及配置汇总端的运行配置信息；还用于接收来自第一数据远程汇总备份装置的待汇总数据，将其写入汇总端的数据库中。

本发明具有以下有益效果：

1)本发明实现了对相同管理系统的不同数据库的数据进行自动远程汇总备份的方法，与现有技术中的人工操作方法相比，大大提高了工作效率，降低了失误率，实用性强；

2)本发明可将不同数据库的数据汇总备份到一个数据库中，这样，即可实现对这些数据的统一管理，也大大提高了工作效率，简单实用。

附图说明

图1是本发明实施例中的数据远程汇总备份系统的结构示意图；

图2是本发明实施例中的配置信息模块一的处理方法流程图；

图3是本发明实施例中的数据提取/入库模块一的处理方法流程图；

图4是本发明实施例中的数据发送/接收模块一的处理方法流程图；

图5是本发明实施例中的数据提取/入库模块二的处理方法流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的描述：(本实施例中，以B端为发送待汇总数据的分端，A端为存储待汇总数据的汇总端)

请参阅图1，该图所示为本发明的数据远程汇总备份系统的结构示意图，包括B端和A端，以及部署于B的数据远程汇总备份装置一和部署于A端的数据远程汇总备份装置二；其中，数据远程汇总备份装置一和数据远程汇总备份装置二均包括以下模块：配置信息模块、数据提取/入库模块、数据发送/接收模块、日志记录模块；

上述系统的工作原理为：数据远程汇总备份装置一根据分端汇总信息或者从汇总端远程获取的汇总信息，从B端提取待汇总数据并将其采用数据包或者FTP文件方式发送至数据远程汇总备份装置二，数据远程汇总备份装置二再将所接收到的待汇总数据存入A端的数据库的相应位置。

下面将分别描述各个功能模块的功能实现方法：

请参阅图2，该图所示为本实施例中位于分端的数据远程汇总备份装置一的配置信息模块一的处理方法流程，包括以下步骤：

201、配置初始化配置信息(包括汇总端的地址信息等)和分端汇总信息、分端的运行配置信息(包括连接数据库类型、用户名、密码，汇总时间，汇总周期，超时等配置信息)。

202、判断初始化配置信息中是否含有汇总端的IP地址(A端)；若有，则从A端获取汇总信息并保存为分端汇总信息表；若无，则读取分端汇总信息，将其保存为分端汇总信息表。

请参阅图3，该图所示为本实施例中位于分端的数据远程汇总备份装置一的数据提取/入库模块一的处理方法流程，包括以下步骤：

301、在分端的运行配置信息中的汇总时间到时，获取分端汇总信息表，根据该表中的表信息从B端的数据库中查找对应表；

302、判断所述对应表的数据是否带有时间戳，若带有，则执行步骤303；若不带有，则执行步骤304。

303、若本次是首次汇总，则可将整张表中的数据全部提取出来作为待汇总数据；若不是首次汇总，则可从对应表中提取出在分端的运行配置信息中汇总周期内的数据作为待汇总数据，只对预定周期内的数据进行汇总，之后结束。

304、若本次是首次汇总，则可将整张表中的数据全部提取出来作为待汇总数据；若不是首次汇总，则将从对应表中的数据与前次汇总时的数据比较，只提取出其中变化的数据作为待汇总数据，这样便只对变化的数据进行汇总，之后结束。

请参阅图4，该图所示为本实施例中位于分端的数据远程汇总备份装置一的数据发送/接收模块一的处理方法流程，包括以下步骤：

401、将待汇总数据放入数据传送队列，再将其压缩打包并放入数据压缩打包队列。

402、向A端发送初始包，在接收到A端的响应包后，将数据压缩打包队列中的数据包依次发送给A端。

403、在数据包的发送过程中，若发送超时，则将剩余未发送的待汇总数据存储为临时文件；临时文件命名为：B端编号(或者IP地址)+库名+表名(关键字位置，以“-”分隔符)+年月日。

404、定时向A端发送心跳信息，以检测B端与A端的网络是否连通，若已连通，则将所保存的临时数据文件以FTP文件方式上传给A端。

405、调用日志记录模块一，对成功上传给A端的待汇总数据的相关信息进行记录。

请参阅图5，该图所示为本实施例中位于汇总端(A端)的数据远程汇总备份装置二的数据提取/入库模块二的处理方法流程，包括以下步骤：

501、接收数据远程汇总备份装置一以数据包方式发送来的数据包，将其解压缩并放入汇总端的临时数据文件中。

502、等待汇总数据接收完后，分析临时数据文件中数据的库名、表名、关键字位置等信息，将其中的数据存储汇总端数据库中的合适位置，同时调用日志记录模块二进行日志记录更新，然后删除临时数据文件。

503、定时扫描汇总端的FTP目录下是否有数据文件，若有，则分析数据文件名称，获取库名、表名、关键字位置等信息，然后将其中的数据写入汇总端数据库中的合适位置，同时调用日志记录模块二进行日志记录更新，然后删除FTP目录下的数据文件。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (11)

1.一种数据远程汇总备份装置，其特征在于，包括配置信息模块、数据提取/入库模块、数据发送/接收模块；

所述配置信息模块，在所述装置部署于分端时，用以配置用于存储汇总数据的汇总端的地址信息以及分端的运行配置信息，从该汇总端获取汇总信息并存储为分端汇总信息表；或者在所述装置部署于汇总端时，用于配置汇总信息供分端下载使用，以及配置汇总端的运行配置信息；

所述数据提取/入库模块，在所述装置部署于分端时，用于根据所述分端汇总信息表从分端数据库中提取待汇总数据；或者在所述装置部署于汇总端时，将数据发送/接收模块发送来的待汇总数据写入汇总端数据库中进行保存；

所述数据发送/接收模块，在所述装置部署于分端时，用于根据配置信息模块所配置的存储汇总数据的汇总端的地址信息以及分端的运行配置信息，将分端的数据提取/入库模块所提取的待汇总数据发送至汇总端；或者在所述装置部署于汇总端时，接收来自分端的待汇总数据，将其交由汇总端的数据提取/入库模块。

2.如权利要求1所述的数据远程汇总备份装置，其特征在于，所述分端的数据发送/接收模块包括：数据包发送模块和FTP文件发送模块；分端的数据发送/接收模块在将分端的数据提取/入库模块所提取的待汇总数据发送至汇总端的过程中，先调用所述数据包发送模块，将所述待汇总数据压缩打包以数据包方式发送至汇总端；若发送超时并且链路断链超时，则调用所述FTP文件发送模块，定时向汇总端发送心跳消息以检测分端与汇总端的链路是否连通，待连通时将所述待汇总数据的剩余部分以FTP文件的方式发送至汇总端。

3.如权利要求1所述的数据远程汇总备份装置，其特征在于，所述分端的数据提取/入库模块在根据所述分端汇总信息表从分端数据库中提取待汇总数据时，先根据分端汇总信息表中的表信息从分端数据库中查找相应的表；若该表中的数据带有时间戳，则从中提取出在分端的运行配置信息中汇总周期内的数据作为待汇总数据；若该表中的数据没有时间戳，则从中提取出与前次汇总时发生变化的数据作为待汇总数据。

4.如权利要求1至3任一所述的数据远程汇总备份装置，其特征在于，该装置还包括日志记录模块，该日志记录模块在所述装置部署于分端时，用以记录分端的数据发送/接收模块向汇总端成功发送的待汇总数据的相关信息，或者该日志记录模块在所述装置部署于汇总端时，记录汇总端的数据提取/入库模块向汇总端数据库成功写入的待汇总数据的相关信息。

5.一种数据远程汇总备份方法，其特征在于，包括以下步骤：

(1)在各个分端配置用以存储汇总数据的汇总端的地址信息以及分端的运行配置信息；并在所述汇总端配置汇总信息供各分端下载使用，以及配置汇总端的运行配置信息；

(2)所述各分端分别从汇总端下载汇总信息，存储为分端汇总信息表，并根据分端汇总信息表从分端的数据库提取待汇总数据；

(3)所述各分端分别根据所述汇总端的地址信息，将所述待汇总数据传送至汇总端；

(4)所述汇总端接收所述待汇总数据，将其存入汇总端的数据库中。

6.如权利要求5所述的数据远程汇总备份方法，其特征在于，所述步骤(1)中，所述分端的运行配置信息包括：连接数据库类型、用户名、密码、汇总时间、汇总周期和超时的时间长度；所述汇总端的运行配置信息包括：连接数据库类型、用户名和密码。

7.如权利要求6所述的数据远程汇总备份方法，其特征在于，所述步骤(2)中，分端提取待汇总数据的方法为：①根据分端汇总信息表中的表信息从本分端的数据库中提取出对应表；②若该表中数据带有时间戳，则从中提取出在本分端的运行配置信息中的汇总周期内的数据作为待汇总数据；若该表中数据没有时间戳，则从中提取出与前次汇总时发生变化的数据作为待汇总数据。

8.如权利要求6所述的数据远程汇总备份方法，其特征在于，所述步骤(3)中，分端将待汇总数据传送至汇总端的方法为：将所述待汇总数据压缩打包，以数据包的方式发送到汇总端；若发送超时并且链路断链超时，则分端定时向汇总端发送心跳消息以检测两端的链路是否连通，待连通时将所述待汇总数据的剩余部分以FTP文件的方式发送至汇总端。

9.如权利要求6所述的数据远程汇总备份方法，其特征在于，所述步骤(4)中，所述汇总端在接收待汇总数据过程中，先将其写入临时数据文件，待全部接收完时，再将其中的待汇总数据写入数据库中。

10.如权利要求6至9任一所述的数据远程汇总备份方法，其特征在于，该方法还包括：所述分端对其向汇总端成功发送的待汇总数据的相关信息进行记录；同时，所述汇总端对其成功写入汇总端数据库的待汇总数据的相关信息进行记录。

11.一种数据远程汇总备份系统，包括分端和汇总端，其特征在于，还包括：

第一数据远程汇总备份装置，部署于所述分端，用以配置汇总端的地址信息以及分端的运行配置信息，从所述汇总端获取汇总信息并存储为分端汇总信息表，并在分端的运行配置信息中的汇总时间到时，根据分端汇总信息表从分端的数据库提取待汇总数据，将其通过数据包或者FTP文件的方式传送至汇总端；

第二数据远程汇总备份装置，部署于汇总端，用于配置汇总信息供分端下载使用，以及配置汇总端的运行配置信息；还用于接收来自第一数据远程汇总备份装置的待汇总数据，将其写入汇总端的数据库中。

Images