CN1318974C - 数据库备份数据的压缩和查询方法 - Google Patents

Abstract

本发明对数据库的备份数据，提供了一种新的压缩方式，可使数据库结构化数据的压缩率，一般由目前的2-3倍提高到10-30倍，可大大减少备份数据的存储容量和传输流量；对数据库备份数据的查询，本发明也提供了不需进行数据库恢复操作的简易方法，可大大提高数据库备份数据的检索效率。

Description

数据库备份数据的压缩和查询方法

技术领域

本发明的技术领域属数据库备份技术。

背景技术

数据库在线查询的海量数据，一般都需要定期备份。数据库的数据备份，一般有两个目的：一是出于数据库系统的安全性考虑，当数据库系统发生故障时，用备份数据进行恢复；二是对时间已久查询频度很小的数据，进行归档存储，以便需要时仍能进行查询。

对数据库备份数据的压缩，一般由备份存储设备例如磁带机上的压缩芯片来进行处理。压缩芯片的内存容量一般较小，例如X KB，进行备份的数据亦按相应的数据块大小进行压缩，而且数据块的压缩，不分数据类型(文本，图像，或是否已压缩数据等)，一律采用同一种压缩编码，例如LZ压缩编码等。

当备份存储设备自身不提供芯片压缩时，目前的备份软件亦可提供软件压缩，但压缩的方式亦和芯片压缩相似，亦按较小的数据块来进行，并亦不区分数据类型，一律采用同一种压缩编码。

现有的数据备份系统，不论上述的芯片压缩方式或软件压缩方式，均只有很低的压缩率，通常小于2-3倍，并且对已压缩过的数据，如JPEG图象等，再进行LZ之类的压缩，也没有什么压缩效果，会白浪费压缩处理时间。

除了上述数据压缩问题之外，目前对备份数据的查询，亦缺乏简便、快捷的手段。对备份数据的查询，现行的方式是首先将其恢复到在线查询的相应业务数据库中，查询后再从在线查询的相应数据库中予以删除。上述工作过程，需要数据库服务器进行一系列的操作，既非常繁琐费时，又容易增加出错的几率。

本发明的目的，就是给出数据库备份数据的高效压缩和实时查询方法，以大大改善目前数据库备份技术的上述缺陷。

发明内容

本发明的主要内容，包括两个部分：

1、对数据库的备份数据，不采用目前数据备份系统中的小数据块压缩方式，而采用较大的数据块压缩方式，或以数据库导出的数据文件为压缩处理对象，并对不同类型的数据文件，自动采用不同的压缩技术，从而可极大的提高备份数据的压缩率，大大减少备份数据的存储容量和传输流量。

2、对数据库归档存储的备份数据的查询，不进行费时费力的数据库恢复操作，而是直接对已备份的数据文件进行查询，或创建临时数据库表进行查询，从而可极大的提高数据库备份数据的查询效率。

附图说明

图1为本发明的系统逻辑结构示意图；

图2为本发明的数据库备份数据压缩方式的流程示意图；

图3为本发明的数据库备份数据查询方法的流程示意图；

图4为本发明的数据库备份数据另一种查询方法的流程示意图。

具体实施方式

本发明的系统逻辑结构示意图，如图1所示。图中的备份文件服务器，主要用于存储和查询备份的数据文件。下面按数据库备份数据的压缩方法和数据库归档备份数据的查询方法，分别进行具体说明。

第一部分：数据库备份数据的压缩方法：

数据库服务器管理的数据库，在逻辑上是由表空间组成的。将数据库的数据备份为文件服务器管理的数据文件时，本发明提供如下所述的数据库备份数据压缩方法。

1、将数据库表的数据形成两类数据文件。

由备份软件将拟备份的数据库表的数据，连同其结构信息(字段名称，字段长度，字段数据类型和约束条件等)，导出到与数据库服务器直接连接的压缩/解压缩服务器或数据库服务器的一个缓冲区，形成相应的数据文件。一个数据表的数据可形成一个或几个数据文件。

数据库表中的数据，通常包含两类：一是结构化字段数据，如字符型字段数据，数字型字段数据，时间型字段数据等；另一类为非结构化大对象数据，即通常所说的LOB，如图象数据，视频数据，空间数据，大文本数据等。

当一个数据库表中包括非结构化大对象数据LOB时，在该字段中存放的不是大对象数据本身，而是大对象数据的地址信息。该地址信息可以是特定的表空间地址，也可以是外部文件地址。

当数据表的数据导出为数据文件时，其结构化字段信息，包括LOB字段中的地址信息，连同该数据库表的结构信息，形成一个结构化数据文件；其大对象数据，形成另外一个非结构化数据文件，

当一个数据库表没有大对象数据LOB时，该数据库表就只形成一个结构化数据文件；反之，当一个数据库表中，包括不止一个LOB字段时，则每个大对象数据形成一个单独的LOB数据文件。

2、对已形成的两类数据文件，分别采用不同的压缩技术。

对已形成的结构化数据文件，可采用一种通用的无损压缩编码进行压缩。对于非结构化数据文件，则根据不同的情况，例如是文本文件，是图象文件，或是复合文件，是已压缩文件，或是未压缩文件等等，分别采用不同的压缩方式。

为便于压缩操作由系统自动进行，对于既定的数据库系统，其LOB的信息类型通常是已知的，可以对每个LOB，预设压缩方式代码，如下面清单所示：

LOB文件	AAA	BBB	CCC	DDD	EEE		NNN
								压缩方式代码	05	01	00	03	00		09

清单中的每个压缩方式代码，对应相应的压缩方式，调用相应的压缩程序。例如00代表不压缩，01代表LZ压缩，02代表JPEG压缩，09代表对复合文件中的不同信息对象，分别采用不同的压缩方式等。上述压缩方式的流程示意图，如图2所示。

当上述方式形成的数据文件太大而不方便压缩时，亦可将数据库表导出的备份数据按较大的数据块容量(例如X MB)进行压缩，再合成一个压缩后的数据文件。

3、生成数据库表和其备份文件的名称对照表。

压缩后的数据文件，由通常的备份软件送备份文件服务器存储。为便于系统发生故障时进行恢复，或便于对归档的数据库数据重新进行查询，可将数据库表与其备份数据文件的对照表，同时存放在数据库服务器和备份服务器中。

第二部分：对数据库归档备份数据的查询方法。

对数据库归档存储的备份数据，本发明提供两种查询方法：一是直接对归档存储的数据文件进行查询操作；另一个是基于数据库系统进行查询。现分别说明如下：

一、直接对归档存储的数据文件进行查询操作

1、确定应查询的数据文件

为此，应用程序为用户提供与在线数据库查询相同或相似的查询界面。当用户在应用程序界面输入查询条件，应用程序便可确定查询所要使用的数据库表名称。因为数据库的应用程序在使用SQL查询语句时，其中的From语句便是指定从哪个数据库表中进行查询。

此后，根据数据库表与其备份数据文件的名称对照表，(此对照表可从备份文件服务器或数据库服务器中读取)，便可找到应查询的数据文件。

2、进行文件查询前的相关操作

本发明所提供的查询方法，既可用于查询本发明所形成的归档备份数据文件，亦可用于查询非本发明所形成的归档备份数据文件。因此，在进行第3步“进行数据文件的查询操作”之前，需进行下述相关操作：

(1)确定该数据文件是否要进行解压缩处理

根据前面找到的归档数据文件名称，备份文件服务器把相应的数据文件读入其缓冲区。如果所读入的文件是经过压缩处理的，则“备份文件服务器”请求“压缩/解压缩服务器”对所读入的信息进行解压缩处理。

(2)确定该数据文件中是否包含数据库表结构信息

备份文件服务器解析内存缓冲区中的非压缩归档数据。如果归档数据中带有数据库表结构信息，则系统从缓冲区中获得数据库表结构信息；如果备份数据中不带有数据库表结构信息，则系统查找该备份数据文件所对应的数据库表名称，再从“数据库服务器”中获取该数据库表的结构信息。

3、进行数据文件的查询操作

根据数据库表结构信息和用户在应用程序提供的用户界面上输入的查询条件，备份文件服务器便可直接对结构化的数据文件进行查询操作。

例如，某数据库表的结构信息和用户在应用程序用户界面上输入的查询条件，如下例所示：

库表结构信息	姓名	性别	出生年月	文化程度	技术专业	工作职务
							查询条件			≥1975年6月	硕士或博士	计算机

根据库表结构信息，应用程序便可将上述查询条件与该数据文件的数据记录进行比较操作。这种比较操作，可按下述任一种方式进行：

一种方式，是将全部查询条件与数据文件的每一条数据记录的相应字段逐一进行比较，将同时满足全部查询条件的数据记录，记入查询结果文件。例如，在上面例子中，将三个查询条件对数据文件的每一条数据记录的相应字段逐一进行比较，三个查询条件同时满足的数据记录，才记入结果文件中。

另一种方式是，按用户输入的各个查询条件，依次对数据记录的相应字段进行比较操作。先按第一个查询条件(例如上例中的“出生年月”)与数据文件的每条数据记录的字段进行比较，将符合条件的数据记录记入第一个临时文件；然后再对第一个临时文件的每一条数据记录，进行第二个查询条件(例如上例中的“文化程度”)的比较操作，再形成第二个临时文件；依次类推，把第N个(最后一个)查询条件形成的第N个临时文件，作为查询结果文件。

第三种方式是，当备份数据文件具有索引和排序时，则上述两种方式中的比较操作，只在限定的数据记录范围内进行。例如手机话费记录清单，通常是以手机号码为主索引键的。中国移动的手机号码分为“全球通”，“神州行”和“动感地带”等，全球通又分137、138、139等等。一个号码为137xxxxxxxx的手机的话费记录，显然只需在索引区为137的记录范围内查询。

对上面的举例，不管哪种查询方式显然会得出相同的查询结果，示例如下：

姓名	性别	出生年月	文化程度	技术专业	工作职务
						张xx	男	1980年11月	硕士	计算机	Xxx
王x	男	1976年2月	博士	计算机	Xxx
						欧阳xx	女	1981年7月	硕士	计算机	Xxx

当查询条件涉及不止一个数据文件时，显然可对不同的数据文件依次按上述方式进行。上述对数据库归档备份数据的查询方法的流程示意图，如图3所示。

二、基于数据库系统的查询操作

对于归档存储的备份数据，也可基于数据库系统进行查询。

此时系统的前两个操作步骤，与前述“直接对归档存储的数据文件进行查询操作”的前两个操作步骤(1、确定应查询的数据文件；2、进行文件查询前的相关操作)，是完全一样的。其区别仅在于如下所述的进行数据库查询操作。

在进行数据库查询操作时，应用程序不将备份数据文件中的数据，重新导入到原来的数据库表中，而在数据库服务器中开辟单独的表空间，创建临时的数据库表，并根据其数据库表结构信息，将备份文件服务器缓冲区中的备份文件数据导入新创建的临时数据库表中。

此后，对备份数据的查询，便可沿用原来的在线查询应用程序进行，仅需将查询原来的数据库表，变成查询新的临时数据库表。在查询完成后，应用程序再将该临时数据库表删除。

上述临时数据库表亦可创建在单独的数据库服务器中(非用于在线查询的数据库服务器)，该数据库服务器仍使用与原来的在线数据库服务器一样的数据库管理系统。

上述对数据库归档数据的另一种查询方法的流程示意图，如图4所示。

顺便说明，为减轻备份服务器的负载，对数据文件的查询操作，也可在客户机上进行；当拟查询的数据文件太大，也可分批将其读入备份服务器或客户机的内存缓冲区。

本发明的重要价值，主要包括下述几个方面：

1、本发明可极大的提高备份数据的压缩率，一般可将数据库结构化数据的压缩率由目前的小于2-3倍，提高到10-30倍。这不仅可以大大节省备份存储的设备投资，而且可以大大减少传输信道中的数据流量。由此，在很多情况下也可用局域网IP信道取代光纤信道，以SCSI接口设备，取代光纤接口设备，从而大大降低整体系统的造价。

2、由于数据压缩率的极大提高，也非常有利于实施数据库数据的高度容错备份，例如一个数据库文件备份两个拷贝，(RAID镜像)，从而也可极大地提高备份系统的可靠性。

3、对备份数据的查询，不再需要非常费时费力的数据库恢复操作，而可简单、方便的实时进行。

Claims (10)

1、数据库备份数据的压缩方法，包括下述操作：

a)利用数据库管理系统的数据导出功能，导出数据库表的数据，形成两类数据文件：其中的字段式信息形成结构化数据文件，其中的大对象数据，形成非结构化数据文件；

b)面向数据库表中的任何结构化数据，预设一个通用无损压缩方法：预设ZIP或对结构化数据更有效的通用无损压缩方法；对数据库表中的每个字段的大对象数据，根据其数据类型和用户需求，分别预设相应的有损或无损压缩方法；

c)对上述形成的任一结构化数据文件，均采用上述b)中对结构化数据预设的无损压缩方法处理；

d)对上述形成的非结构化数据文件，分别按上述b)中对其相应的数据库表中的大对象数据预设的有损或无损压缩方法处理。

2、如权利要求1所述的数据库备份数据的压缩方法，其中数据库表的结构化数据或大对象数据，均可以形成一个或多个数据文件。

3、数据库备份数据的压缩方法，包括下述操作：

a)根据进行压缩处理的计算机内存容量的大小，预设一个不小于100KB的数据块尺寸，并开辟相应的缓存区；

b)将数据库表的备份数据，以上述预设的数据块尺寸为限，分批导入上述缓存区，并以通用无损压缩方法逐一对之进行压缩；

c)将已压缩的大数据块逐一送至备份数据服务器，并合成压缩后的备份数据文件。

4、如权利要求3的数据库备份数据的压缩方法，其中数据库表的结构化数据或大对象数据，可分别按大数据块导出，均按通用无损压缩方法压缩，并分别合成一个或多个压缩后的数据文件。

5、如权利要求1和权利要求3的压缩方法，其中数据库表的结构化数据或大对象数据，可分别按大数据块导出，并分别采用不同压缩方法压缩，分别合成一个或多个压缩后的数据文件。

6、数据库备份数据的查询方法，包括下述操作：

a)为用户提供与在线数据库查询相同或相似的查询界面，根据用户输入的查询条件，确定应查询的数据库表；

b)根据确定的数据库表与其备份数据文件的名称对照表，来确定需查询的备份数据文件；

c)当需查询的数据文件是经过压缩的文件时，须先由解压缩软件完成解压缩处理；

d)当需查询的备份数据文件是结构化数据文件时，先解析其数据库表结构信息；

e)根据上述解析的数据库表结构信息，在相应备份文件中按用户输入的查询条件，对相应字段进行比较操作，完成文件查询并输出查询结果。

7、如权利要求6所述数据库备份数据的查询方法，其中步骤e)中对备份文件的查询操作，可以是在备份文件服务器上进行，也可以在用户机上进行。

8、数据库备份数据的查询方法，包括下述操作：

a)为用户提供与在线数据库查询相同或相似的查询界面，根据用户输入的查询条件，确定应查询的数据库表；

b)根据确定的数据库表与其备份数据文件的名称对照表，来确定需查询的备份数据文件；

c)当需查询的数据文件是经过压缩的文件时，须先由解压缩软件完成解压缩处理；

d)当需查询的备份数据文件是结构化数据文件时，先解析其数据库表结构信息；

e)根据解析的数据库表结构信息和相应的备份数据文件，创建专门用于备份数据查询的临时数据库表；

f)完成对于上述临时数据库表的查询操作，并输出查询结果。

9、如权利要求8所述的数据库备份数据的查询方法，其中步骤e)中所述的临时数据库表，可以构建在独立的数据库管理系统平台上；也可构建在原来的数据库管理平台上，但要为其创建独立的表空间。

10、如权利要求6或8所述数据库备份数据的查询方法，其中在步骤d)中，数据库表结构信息可以是已被包括在被查询的备份数据文件中的，也可以是由数据库服务器获取的。

Images