CN109597708A - 一种局域网数据库备份数据的压缩方法 - Google Patents

一种局域网数据库备份数据的压缩方法 Download PDF

Info

Publication number
CN109597708A
CN109597708A CN201811269434.6A CN201811269434A CN109597708A CN 109597708 A CN109597708 A CN 109597708A CN 201811269434 A CN201811269434 A CN 201811269434A CN 109597708 A CN109597708 A CN 109597708A
Authority
CN
China
Prior art keywords
data
compression
database
file
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811269434.6A
Other languages
English (en)
Inventor
孙钦东
许岩岳
林凯
郭洪博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Juzheng Intellectual Property Management Co Ltd
Original Assignee
Xi'an Juzheng Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Juzheng Intellectual Property Management Co Ltd filed Critical Xi'an Juzheng Intellectual Property Management Co Ltd
Priority to CN201811269434.6A priority Critical patent/CN109597708A/zh
Publication of CN109597708A publication Critical patent/CN109597708A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明提供了一种局域网数据库备份数据的压缩方法。主要对数据库的备份数据，不采用目前数据备份系统中的小数据块压缩方式，而以数据库导出的数据文件为压缩处理对象，并对不同类型的数据文件，自动采用不同的压缩技术，从而可极大的提高备份数据的压缩率，大大减少备份数据的存储容量和传输流量。对数据库归档存储的备份数据的检索，不进行费时费力的数据库恢复操作，而是直接对已备份的数据文件进行检索，或创建临时数据库表进行检索，从而可极大的提高数据库备份数据的查询效率。

Description

一种局域网数据库备份数据的压缩方法
技术领域
本发明属于数据库技术领域，具体涉及一种局域网数据库备份数据的压缩方法。
背景技术
数据库在线查询的海量数据，一般都需要定期备份。数据库的数据备份，一般有两个目的：一是出于数据库系统的安全性考虑，当数据库系统发生故障时，用备份数据进行恢复；二是对时间已久查询频度很小的数据，进行归档存储，以便需要时仍能进行检索。
对数据库备份数据的压缩，一般由备份存储设备例如磁带机上的压缩芯片来进行处理。压缩芯片的内存容量一般较小，例如XKB，进行备份的数据亦按相应的数据块大小进行压缩，而且数据块的压缩，不分数据类型(文本，图像，或是否已压缩数据等)，一律采用同一种压缩编码，例如LZ压缩编码等。当备份存储设备自身不提供芯片压缩时，目前的备份软件亦可提供软件压缩，但压缩的方式亦和芯片压缩相似，亦按较小的数据块来进行，并亦不区分数据类型，一律采用同一种压缩编码。现有地数据备份系统，不论上述的芯片压缩方式或软件压缩方式，均只有很低的压缩率，通常小于2-3倍，并且对已压缩过的数据，如JPEG图象等，再进行LZ之类的压缩，也没有什么压缩效果，会白浪费压缩处理时间。
除了上述数据压缩问题之外，目前对备份数据的检索，亦缺乏简便、快捷的手段。对备份数据的检索，现行的方式是首先将其恢复到在线查询的相应业务数据库中，查询后再从在线查询的相应数据库中予以删除。上述工作过程，需要数据库服务器进行一系列的操作，既非常繁琐费时，又容易增加出错的几率。
发明内容
目的是提供一种局域网数据库备份数据的压缩方法，解决了解决现有技术存在的数据库备份数据的高效压缩和实时检索方法，以大大改善目前数据库备份技术。
本发明一种局域网数据库备份数据的压缩方法，当数据库管理系统在内存缓存区与磁盘文件之间交换数据时，对数据块进行压缩/解压缩处理。对数据库的数据文件进行压缩/解压缩处理。对日志文件或其它文件进行压缩/解压缩处理；据库的数据进行备份时，不以小数据块方式进行压缩处理，而是先将数据库表导出的备份信息形成数据文件，再对这样的数据文件进行压缩处理，压缩对象包括参数文件、控制文件、数据文件及日志文件
当由数据库表导出的备份信息所形成的数据文件过大，(例如XGB)，不便压缩时，将其划分为较大的数据块容量(例如X MB)进行压缩处理。
在导出数据库表数据时，将其库表结构信息(如字段名称，字段长度，字段数据类型和约束条件等)，一并导出，并与由数据库表导出的数据一起形成备份数据文件。
将数据库表导出的字段式信息，形成结构化数据文件；将数据库表指定的大对象数据，形成非结构化数据文件。
将数据库表名称与其形成的备份数据文件名称，建立相应的名称对照表。
对数据文件的压缩，根据其不同的文件类型，系统自动采用不同的压缩方式，例如不压缩，Zip压缩，JPEG压缩等。
一种局域网数据库备份数据的压缩方法，对于既定的数据库系统，可对其每个大对象数据LOB，预设其压缩方式，并按预设的压缩方式对每个大对象数据进行压缩。
压缩操作，或由软件进行，或由硬件进行，或由软件与硬件相结合来进行。
压缩操作，或由软件进行，或由硬件进行，或由软件与硬件相结合来进行。
本发明与现有技术相比，具有如下优点和有益效果：
1.对数据库的备份数据，不采用目前数据备份系统中的小数据块压缩方式，而以数据库导出的数据文件为压缩处理对象，并对不同类型的数据文件，自动采用不同的压缩技术，从而可极大的提高备份数据的压缩率，大大减少备份数据的存储容量和传输流量。
2.对数据库归档存储的备份数据的检索，不进行费时费力的数据库恢复操作，而是直接对已备份的数据文件进行检索，或创建临时数据库表进行检索，从而可极大的提高数据库备份数据的查询效率。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明一种局域网数据库备份数据的压缩方法，当数据库管理系统在内存缓存区与磁盘文件之间交换数据时，对数据块进行压缩/解压缩处理。对数据库的数据文件进行压缩/解压缩处理。对日志文件或其它文件进行压缩/解压缩处理；据库的数据进行备份时，不以小数据块方式进行压缩处理，而是先将数据库表导出的备份信息形成数据文件，再对这样的数据文件进行压缩处理，压缩对象包括参数文件、控制文件、数据文件及日志文件
当由数据库表导出的备份信息所形成的数据文件过大，(例如XGB)，不便压缩时，将其划分为较大的数据块容量(例如X MB)进行压缩处理。
在导出数据库表数据时，将其库表结构信息(如字段名称，字段长度，字段数据类型和约束条件等)，一并导出，并与由数据库表导出的数据一起形成备份数据文件。
将数据库表导出的字段式信息，形成结构化数据文件；将数据库表指定的大对象数据，形成非结构化数据文件。
将数据库表名称与其形成的备份数据文件名称，建立相应的名称对照表。
对数据文件的压缩，根据其不同的文件类型，系统自动采用不同的压缩方式，例如不压缩，Zip压缩，JPEG压缩等。
一种局域网数据库备份数据的压缩方法，对于既定的数据库系统，可对其每个大对象数据LOB，预设其压缩方式，并按预设的压缩方式对每个大对象数据进行压缩。
压缩操作，或由软件进行，或由硬件进行，或由软件与硬件相结合来进行。
压缩操作，或由软件进行，或由硬件进行，或由软件与硬件相结合来进行。
一种局域网数据库备份数据的压缩方法：
数据库服务器管理的数据库，在逻辑上是由表空间组成的。将数据库的数据备份为文件服务器管理的数据文件时，本发明提供如下所述的数据库备份数据压缩方法。
1、将数据库表的数据形成两类数据文件。
由备份软件将拟备份的数据库表的数据，连同其结构信息(字段名称，字段长度，字段数据类型和约束条件等)，导出到与数据库服务器直接连接的压缩/解压缩服务器或数据库服务器的一个缓冲区，形成相应的数据文件。一个数据表的数据可形成一个或几个数据文件。数据库表中的数据，通常包含两类：一是结构化字段数据，如字符型字段数据，数字型字段数据，时间型字段数据等；另一类为非结构化大对象数据，即通常所说的LOB，如图象数据，视频数据，空间数据，大文本数据等。
当一个数据库表中包括非结构化大对象数据LOB时，在该字段中存放的不是大对象数据本身，而是大对象数据的地址信息。该地址信息可以是特定的表空间地址，也可以是外部文件地址。
当数据表的数据导出为数据文件时，其结构化字段信息，包括LOB字段中的地址信息，连同该数据库表的结构信息，形成一个结构化数据文件；其大对象数据，形成另外一个非结构化数据文件，
当一个数据库表没有大对象数据LOB时，该数据库表就只形成一个结构化数据文件；反之，当一个数据库表中，包括不止一个LOB字段时，则每个大对象数据形成一个单独的LOB数据文件。
2、对已形成的两类数据文件，分别采用不同的压缩技术。
对已形成的结构化数据文件，可采用一种通用的无损压缩编码进行压缩。对于非结构化数据文件，则根据不同的情况，例如是文本文件，是图象文件，或是复合文件，是已压缩文件，或是未压缩文件等等，分别采用不同的压缩方式。
为便于压缩操作由系统自动进行，对于既定的数据库系统，其LOB的信息类型通常是已知的，可以对每个LOB，预设压缩方式代码，如下面清单所示：
LOB文件AAA BBB CCC DDD EEE NNN压缩方式代码05 01 00 03 00 09，清单中的每个压缩方式代码，对应相应的压缩方式，调用相应的压缩程序。例如00代表不压缩，01代表LZ压缩，02代表JPEG压缩，09代表对复合文件中的不同信息对象，分别采用不同的压缩方式等。当数据文件太大而不方便压缩时，亦可将其分割为适当的数据块容量(例如XMB)进行压缩，再合成一个压缩后的数据文件。
3、生成数据库表和其备份文件的名称对照表。
压缩后的数据文件，由通常的备份软件送备份文件服务器存储。为便于系统发生故障时进行恢复，或便于对归档的数据库数据重新进行检索，可将数据库表与其备份数据文件的对照表，同时存放在数据库服务器和备份服务器中。

Claims (9)

1.一种局域网数据库备份数据的压缩方法，其主要特徵为：当数据库管理系统在内存缓存区与磁盘文件之间交换数据时，对数据块进行压缩/解压缩处理。对数据库的数据文件进行压缩/解压缩处理。对日志文件或其它文件进行压缩/解压缩处理；据库的数据进行备份时，不以小数据块方式进行压缩处理，而是先将数据库表导出的备份信息形成数据文件，再对这样的数据文件进行压缩处理，压缩对象包括参数文件、控制文件、数据文件及日志文件。
2.如权利要求1所述的一种局域网数据库备份数据的压缩方法，当由数据库表导出的备份信息所形成的数据文件过大，(例如XGB)，不便压缩时，将其划分为较大的数据块容量(例如X MB)进行压缩处理。
3.如权利要求1所述的一种局域网数据库备份数据的压缩方法，在导出数据库表数据时，将其库表结构信息(如字段名称，字段长度，字段数据类型和约束条件等)，一并导出，并与由数据库表导出的数据一起形成备份数据文件。
4.如权利要求1所述的一种局域网数据库备份数据的压缩方法，将数据库表导出的字段式信息，形成结构化数据文件；将数据库表指定的大对象数据，形成非结构化数据文件。
5.如权利要求1所述的一种局域网数据库备份数据的压缩方法，将数据库表名称与其形成的备份数据文件名称，建立相应的名称对照表。
6.一种局域网数据库备份数据的压缩方法，其主要特徵为：对数据文件的压缩，根据其不同的文件类型，系统自动采用不同的压缩方式，例如不压缩，Zip压缩，JPEG压缩等。
7.如权利要求6所述的一种局域网数据库备份数据的压缩方法，对于既定的数据库系统，可对其每个大对象数据LOB，预设其压缩方式，并按预设的压缩方式对每个大对象数据进行压缩。
8.权利要求6所述的一种局域网数据库备份数据的压缩方法，或由软件进行，或由硬件进行，或由软件与硬件相结合来进行。
9.权利要求7所述的一种局域网数据库备份数据的压缩方法，或由软件进行，或由硬件进行，或由软件与硬件相结合来进行。
CN201811269434.6A 2018-10-29 2018-10-29 一种局域网数据库备份数据的压缩方法 Withdrawn CN109597708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811269434.6A CN109597708A (zh) 2018-10-29 2018-10-29 一种局域网数据库备份数据的压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811269434.6A CN109597708A (zh) 2018-10-29 2018-10-29 一种局域网数据库备份数据的压缩方法

Publications (1)

Publication Number Publication Date
CN109597708A true CN109597708A (zh) 2019-04-09

Family

ID=65957109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811269434.6A Withdrawn CN109597708A (zh) 2018-10-29 2018-10-29 一种局域网数据库备份数据的压缩方法

Country Status (1)

Country Link
CN (1) CN109597708A (zh)

Similar Documents

Publication Publication Date Title
CN1318974C (zh) 数据库备份数据的压缩和查询方法
US10289714B2 (en) Compression of serialized B-tree data
US9767177B1 (en) System and method for optimizing data recovery in a parallel database
CN104123300A (zh) 数据分布式存储系统及方法
JP6638821B2 (ja) データベースのアーカイビング方法及び装置、アーカイビングされたデータベースの検索方法及び装置
CN103324552A (zh) 两阶段单实例去重数据备份方法
CN107391306A (zh) 一种异构数据库备份文件恢复方法
CN102456059A (zh) 重复数据删除的处理系统
JP2000293420A (ja) データバックアップシステム
KR101656750B1 (ko) 인덱스정보를 생성하는 데이터베이스의 아카이빙 방법 및 장치, 인덱스정보를 포함하는 아카이빙된 데이터베이스의 검색 방법 및 장치
CN108415671B (zh) 一种面向绿色云计算的重复数据删除方法及系统
CN105511812A (zh) 一种存储系统大数据优化方法及装置
CN106874399B (zh) 一种联网备份系统及备份方法
CN1851691A (zh) 数据库备份数据的压缩和检索方法
CN113901279A (zh) 一种图数据库的检索方法和装置
CN101944089A (zh) 用于数据库的数据视图版本管理方法及装置
CN108182198A (zh) 存储先进控制器运行数据的控制装置和读取方法
CN102075193B (zh) 基于时空关系的rfid事件压缩方法及解压缩方法
WO2021082926A1 (zh) 一种数据压缩的方法及装置
CN109597708A (zh) 一种局域网数据库备份数据的压缩方法
CN103207916A (zh) 元数据处理的方法和装置
CN105302669A (zh) 一种云备份过程中数据去重的方法和系统
CN112667698B (zh) 一种基于融媒体平台的MongoDB数据同步方法
Zhou et al. Adaptive subspace symbolization for content-based video detection
CN114138559A (zh) 一种基于合成技术的快速备份方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190409

WW01 Invention patent application withdrawn after publication