CN104750744B - 一种基于Oracle数据库的压缩数据同步方法及装置 - Google Patents

Abstract

本发明公开了一种基于Oracle数据库的压缩数据同步方法及装置。包括：通过解析日志获取甲骨文Oracle数据库中压缩数据的修改信息，确定所述修改信息对应的数据块及该数据块的位置，并通过该数据块中的行目录或字典号读取出对应的数据，并将所述数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步。利用本发明实施例提供的方法可以仅针对增量进行同步，避免了每一次修改都必须针对全量数据进行同步导致存储空间膨胀的问题，另外首次读取嵌套字典后再次读取时，通过数据块中的行目录中的数据的指针即可直接读取出对应的数据并进行同步，极大的提高了同步效率。

Description

一种基于Oracle数据库的压缩数据同步方法及装置

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于Oracle数据库的压缩数据同步方法及装置。

背景技术

Oracle Database（甲骨文数据库）是目前世界上使用最为广泛的数据库管理系统，Oracle数据库从逻辑上把数据保存在表空间内，在物理上以数据文件的形式存储，其中表空间可以包含多种类型的内存区段（例如数据区段和/或索引区段等），该区段由一个或多个扩展（extent）组成，其中扩展又由相连的数据块组成，该数据块是数据存储的基本单元，数据块的内部又被划分为公用头、表目录、行目录和可存取空间等，其中公用头、表目录和行目录组成该数据块的头部信息，该头部信息不存数据库中实际的数据，而是用来记录该数据块的逻辑结构，该数据块通过压缩字典对数据进行存储。

目前Oracle数据库的压缩数据复制方法主要有dblink（data base link，数据库链接）定时刷新和导出导入的方式移动数据两种：其中dblink定时刷新由于其是在不同的数据库间对全量数据进行的操作，而导出导入的方式移动数据是手工对全量数据进行的操作，故上述两种Oracle数据库的数据同步方法都需将压缩数据的全量数据解压缩后进行复制，不能仅针对增量进行同步，故导致存储空间膨胀，并且不适于业务较为频繁的表，占用大量的主机资源导致同步效率低。

发明内容

本发明的目的是提供一种基于Oracle数据库的压缩数据同步方法及装置，以解决现有Oracle数据库的数据复制方法需将压缩数据的全量数据解压后导致存储空间膨胀以及不能仅针对增量进行同步且同步效率低的问题。

本发明的目的是通过以下技术方案实现的：

一种基于Oracle数据库的压缩数据同步方法，包括：

通过解析日志获取Oracle数据库中压缩数据的修改信息；

确定所述修改信息对应的数据块及该数据块的位置；

通过上述数据块中的行目录或字典号读取出对应的数据，并将读取出的数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步。

利用本发明实施例提供的方法可以仅针对增量进行同步，避免了每一次修改都必须针对全量数据进行同步导致存储空间膨胀的问题，另外首次读取嵌套字典后再次读取时，通过数据块中的行目录中的数据的指针即可直接读取出对应的数据并进行同步，极大的提高了同步效率。

作为可选地，通过数据块中的行目录或字典号读取出对应的数据的实现方式为：读取上述数据块中的数据进行解压缩时，若解压缩数据所需的字典号对应的为嵌套字典，则首次通过该字典号读取出对应的数据，读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取该数据块中的该字典号时，直接通过该数据块的行目录中的指针读取出对应的数据。

作为可选地，确定上述修改信息对应的数据块及该数据块的位置的实现方式为：根据该修改信息中携带的数据块标识信息，确定该修改信息对应的数据块；根据表空间的结构信息确定数据块的分布列表，通过该数据块的分布列表确定该数据块的位置。

作为可选地，将上述数据传输到目标端的数据库中的实现方式是：将上述数据通过直接路径装载传输到目标端的数据库中。

一种基于Oracle数据库的压缩数据同步装置，包括：

修改信息获取模块，通过解析日志获取Oracle数据库中压缩数据的修改信息；

位置确定模块，用于确定修改信息获取模块确定的修改信息对应的数据库及该数据块的位置；

读取传输模块，用于通过该数据块中的行目录或字典号读取出对应的数据，并将所述数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步。

利用本发明实施例提供的装置可以仅针对增量进行同步，避免了每一次修改都必须针对全量数据进行同步导致存储空间膨胀的问题，另外首次读取嵌套字典后再次读取时，通过数据块中的行目录中的数据的指针即可直接读取出对应的数据并进行同步，极大的提高了同步效率。

进一步，读取传输模块包括读取模块，所述读取模块，用于读取上述数据块中的数据进行解压缩时，若解压缩数据所需的字典号对应的为嵌套字典，则首次通过该字典号读取出对应的数据，读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取上述数据块中的该字典号时，直接通过该数据块的行目录中的指针读取出对应的数据，若解压缩数据所需的字典号对应的不是嵌套字典，则直接读取解压缩出的数据。

具体地，位置确定模块，具体用于根据上述修改信息中携带的数据块标识信息，确定该修改信息对应的数据块；根据表空间的结构信息确定数据块的分布列表，通过所述数据块的分布列表确定该数据块的位置。

进一步，读取传输模块包括传输模块，传输模块用于将上述数据通过直接路径装载传输到目标端的数据库中。

附图说明

图1为本发明实施例提供的一种基于Oracle数据库的压缩数据同步方法示意图；

图2为本发明实施例提供的一种基于Oracle数据库的压缩数据同步装置示意图。

具体实施方式

本发明实施例提供一种基于Oracle数据库的压缩数据同步方法和装置。下面将结合附图，对本发明实施例进行详细描述。

首次进行全量同步需要读取压缩块（即压缩数据的数据块），并对压缩块进行解压，具体过程如下：

获得表空间中数据块的分布列表，通过数据块的分布列表读出压缩的数据块，读取压缩的数据块时需要检查数据块的一致性，检查数据块一致性主要检查SCN（SystemChange Number，系统修改号）、首尾一致标记和校验码是否一致。

具体可以通过Oracle的基表OBJ$,TAB$,COL$等，取得该表空间的结构信息，如对象号，字段列表，字段属性，数据块分布入口等。

读取上述读出的压缩的数据块的过程包括：把字典解压后存放，使得后续解压程序只需要根据字典号就可以快速读出对应的数据，将读出的数据通过普通数据接口insert（插入）方式加载或通过直接路径装载（direct path loading）到目标数据库，以实现数据库的全量压缩数据的同步。

在首次进行全量同步后，只需进行增量同步即可，图1所示为本发明实施例提供的基于Oracle数据库的压缩数据进行增量同步方法，具体包括如下操作：

步骤11、通过解析日志获取Oracle数据库中压缩数据的修改信息。

具体地，Oracle对压缩数据的修改信息记录在在线日志（REDO LOG）或离线日志（ARCHIVE LOG）里，通过解析上述日志可以找出压缩数据的修改信息，其中，修改信息指示了压缩数据的修改内容，例如携带修改内容所在的数据块的标识信息等等，以使同步的目标数据库只对该压缩数据的修改内容进行同步。

步骤12、确定上述修改信息对应的数据块及该数据块的位置。

进一步，根据该修改信息中携带的数据块标识信息，确定该修改信息对应的数据块；根据表空间的结构信息确定数据块的分布列表，通过数据块的分布列表确定该数据块的位置。其中，通过读取每个表空间的文件头，可以确定数据块的分布列表。值得注意的是，该数据块的分布列表还记录了实际数据的高水位(high-watermark)。高水位外的数据块是空块，不必读。例如，数据库中压缩数据的修改的内容针对test1表空间，可以查出，压缩数据所在的块是：dbf file#7,block#92052（第7号文件，第92052块）。

步骤13、通过上述数据块中的行目录或字典号读取出对应的数据，并将该数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步。

进一步，读取上述数据块中的数据进行解压缩时，若解压缩数据所需的字典号对应的为嵌套字典，则首次字典号读取出对应的数据，读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取该数据块中的该字典号时，直接通过该数据块的行目录中的指针读取出对应的数据。若解压缩数据所需的字典号对应的不是嵌套字典，则直接读取解压缩出的数据。

具体地，Oracle数据库中的数据块的压缩方式源于字典压缩，也就是把相同的短语进行压缩。这些相同的短语分段存放在一起，形成了压缩和解压所需的压缩字典。具体在数据块中通过两个表来存储，其中表0记录的就是压缩字典，表1记录的是压缩数据，通过字典号码解压出具体内容。

目前的方法都是先解压表0再解压表1中的压缩数据，由于数据块中存在无效字典信息，大部分字典都是嵌套的，故若一次性全部解压的话效率较低。而本申请是先解压表1，当字典不是嵌套字典时，可以直接获取已经解压后的表1中的数据，而当字典是嵌套字典时，若解压时需要表0中的字典，则查字典读取出对应的数据后，将读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取该嵌套字典时，直接通过所述数据块的行目录中的指针读取出对应的数据；当字典不是嵌套字典时，则直接读取对表1中的压缩数据进行解压后的数据。

下面实施例以存储的数据为“中国移动通信集团河南公司”为例，字典号和对应存储的数据如下：

字典0：中国

字典1：移动

字典2：通信

字典3：集团

字典4：河南

字典5：公司

字典6：字典0+字典1（中国移动）

字典7：字典2+字典3（通信集团）

字典8：字典6+字典7（中国移动通信集团）

其中字典6、7和8即为嵌套字典，表0存储的为字典6包括字典0和字典1、字典7包括字典2和字典3以及字典8包括字典6和字典7；表1存储的为字典0中的中国、字典1中的移动、字典2中的通信、字典3中的集团、字典4中的河南以及字典5中的公司。当修改内容对应的字典号为6时，则首次读取数据需要通过解压缩字典6获得字典0和字典1，从而读取数据“中国移动”，再首次读取字典6后，在数据块的行目录中添加“中国”和“移动”对应的指针，故当再次读取字典6时，直接通过所述数据块的行目录中的指针读取出“中国移动”，即相当于当第一次读取字典6、字典7和字典8后，字典6的行0记载为字典6：“中国”对应的指针和“移动”对应的指针，字典7的行0记载为字典7：“通信”对应的指针和“集团”对应的指针，字典8的行0记载为字典8：“中国”对应的指针、“移动”对应的指针、“通信”对应的指针和“集团”对应的指针。

本发明实施例还提供了一种基于Oracle数据库的压缩数据同步装置，如图2所示，包括：

修改信息获取模块21，通过解析日志获取Oracle数据库中压缩数据的修改信息；

位置确定模块22，用于确定修改信息获取模块确定的修改信息对应的数据库及该数据块的位置；

读取传输模块23，用于通过该数据块中的行目录或字典号读取出对应的数据，并将所述数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步。

进一步，读取传输模块包括读取模块，所述读取模块，用于读取上述数据块中的数据进行解压缩时，若解压缩数据所需的字典号对应的为嵌套字典，则首次通过该字典号读取出对应的数据，读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取上述数据块中的该字典号时，直接通过该数据块的行目录中的指针读取出对应的数据，若解压缩数据所需的字典号对应的不是嵌套字典，则直接读取解压缩出的数据。

具体地，位置确定模块，具体用于根据上述修改信息中携带的数据块标识信息，确定该修改信息对应的数据块；根据表空间的结构信息确定数据块的分布列表，通过所述数据块的分布列表确定该数据块的位置。

进一步，读取传输模块包括传输模块，传输模块用于将上述数据通过直接路径装载传输到目标端的数据库中。

上述装置中包含的各模块的处理功能的具体实现方式在之前的方法实施例中已经描述，在此不再重复描述。

本发明实施例所述的基于Oracle数据库的压缩数据同步方法及装置可以仅针对增量进行同步，即仅针对数据库中压缩数据的修改内容进行同步，避免了每一次修改都必须针对全量数据进行同步导致存储空间膨胀的问题，另外首次读取嵌套字典后再次读取时，通过数据块中的行目录中的数据的指针即可直接读取出对应的数据并进行同步，极大的提高了同步效率。并且直接通过数据块的行目录开始，只解压需要解压的字典，加快了嵌套字典的数据获取，提高了复制效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于Oracle数据库的压缩数据同步方法，其特征在于，包括：

通过解析日志获取甲骨文Oracle数据库中压缩数据的修改信息；

确定所述修改信息对应的数据块及所述数据块的位置；

通过所述数据块中的行目录或字典号读取出对应的数据，并将所述数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步；其中，所述通过所述数据块中的行目录或字典号读取出对应的数据，包括：

读取所述数据块中的数据进行解压缩时，若解压缩数据所需的字典号对应的为嵌套字典，则首次通过所述字典号读取出对应的数据，读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取所述数据块中的所述字典号时，直接通过所述数据块的行目录中的指针读取出对应的数据，若解压缩数据所需的字典号对应的不是嵌套字典，则直接读取解压缩出的数据。

2.根据权利要求1所述的方法，其特征在于，所述确定所述修改信息对应的数据块及所述数据块的位置，包括：

根据所述修改信息中携带的数据块标识信息，确定所述修改信息对应的数据块；

根据表空间的结构信息确定数据块的分布列表，通过所述数据块的分布列表确定所述数据块的位置。

3.根据权利要求1所述的方法，其特征在于，所述将所述数据传输到目标端的数据库中，包括：

将所述数据通过直接路径装载传输到目标端的数据库中。

4.一种基于Oracle数据库的压缩数据同步装置，其特征在于，包括：

修改信息获取模块，通过解析日志获取甲骨文Oracle数据库中压缩数据的修改信息；

位置确定模块，用于确定所述修改信息获取模块确定的修改修改信息对应的数据块及所述数据块的位置；

读取传输模块，用于通过所述数据块中的行目录或字典号读取出对应的数据，并将所述数据传输到目标端的数据库中，以实现与源端的数据库的压缩数据的同步；

其中，所述读取传输模块包括读取模块，所述读取模块，用于读取所述数据块中的数据进行解压缩时，若解压缩数据所需的字典号对应的为嵌套字典，则首次通过所述字典号读取出对应的数据，读取后在数据块的行目录中添加解压后的数据对应的指针，当再次读取所述数据块中的所述字典号时，直接通过所述数据块的行目录中的指针读取出对应的数据，若解压缩数据所需的字典号对应的不是嵌套字典，则直接读取解压缩出的数据。

5.根据权利要求4所述的装置，其特征在于，所述位置确定模块，具体用于根据所述修改信息中携带的数据块标识信息，确定所述修改信息对应的数据块；根据表空间的结构信息确定数据块的分布列表，通过所述数据块的分布列表确定所述数据块的位置。

6.根据权利要求4所述的装置，其特征在于，所述读取传输模块包括传输模块，所述传输模块，用于将所述数据通过直接路径装载传输到目标端的数据库中。