CN1555527A - 重组所存储的数据的系统和方法 - Google Patents

Abstract

描述了一种用于重组数据的方法。该方法包括读取源文件的每个记录的步骤和将每个记录写入目标文件的步骤。该方法也包括创建包括所选择的日志记录的日志文件的步骤。每个日志记录与将形成目标文件的变更相关。该方法进一步包括读取日志文件的每个日志记录的步骤和处理日志文件的每个日志的步骤，从而对目标文件实现相关的变更。该方法还包括用目标文件替换源文件的步骤。为了实现该方法的步骤也公开了一种装置和制造产品。

Description

重组所存储的数据的系统和方法

技术领域

所描述的系统和方法通常涉及信息处理环境以及数据库或文件访问的系统和方法。更具体地，所描述的系统和方法涉及用于改善表区或索引的重组的系统和方法。

背景技术

对于大量信息的存储、管理和访问，计算机是有效的工具。当对用户提供访问时，计算机数据库是一种用于在计算机上存储信息的普通机制。普通的数据库的计算机实现是将数据和索引存储在不同的文件或对象中。

典型地，用户不用直接访问其中存储了包括数据库的数据和/或索引的对象。通常允许用户经由数据库管理系统(“DBMS”)或与DBMS通信的应用程序来间接访问数据和索引。DBMS负责响应来自用户或应用程序的请求来变更、更新、删除和插入数据到物理对象。这样，DBMS充当终端用户与物理数据存储机构之间的缓冲器，从而使终端用户不必知道或考虑他正在使用的表的底层硬件层的细目。

有一些普通的数据库管理系统，例如包括，利用表区和索引对象来存储和访问数据的DB2。普通的DBMS实现的另一个例子是IMS，它利用数据库和索引对象来存储和访问数据。

在典型的数据库环境中，用户数据的行驻留在表中，该表在诸如数据库或表区的数据对象中被维护。每个存储用户数据的对象可以具有一个或多个索引。每个索引根据关键字来使对表的行的访问容易。索引的关键字是来自表格的一行或多行的典型的数据。对于读取、更新、删除和插入新数据的批和在线应用，数据行是可用的。当插入或删除一行数据时，在所有相关的索引上执行对应的插入或删除。当更新一个关键字列时，也更新所有相关的索引。

典型的表和索引可以包括成千上万的记录。在许多DBMS中，所有对象的变更、更新、删除和插入都记录在日志文件中。因为正在对对象进行大量的记录和大量的修改，所以日志功能是DBMS中的最繁忙的功能。典型的DBMS日志功能也允许日志退出。也就是，在DBMS写每个日志记录之前，它调用一个日志退出例程并且将日志记录的地址传送到例程。

随着时间的过去，表和/或索引的添加和删除可能导致所存储的数据的无效的组织，并且可能影响DBMS及时响应来自终端用户和应用程序的请求的能力。为了维护有效的数据存储和访问，已经开发了实用程序来重组数据和索引对象。从上次执行了重组实用程序，可以定期执行这些实用程序来纠正由请求的处理产生数据组织的无效性。由于需要时间和资源来执行数据的重组，所以可以定期利用重组实用程序。

当执行重组实用程序时，可以同时执行要求访问被重组的数据和/或索引对象的批和在线应用程序。为此，重组实用程序典型地在两个阶段检查和重组主题对象。在第一阶段，直到执行重组实用程序，主题对象被重组来说明已经发生的所有的变更。

在第二阶段，典型的重组实用程序说明在执行重组实用程序期间已经发生的所有的变更。这是通过检查所有的日志文件记录来实现的，这些日志文件记录反映了由同时批和在线应用程序请求的变更。在完成重组之前，实用程序处理所有写入日志文件的变更，从而提供相当于主题对象或索引对象的数据重组。

典型的DBMS环境如图1所示。正如图所示，所述环境包括用于维护和允许访问所存储的信号的数据库110。数据库110包括至少一个用于存储数据的行和列的数据对象112。数据库110最好包括一个或多个与数据对象112相关的索引114和116，以便辅助访问存储于其中的数据。当然，索引114和116是可选的，并且数据对象112可不需要任何索引。

由数据库管理系统(“DBMS”)120来提供对数据库110的访问。DBMS 120使用户130能够访问数据库110。DBMS 120也使用户150能够通过应用140间接访问数据库110。DBMS 120包括用于读取、添加、删除和更改存储在数据库110中的数据的例程。DBMS 120也包括至少一个用于记录所有对由DBMS 120管理的对象做出修改的例程。记录功能可以利用体现为数据对象124和索引对象126的日志数据库122。除了记录更改的例程，DBMS 120还包括用于维护存储在数据对象112和索引114以及116中数据的完整性的实用程序。一旦数据库110中的文件或对象被破环，则可以使用某些实用程序来重建文件或对象。也可以使用其它实用程序，具体为重组实用程序来重新整理存储在数据库110中的数据，以便更有效地访问。可以在数据对象112、索引114、索引116及其任何组合上运行重组实用程序。

现在参考图2，描述了常规DBMS日志例程每次执行数据或索引的添加、删除或修改的步骤。在步骤210，在日志文件中创建日志记录。日志文件包含由DBMS对数据和/或索引对象做出的变更。日志记录识别受影响的数据或索引对象，识别受影响的文件的记录，并且描述活动的类型，该活动导致对记录的变更。在步骤212，调用日志退出例程。在写入日志记录之前调用该日志退出例程，然后日志记录的地址被传送作为调用的部分。在步骤214，日志记录实际上被写入日志文件。

现在参考图3A和3B，描述执行常规重组实用程序以便更有效地存储数据的步骤的方框图。该步骤集中用参考符号300来表示。虽然常规重组实用程序可以在数据和索引对象上操作，但是图2、3A和3B是根据重组数据对象来描述。当然，当重组一个索引时，也执行类似的步骤。

重组实用程序300在两个阶段上运行。在第一阶段期间，如图3A所示，当实用程序出现在重组的开始时，它单独地从数据对象复制每个记录。在第二阶段期间，如图3B所示，当处理第一阶段时，对于数据对象重组实用程序解释任何变更。这些变更可以由用户、在线应用程序或批应用程序来请求，这些程序在处理重组的第一阶段的同时需要访问数据对象。

现在参考图3A，来描述常规重组实用程序的第一阶段的步骤。在步骤310，重组实用程序根据将被重组的实数据对象的格式来创建一个空“映像”数据对象。在步骤312，读取实数据对象的每个记录。如判定块314所示，如果在步骤312尝试从实数据对象读取记录导致文件结束条件，则重组实用程序开始处理的第二阶段。如果在步骤312成功读取记录，则在步骤316，将记录写入映像数据对象。

现在参考图3B，描述常规重组实用程序的第二阶段的步骤。一旦进入处理的第二阶段，则在步骤318，重组实用程序在日志文件中搜索第一记录，该第一记录属于将被重组的数据对象的记录，在日志文件中，被记录的变更发生正在调用重组实用程序之后。在后续的反复操作中，步骤318将在日志文件中搜索下一个记录，该记录属于被重组的数据对象的记录。在步骤320，从日志文件读取记录。

正如判定块322所示，如果在步骤320尝试从日志文件读取记录导致文件结束条件，则重组实用程序通过执行步骤326来完成重组处理。如果在步骤320成功读取日志文件记录，则在步骤324，由日志文件记录描述的变更被应用到映像索引，并且处理直接返回到步骤318。在对数据对象的所有同时的变更被应用之后，在步骤326，新近重组的映像数据对象被重新命名变成实数据对象，从而允许访问被重组的数据对象。

随后，需要一种改进的用于重组数据的方法和系统，该方法和系统能够使重组实用程序操作起来比常规重组实用程序更有效。具体地，需要一种用于减少与实现变更有关的处理的方法和系统，该变更在重组时被形成到文件。

发明内容

本发明描述了一种用于重组数据的方法。该方法包括读取源文件的每个记录的步骤和将每个记录写入目标文件的步骤。该方法也包括创建包含所选择的日志记录的日志文件的步骤。每个日志记录与形成到目标文件的变更相关。该方法进一步包括读取日志文件的每个日志记录的步骤和处理日志文件的每个记录以对目标文件实现相关的变更的步骤。该方法还进一步包括用目标文件代替源文件的步骤。

也描述了一种由数据库管理系统记录变更的方法。该方法包括识别将被记录的变更的步骤和根据所述变更来创建日志记录的步骤。该方法也包括确定所述变更是否影响重组处理的步骤。如果所述变更影响重组处理，则将日志记录存储在第一日志文件中。第一日志文件仅记录所选择的变更。该方法还包括将日志记录存储在第二日志文件中的步骤。第二日志文件记录所有的变更。

也描述了一种用于重组数据的第一设备。该设备包括：用于读取源文件的每个记录的装置和用于将每个记录写入目标文件的装置。该设备也包括用于创建包含所选择的日志记录的日志文件的装置。每个日志记录与形成到目标文件的变更相关。该设备还包括用于读取日志文件的每个日志记录的装置和用于处理日志文件的每个记录以对目标文件实现相关的变更的装置。该设备还包括用目标文件代替源文件的装置。

描述了用于重组数据的第二设备。第二设备包括处理器和连接到处理器的存储器。该存储器存储用于控制处理器的操作的程序，以便执行用于重组数据的所述方法的步骤。

也描述了制造商的产品。该制造商的产品是一种用处理指令编码的计算机可读存储介质，用于实现重组数据的方法。

结合附图，根据优选例的下列描述，本公开的方法和系统的目的、特征及优点将会变得更加明显。

附图说明

为了更完整地理解本发明所公开的方法和系统及其优点，现在结合附图来参考下列描述，附图中相同的参考编号表示相同的特征，其中：

图1是说明典型DBMS环境的示意性方框图；

图2是说明由常规DBMS日志例程采用的主要步骤的功能流程图；

图3A-3B是说明由常规重组实用程序采用的主要步骤的功能流程图；

图4是说明所描述的方法和系统的实施例的环境的示意性方框图；

图5A-5B是说根据所描述的重组方法的重组实用程序的实施例的主要步骤的功能流程图；以及

图6是说明根据所描述的重组方法的DBMS日志例程的实施例的主要步骤的功能流程图。

具体实施方式

所公开的用于重组数据的方法最好在诸如图4所示的环境下操作。如图所示，环境包括：数据库410，包括至少一个数据对象412以及与数据对象412相关的一个或多个索引414和416用来辅助访问存储在其中的数据。当然，索引414和416是可选的，数据对象412不要求具有任何索引。

由数据库管理系统(“DBMS”)420提供对数据库410的访问。DBMS 420使用户430能够访问数据库410。DBMS 420也使用户450能够通过应用440间接访问数据库410。DBMS 420包括用于读取、增加、删除和变更存储于数据库410中的数据的例程。

DBMS 420的记录例程在体现为数据对象424和索引对象426的日志数据库422中，记录由DBMS 420管理的对所有对象做出的变更。此外用于记录变更的例程，DBMS 420还包括用于维护存储于数据对象412和索引414以及416中的数据的完整性的实用程序。在数据库410内的文件或对象被破坏的情况中，可以使用某些实用程序来对其重建。对于更多有效的访问，其它实用程序，尤其是重组实用程序可被用来重新安排存储于数据库410中的数据。重组实用程序可以在数据对象412、索引414、索引416及其任意组合上操作。重组实用程序利用包括日志数据对象428和日志索引对象429的日志数据库427。日志数据库427存储日志数据库422中记录的变更的子集。

现在参考图5A和5B，其中描述了根据本发明的一个重组实用程序的实施例的步骤方框图。步骤集中用参考符号500来表示。虽然所公开的重组实用程序可以在数据和索引对象上操作，但是图5A、5B和6是根据重组数据对象来描述。当然，当重组一个索引时，也执行类似的步骤，并且该类似的步骤被认为在所描述的方法和系统的范围之内。

改进的重组实用程序500在两个阶段操作。在第一阶段期间，如图5A所示，改进的重组实用程序建立将被DBSM日志例程使用的程序调用，并且当数据对象出现在程序的开始时，从数据对象单独地复制每个记录。在第二阶段期间，如图5B所示，改进的重组实用程序利用复制的日志记录的子集来解决在第一阶段期间形成到数据对象的变更。

现在参考图5A，来描述改进的重组实用程序的第一阶段的步骤。在步骤510，改进的重组实用程序根据将被重组的实数据对象的格式来创建一个空映象数据对象。在步骤512，改进的重组实用程序建立由DBMS日志例程使用的程序调用，参考如图6被详细描述。所建立的程序调用检查日志记录，并且形成与被重组对象变更相关的日志记录的副本。这些被选择的日志记录可被存储到日志文件，但是最好存储在存储器中以提高重组实用程序的效率。结果在存储器利用中达到阈值，日志记录可以被存储在DASD中。因此，存储器和复制的日志文件将仅包括将被重组实用程序处理的日志记录，因此在第二阶段处理则更有效率。

在步骤514，读取实数据对象的每个记录。如由判定块516所示，如果在步骤514企图从实数据对象读取记录导致文件结束条件，则改进的重组实用程序开始处理的第二阶段。如果在步骤514成功读取记录，则在步骤518，将记录写入映像数据对象。

现在参考图5B，来描述改进的重组实用程序的第二阶段。一旦进入处理的第二阶段，则在步骤520，重组实用程序访问存储器和/或复制的日志文件中的区域，该复制的日志文件包含了有关处理的第二阶段的记录，并且读取第一日志记录。在后续的反复操作中，步骤520将读取日志文件中的下一个记录。

在判定块522，改进的重组实用程序确定步骤520是否导致文件结束条件。如果是，则在步骤526，重组实用程序继续处理。如果在步骤520成功读取日志文件记录，则在步骤524，将由日志文件记录描述的变更应用到映象索引，并且处理直接返回到步骤520。在对数据对象的所有记录的变更被应用之后，在步骤526，取消程序调用，并且在步骤528，新近重组的映象数据对象被重新命名变成实数据对象，从而允许访问被重组的数据对象。

现在参考图6，描述了根据所述方法和系统的每次改进的DBMS日志例程执行数据或索引项的添加、删除或修改的步骤。在步骤610，在包含由DBMS形成对数据和/或索引对象的变更的日志文件中创建日志记录。在步骤612，调用日志退出例程，并且日志记录的地址作为调用的部分被传递。如判定块614所示，如果已经由改进的重组实用程序建立了程序调用，则象先前图5A的步骤512所述，日志例程处理步骤616。

在步骤616，如果日志记录表示对当前正被重组的文件的变更，则日志记录被复制成副本日志文件，以便在重组的第二阶段使用。如果没有建立程序调用，或一旦完成步骤616的处理，则在步骤618，日志记录被写入常规日志文件。

根据上面的描述，本领域的技术人员将领会到所公开方法和系统的改进、变化和修改。本领域内的这些改进、变化和修改往往包含在所附权利要求中。

因此，应当理解本公开的附图和说明是为了方便理解所公开的方法和系统，而不能被曲解为对本发明的范围的限制。应当理解，在不背离单独由所附权利要求定义的所公开方法和系统的精神和范围的情况下，可以做出各种各样的改变、替换和修改。

Claims (27)

1.一种用于重组数据的方法，包括步骤：

读取源文件的每个记录；

将每个记录写入目标文件；

创建包括所选择的日志记录的日志文件，每个与变更相关的日志记录将形成到目标文件；

读取日志文件的每个日志记录；

处理日志文件的每个记录，以实现对目标文件的相关变更；并且

用目标文件替换源文件。

2.根据权利要求1所述的方法，其中所述源文件是索引文件。

3.根据权利要求1所述的方法，其中所述源文件是数据文件。

4.根据权利要求1所述的方法，其中所述创建日志文件的步骤是根据DBMS日志例程的指令来执行的。

5.根据权利要求4所述的方法，其中所述日志文件包括由DBMS日志例程处理的所有记录的子集。

6.根据权利要求4所述的方法，其中所述日志文件记录是根据由重组实用建立的程序调用来选择的。

7.根据权利要求6所述的方法，其中所述程序调用在所述重组实用程序的中止之前被删除。

8.一种由数据库管理系统记录变更的方法，包括步骤：

识别将被记录的变更；

根据所述变更来创建日志记录；

确定所述变更是否影响重组处理；

如果所述变更影响重组处理，则将日志记录存储在记录已选择变更的第一日志文件中；并且

将日志记录存储在记录所有变更的第二日志文件中。

9.根据权利要求8所述的方法，其中所述第一日志文件驻留在虚拟存储器中。

10.根据权利要求8所述的方法，其中所述第一日志文件驻留在数据空间中。

11.根据权利要求8所述的方法，其中所述第一日志文件驻留在高性能数据空间中。

12.根据权利要求8所述的方法，其中所述第一日志文件驻留在DASD中。

13.一种用于重组数据的设备，包括：

用于读取源文件的每个记录的装置；

用于将每个记录写入目标文件的装置；

用于创建包含所选择的日志记录的日志文件的装置，每个与变更相关的日志记录形成到目标文件；

用于读取日志文件的每个日志记录的装置；

用于处理日志文件的每个记录以实现对目标文件的相关变更的装置；以及

用目标文件代替源文件的装置。

14.根据权利要求13所述的设备，其中所述源文件是索引文件。

15.根据权利要求13所述的设备，其中所述源文件是数据文件。

16.根据权利要求13所述的设备，其中所述日志文件是根据DBMS日志例程的指令创建的。

17.根据权利要求16所述的设备，其中所述日志文件包括由DBMS日志例程处理的所有记录的子集。

18.根据权利要求16所述的设备，其中所述日志文件是根据由重组实用程序建立的程序调用来选择的。

19.根据权利要求18所述的设备，其中所述程序调用在重组实用程序中止之前被删除。

20.一种用于重组数据的设备，包括：

处理器；

连接到所述处理器的存储器，用于存储程序以控制所述处理器的操作；

由存储器中的程序操作的所述处理器来：

读取源文件的每个记录；

将每个记录写入目标文件；

创建包含所选择日志记录的日志文件，每个与变更相关的日志记录将形成到目标文件；

读取日志文件的每个日志记录；

处理日志文件的每个记录以实现对目标文件的相关变更；并且

用目标文件代替源文件。

21.根据权利要求20所述的设备，其中所述源文件是索引文件。

22.根据权利要求20所述的设备，其中所述源文件是数据文件。

23.根据权利要求20所述的设备，其中所述处理器进一步用存储器中的程序操作以根据DBMS日志例程的指令来创建日志文件。

24.根据权利要求23所述的设备，其中所述日志文件包括由DBMS日志例程处理的所有记录的子集。

25.根据权利要求20所述的设备，其中所述处理器进一步由存储器中的程序操作以根据由重组实用程序建立的程序调用来选择日志文件。

26.根据权利要求23所述的设备，其中所述处理器进一步由存储器中的程序操作，以在重组实用程序中止之前删除程序调用。

27.一种利用实现重组数据方法的处理指令编码的计算机可读存储介质，所述处理指令用于指导计算机来执行以下步骤：

读取源文件的每个记录；

将每个记录写入目标文件；

创建包含所选择日志记录的日志文件，每个与变更相关的日志记录将形成到目标文件；

读取日志文件的每个日志记录；

处理日志文件的每个记录以实现对目标文件的相关变更；并且

用目标文件代替源文件。

Images