CN116561152B - 数据库日志记录方法及装置 - Google Patents

Abstract

本申请提供一种数据库日志记录方法及装置，包括：响应更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据。通过本申请改变逻辑日志结构，直接对更新前以及更新后的数据进行保存，保证了数据完整性的前提下，减少了数据库日志量并且提升了数据库的性能。

Description

数据库日志记录方法及装置

技术领域

本发明涉及数据管理的领域，尤其是涉及一种数据库日志记录方法及装置。

背景技术

相关技术中，数据库系统通常需要保证数据的可用性和可靠性，这就需要对数据库系统进行备份和恢复等操作。

相关技术中，一般采用逻辑日志记录系统的操作事务，这里的操作事务包括但不限于插入、删除、更新，然而，逻辑日志一般仅记录事务操作操作过程，在进行数据恢复时，在参照逻辑日志时，若某一过程记录错误，则容易导致数据恢复失败，同时，过程的方式记录逻辑日志，逻辑日志数量较多，由此数据库的可用性较大。

发明内容

有鉴于此，本发明的目的在于提供一种数据库日志记录方法，通过改变逻辑日志结构，直接对更新前以及更新后的镜像进行保存，并对镜像进行压缩，保证了数据完整性的同时减少了逻辑日志数量。

本申请实施例提供了一种数据库日志记录方法，包括：

响应与更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据。

通过本申请所述的实施例可以通过更改逻辑日志结构直接将更新前的数据以及更新后的数据分别进行保存，保证了数据的一致性，并且通过更改逻辑日志结构并对逻辑日志进行压缩可以减少文件的数量，在对数据进行恢复时不需要读取中间操作记录，提升了数据的恢复速度、性能及可用性

一种可能的方式是，对所述逻辑日志进行压缩。

一种可能的方式是，对所述逻辑日志进行压缩的步骤包括：

分别对所述前镜像以及所述后镜像分别进行压缩。

一种可能的方式是，所述对所述逻辑日志进行压缩的步骤包括：

确定第三目标数据，所述第三目标数据存在于所述后镜像之中，不存在与所述前镜像之中；

基于所述第三目标数据生成第一补丁镜像；

对所述第一补丁镜像进行压缩。

一种可能的方式是，对所述逻辑日志进行压缩的步骤包括：

对所述前镜像以及所述后镜像分别进行压缩；

确定第四目标数据，所述第四目标数据存在于压缩后的后镜像之中，不存在于压缩后的前镜像之中；

基于第四目标数据生成第二补丁镜像；

对所述第二补丁镜像进行压缩。

一种可能的方式是，所述方法还包括：对所述第二目标数据进行回放。

一种可能的方式是，若存在压缩后的前镜像以及压缩后的后镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的前后镜像分别进行解压缩。

一种可能的方式是，若存在压缩后的第一补丁镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的第一补丁镜像进行解压缩，以获取第三目标数据；

基于第三目标数据对所述第二目标数据进行回放；

其中，所述第三目标数据存在于所述后镜像之中，不存在于所述前镜像之中，所述第一补丁镜像基于第三目标数据生成。

一种可能的方式是，若存在压缩后的第二补丁镜像以及压缩后的前镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的第二补丁镜像进行解压缩生成第二补丁镜像，以获取第四目标数据；

基于第四目标数据，回放生成普通压缩后的后镜像；

对压缩后的前后镜像进行解压缩，对所述第二目标数据进行回放；

其中，所述第四目标数据存在于压缩后的后镜像之中，不存在与所述压缩后的前镜像之中，所述第二补丁镜像基于第四目标数据生成。

第二方面，本申请提供了一种数据库日志记录装置，包括：

响应模块：响应与更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据库日志记录方法流程图；

图2为本申请实施例提供的又一种数据库日志记录方法流程图；

图3为本申请实施例提供的一种数据库日志压缩方法流程图；

图4为本申请实施例提供的另一种数据库日志压缩方法流程图；

图5为本申请实施例提供的一种数据库日志记录装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，逻辑日志可以存储对行数据的各种操作，例如删除、更新、插入，本领域技术人员一般采用逻辑日志对数据进行恢复，然而，当按照逻辑日志对应的步骤对数据进行恢复，若某一过程记录错误，则容易导致数据恢复失败，同时，过程的方式记录逻辑日志，逻辑日志数量较多，数据恢复较慢。

针对于前述问题，为了提升数据库的可用性以及一致性，由此即衍生了本申请的核心教导：对逻辑日志结构进行更改，利用前后镜像分别对更新前后的数据分别进行存储。

请参照图1，图1为本申请实施例提供的一种数据库日志记录方法流程图，具体包括如下步骤：

S101：响应与更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据；

在这里第一目标数据为更新前的数据，第二目标数据为更新后的数据，通过更改逻辑日志结构直接将更新前的数据以及更新后的数据分别进行保存，保证了数据的一致性，并且通过更改逻辑日志结构可以减少文件的数量，在对数据进行恢复时不需要读取中间操作记录，提升了数据的恢复速度，提升了数据库的性能及可用性；

然而，逻辑日志会占用大量的磁盘空间，同时，可以将逻辑日志进行压缩，减少数据磁盘空间的占用；

图2为本申请实施例提供的又一种数据库日志记录方法流程图，具体包括如下步骤：

S201：响应更新指令，生成逻辑日志，

其中S201与前述步骤S101相一致，在此不在赘述，

S202：对逻辑日志进行压缩；

在一些实施例中，采用如下方式对所述前镜像以及所述后镜像分别进行压缩的方式进行压缩，也就是说，对第一目标数据以及第二目标数据分别进行压缩；

示例性的，前镜像中的数据为A，后镜像存储的数据为B，则分别对前镜像和后镜像进行压缩，并将压缩后的前镜像以及后镜像进行存储；

通过此种压缩方法可以将逻辑日志多占的空间减少30%至50%；

在又一些实施例中，采用差分数据压缩算法对前镜像进行压缩，具体请参照图3，图3为本申请实施例提供的一种数据库日志压缩方法流程图，具体包括如下步骤：

S301：确定第三目标数据，所述第三目标数据存在于所述后镜像之中，不存在与所述前镜像之中；

S302：基于所述第三目标数据生成第一补丁镜像；

S303：对所述第一补丁镜像进行压缩。

可理解的，在这里的第三目标数据为前镜像以后镜像中的变更的数据，针对于前镜像以及后镜像差异不大，用此种方式最为合适。示例性的，前镜像中的数据为A，后镜像存储的数据为B，在此将B与A发生变化的部分C提取出来，生成数据补丁，在此，C对应的即为第三目标数据，利用C生成第一补丁镜像；

本领域人员可理解的，C仅仅为数据，在生成第一补丁镜像之时，需要补充第一补丁镜像的头部以及链接指针进行补充；

通过此种压缩方式可以将数据大小压缩50%到70%，对数据压缩的效果较好；

在另一些实施例之中，将首先将前后镜像分别进行压缩，然后再采用差分算法进行压缩，此种压缩方式结合了前两种压缩方式的优点，保证了压缩的准确性，压缩后的数据大小最小，且压缩效率较高；

具体的，请参照图4，图4为本申请实施例提供的另一种数据库日志压缩方法流程图，具体包括如下步骤：

S401：分别对所述前镜像以及所述后镜像分别进行压缩；

S402：生成第四目标数据，所述第四目标数据存在于压缩后的后镜像之中，不存在与压缩后的前镜像之中；

S403：基于第四目标数据生成第二补丁镜像；

S404：对所述第二补丁镜像进行压缩。

示例性的，前镜像中的数据为A，后镜像存储的数据为B，压缩后前镜像中的数据为A’, 压缩后的后镜像存储的数据为B’,利用A’以及B’生成数据补丁，也就是说，找寻A’与B’之中的不同之处，即C’，利用C’生成第二补丁镜像，并对其进行压缩；

通过此种方式采用首先进行普通压缩然后进行差分压缩，在此压缩后的数据大小最小；

在前述实施例的基础上，可以通过配置参数选定压缩模式。示例性的，假定配置参数确定为0000，则采用普通压缩的方式，对前后镜像分别进行压缩；若配置参数为0001，则采用图3所示的实施例的步骤对逻辑日志镜像进行压缩；若配置参照为0010，则采用图4所示的实施例对逻辑日志进行压缩；

在前述实施例的基础上，若要对数据进行恢复以及回放，需要对逻辑日志进行解压，基于前述实施例，无论采用何种方式进行压缩，若要回放前镜像的数据，仅需对前镜像进行解压，然而，若要对后镜像进行回放，在一些实施例之中，无法通过简单对后镜像进行解压的方式对后镜像数据进行回放；

以下将针对不同情景下对后镜像数据进行回放的方式进行阐述：

在一些实施例之中，若存在压缩后的前镜像以及压缩后的后镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的前后镜像分别进行解压缩。

在又一些实施例之中，若存在压缩后的第一补丁镜像以及压缩后的前镜像，对所述第二目标数据进行回放的步骤包括：

S501a：对所述压缩后的第一补丁镜像进行解压缩，以获取第三目标数据；

S501b：并基于第三目标数据以及前镜像对所述第二目标数据进行回放；

其中，所述第三目标数据存在于所述后镜像之中，不存在于所述前镜像之中，所述第一补丁镜像基于第三目标数据生成。

具体对第三目标数据的介绍请参照图3所示的实施例，在此不再赘述。基于此，在解压时，首先对压缩后的第一补丁镜像进行解压生成第一补丁镜像，然后利用前镜像以及第一补丁镜像确定后镜像；

可理解的，对前镜像数据以及第一补丁镜像数据汇总即为后镜像数据；

在另一些实施例之中，通过若存在压缩后的第二补丁镜像以及压缩后的前镜像，对所述第二目标数据进行回放的步骤包括：

S502a：对所述压缩后的第二补丁镜像进行解压缩生成第二补丁镜像，以获取第四目标数据；

S502b：基于压缩后的前镜像以及解压后的第二补丁镜像对所述第四目标数据进行回放，之后分别对普通压缩后的前后镜像分别进行解压缩以获取第二目标数据；

其中，所述第四目标数据存在于压缩后的后镜像之中，不存在与所述压缩后的前镜像之中，所述第二补丁镜像基于第四目标数据生成。

在此，对前述第二补丁镜像的介绍请参照图4所述的实施例，在此不再赘述，在此可理解的，解压后的第二补丁镜像以及压缩后的前镜像的数据的汇总即为压缩后的后镜像，因此，对第二补丁镜像以及前镜像分别进行解压缩即可对后镜像数据进行回放。

综上对比可知，S501a至S502b对应为图3所示的实施例的解压步骤 ， S502a至S502b对应为图4所示的实施例的步骤，在具体实现中，可以在压缩后，利用配置参数确定对应的解压回放方式，示例性的，假定在压缩过程中，对前镜像数据以及后镜像数据分别进行压缩，此时配置参数为0000，在回放时，当配置参数为0000时，即采用对前镜像以后镜像分别进行解压的方式，假定在压缩过程中采用图3所示的实施例对逻辑日志进行压缩，若配置参数为0001，在解压时，则采用S 501a 至S501b的步骤进行解压 ；若配置参数为0010，对应压缩过程采用图4所述的实施例对逻辑日志进行压缩，在解压时，则对应采用S 502a 至S502b的步骤进行解压；

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

请参照图5，图5为本申请实施例提供的一种数据库日志记录装置结构图，响应模块：响应与更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种数据库日志记录方法，其特征在于，包括：

响应更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据，所述第一目标数据为更新前的数据，所述第二目标数据为更新后的数据；

对所述逻辑日志进行压缩；

所述对所述逻辑日志进行压缩的步骤包括：

分别对所述前镜像以及所述后镜像分别进行压缩；

或

确定第三目标数据，所述第三目标数据存在于所述后镜像之中，不存在于所述前镜像之中；

基于所述第三目标数据生成第一补丁镜像；

对所述第一补丁镜像进行压缩；

或

对所述前镜像以及所述后镜像分别进行压缩；

确定第四目标数据，所述第四目标数据存在于压缩后的后镜像之中，不存在压缩后的前镜像之中；

基于第四目标数据生成第二补丁镜像；

对所述第二补丁镜像进行压缩。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第二目标数据进行回放。

3.根据权利要求2所述的方法，其特征在于，若存在压缩后的前镜像以及压缩后的后镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的前后镜像分别进行解压缩。

4.根据权利要求2所述的方法，其特征在于，若存在压缩后的第一补丁镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的第一补丁镜像进行解压缩，以获取第三目标数据；

基于前镜像和第一补丁镜像回放第三目标数据；

基于第三目标数据对所述第二目标数据进行回放；

其中，所述第三目标数据存在于所述后镜像之中，不存在于所述前镜像之中，所述第一补丁镜像基于第三目标数据生成。

5.根据权利要求2所述的方法，其特征在于，若存在压缩后的第二补丁镜像以及压缩后的前镜像，对所述第二目标数据进行回放的步骤包括：

对所述压缩后的第二补丁镜像进行解压缩生成第二补丁镜像，以获取第四目标数据；

对压缩后的前后镜像进行解压缩，对所述第二目标数据进行回放；

其中，所述第四目标数据存在于压缩后的后镜像之中，不存在于所述压缩后的前镜像之中，所述第二补丁镜像基于第四目标数据生成。

6.一种数据库日志记录装置，其特征在于，包括：

响应模块：用于响应与更新指令，生成逻辑日志，所述逻辑日志结构包括：前镜像以及后镜像，所述前镜像：用于保存第一目标数据，所述后镜像：用于保存第二目标数据，所述第一目标数据为更新前的数据，所述第二目标数据为更新后的数据；

压缩模块：用于对所述逻辑日志进行压缩；

所述压缩模块具体用于：

分别对所述前镜像以及所述后镜像分别进行压缩；

或

确定第三目标数据，所述第三目标数据存在于所述后镜像之中，不存在于所述前镜像之中；

基于所述第三目标数据生成第一补丁镜像；

对所述第一补丁镜像进行压缩；

或

对所述前镜像以及所述后镜像分别进行压缩；

确定第四目标数据，所述第四目标数据存在于压缩后的后镜像之中，不存在压缩后的前镜像之中；

基于第四目标数据生成第二补丁镜像；

对所述第二补丁镜像进行压缩。