CN117873820A - 一种日志生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种日志生成方法、装置、电子设备及存储介质。该方法包括：确定插入数据的列长度信息，列长度信息指示插入数据中变长数据类型所对应数据的数据长度；确定插入数据的物理记录偏移信息，物理记录偏移信息指示插入数据在重做日志中的偏移位置；将列长度信息和物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。上述技术方案中，通过将列长度信息和物理记录偏移信息保存至逻辑日志中，不再保存插入数据，生成了简化的逻辑日志，消除了逻辑日志和重做日志中等价信息的重复，缩小了日志文件大小，降低了系统的IO负载；同时生成逻辑日志时不需要处理插入数据，提高了批量插入的执行速度，提升了数据库系统的整体性能。

Description

一种日志生成方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种日志生成方法、装置、电子设备及存储介质。

背景技术

对于数据库系统来说，逻辑日志和重做日志都是至关重要的。逻辑日志可以记录事务中的插入、更新、删除或DDL操作，数据库系统可以利用逻辑日志进行数据复制、数据同步迁移、数据备份恢复、数据审计等操作。重做日志是数据库系统运行的基础，在系统故障、宕机重启时，使用重做日志可以恢复数据，保证数据的持久性和完整性。

现有的数据库系统，逻辑日志和重做日志都是单独生成的。例如当执行数据插入语句时，系统会生成一条逻辑日志和一条重做日志。通过解析逻辑日志可以反拼出执行的数据插入语句。而重做日志记录的是该插入语句针对数据页的修改内容，通过重做日志可以得到该条插入语句成功执行后在数据页中保存的数据。在插入操作很频繁、插入数据量很大的情况下，数据库系统会生成大量逻辑日志和重做日志，系统IO负载较高，同时生成日志的操作也会对SQL语句执行速度有一定的影响。

发明内容

本发明提供了一种日志生成方法、装置、电子设备及存储介质，以缩小日志文件大小，提升数据库系统的运行性能。

第一方面，本发明实施例提供了一种日志生成方法，包括：

确定插入数据的列长度信息，所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度；

确定插入数据的物理记录偏移信息，所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置；

将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。

第二方面，本发明实施例提供了一种日志生成装置，包括：

长度信息确定模块，用于确定插入数据的列长度信息，所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度；

偏移信息确定模块，用于确定插入数据的物理记录偏移信息，所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置；

日志生成模块，用于将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。

第三方面，本发明实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的日志生成方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如第一方面所述的日志生成方法。

本发明实施例提供了一种日志生成方法、装置、电子设备及存储介质。该方法包括：确定插入数据的列长度信息，列长度信息指示插入数据中变长数据类型所对应数据的数据长度；确定插入数据的物理记录偏移信息，物理记录偏移信息指示插入数据在重做日志中的偏移位置；将列长度信息和物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。上述技术方案中，通过将列长度信息和物理记录偏移信息保存至逻辑日志中，不再保存插入数据，生成了简化的逻辑日志，消除了逻辑日志和重做日志中等价信息的重复，缩小了日志文件大小，降低了系统的IO负载；同时生成逻辑日志时不需要处理插入数据，提高了批量插入的执行速度，提升了数据库系统的整体性能。

应当理解，本部分所描述的内容并非旨在标识本发明实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本发明实施例一提供的一种日志生成方法的流程图；

图2为本发明实施例二提供的一种日志生成装置的结构示意图；

图3为本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

需要注意，本发明实施例中提及的“第一”、“第二”等概念仅用于对不同的装置、模块、单元或其他对象进行区分，并非用于限定这些装置、模块、单元或其他对象所执行的功能的顺序或者相互依存关系。

实施例一

图1为本发明实施例一提供的一种日志生成方法的流程图，本实施例可适用于缩小日志文件大小，提升数据库系统的运行性能的情况。具体的，该日志生成方法可以由日志生成装置执行，该日志生成装置可以通过软件和/或硬件的方式实现，并集成在电子设备中。进一步的，电子设备包括但不限定于：台式计算机、笔记本电脑、智能手机以及服务器等电子设备。

如图1所示，该方法具体包括如下步骤：

S110、确定插入数据的列长度信息，所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度。

本实施例中，插入数据可以理解为插入到数据表中的一行或多行数据，可以通过数据插入语句将数据插入到数据表中。其中，数据表可以理解为数据库中主要的数据存储容器。数据插入语句可以理解为向数据表的列中插入一行或多行数据的语句，数据插入语句例如可以为结构化查询语言(Structured Query Language，SQL)中的插入语句。其中，SQL可以理解为一种具有数据操纵和数据定义等多种功能的数据库语言。

列长度信息可以理解为指示数据插入语句中变长数据类型所对应数据的数据长度。变长数据类型可以理解为数据长度是变化的数据所对应的数据类型，也就是说，变长数据类型的最大数据长度由用户指定，存储长度取决于数据的实际长度，例如，VARCHAR(10)表示最多可以使用10个字节来存储字符串，这种数据类型被称为变长数据类型。数据长度可以理解为数据所占用的字节数。

其中，可通过电子设备确定插入数据的列长度信息。

示例性的，可通过数据库系统确定插入数据的列长度信息。例如，对于数据表T1，C2和C4列是变长数据类型列，如果分别插入数据“李明”和“高二年级”，由于“李明”字符串长度是4个字节，“高二年级”字符串长度是8个字节，所以列长度信息中会存储(4，8)。

S120、确定插入数据的物理记录偏移信息，所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置。

本实施例中，物理记录偏移信息可用于指示插入数据在重做日志中的偏移位置。

其中，可通过电子设备确定插入数据的物理记录偏移信息。

S130、将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。

本实施例中，待填充逻辑日志可以理解为待填充的逻辑日志，也就是说，可包括日志头、操作类型、列描述信息和表对象信息的逻辑日志。其中，日志头可以理解为逻辑日志中记录的头部信息；操作类型可以理解为对数据进行操作的类型，如插入操作；列描述信息可用于记录数据表的各个列的数据类型，即可记录插入数据的数据类型，数据类型例如可以为整数类型INT、字符串类型VARCHAR等，例如，数据库中存在一张数据表T1，表中包含四个列，分别为C1、C2、C3和C4，数据类型分别为INT、VARCHAR(10)、INT和VARCHAR(20)，那么列描述信息中可以包含：(C1,INT)、(C2,VARCHAR)、(C3,INT)、(C4,VARCHAR)；表对象信息可以理解为一种用于唯一标识数据表的信息。数据字段可用于存储特定类型的数据或信息，如存储列长度信息和物理记录偏移信息。

其中，可通过电子设备将列长度信息和物理记录偏移信息分别存储至待填充的逻辑日志中，生成逻辑日志，即生成了简化的逻辑日志。

需要说明的是，本发明的主要思想是，消除逻辑日志和重做日志中等价信息的重复。逻辑日志中直接记录了插入的真实数据，即记录了插入数据，而重做日志中包含物理记录，所谓物理记录是指真实数据在数据页中以二进制形式存储的内容，利用重做日志中的物理记录、逻辑日志中的列描述信息以及数据库记录存储规则的方式，可以间接计算出插入的真实数据，因此认为两种日志中的该部分信息等价，可以简化掉逻辑日志中记录的插入数据，生成简化的逻辑日志，即简化逻辑日志后，逻辑日志中不再保存插入的数据，但是保存列长度信息以及物理记录偏移信息。

示例性的，如表1所示，逻辑日志简化前，即未简化逻辑日志，包含日志头、操作类型、表对象信息、列描述信息和插入的数据。其中，插入的数据即插入数据。如表2所示，逻辑日志简化后，即简化的逻辑日志，不再包含插入的数据，而是包含列长度信息和物理记录偏移信息，日志头、操作类型、表对象信息、列描述信息和简化前的逻辑日志一致。

表1逻辑日志简化前所包含信息

日志头

操作类型

表对象信息

列描述信息

插入的数据

表2逻辑日志简化后所包含信息

日志头

操作类型

表对象信息

列描述信息

列长度信息

物理记录偏移信息

本发明实施例一提供的一种日志生成方法，该方法包括：确定插入数据的列长度信息，列长度信息指示插入数据中变长数据类型所对应数据的数据长度；确定插入数据的物理记录偏移信息，物理记录偏移信息指示插入数据在重做日志中的偏移位置；将列长度信息和物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。上述技术方案中，通过将列长度信息和物理记录偏移信息保存至逻辑日志中，不再保存插入数据，生成了简化的逻辑日志，消除了逻辑日志和重做日志中等价信息的重复，缩小了日志文件大小，极大地降低了系统的IO负载；同时生成逻辑日志时不需要处理插入数据，提高了批量插入的执行速度，提升了数据库系统的整体性能。

可选的，所述日志生成方法还包括：

根据插入数据在所述逻辑日志中的物理记录偏移信息，从重做日志中获取所述物理记录偏移信息所对应的物理记录；

根据所述逻辑日志中的列描述信息，确定所述物理记录所对应的数据类型；

根据所述逻辑日志中的列长度信息，确定所述物理记录所对应的数据长度；

根据数据库记录存储规则，确定所述物理记录所对应的存储顺序；

根据所述存储顺序及所述数据长度，解析所述物理记录，得到解析后数据；

根据所述数据类型及所述解析后数据，确定插入数据。

在一实施例中，物理记录可以表征插入数据，也就是说，物理记录可以理解为插入的所有数据共同组合成的一串二进制数据。需要说明的是，仅通过物理记录无法解析得到多个插入数据。

物理记录所对应的数据类型可以理解为带有插入数据真实顺序的数据类型，例如，向数据表T1中插入一行数据(1,'李明'，16，'高二年级')，相应SQL语句为“INSERT INTOT1 VALUES(1,'李明'，16，'高二年级')；”。

其中，插入数据“1”和“16”的数据类型为整数类型INT，“李明”和“高二年级”的数据类型为字符串类型VARCHAR。此时，根据逻辑日志中的列描述信息，可确定物理记录所对应的数据类型为INT、VARCHAR、INT、VARCHAR。

数据长度可以理解为数据所占用的字节数。数据库记录存储规则可由数据库系统的底层实现逻辑决定，不同数据库之间，数据库记录存储规则可能不同，如数据库记录存储规则可为先存储定长数据类型，后存储变长数据类型。其中，定长数据类型可以理解为使用固定数据长度存储的数据所对应的数据类型，例如INT类型固定使用4个字节存储，这种数据类型被称为定长数据类型。存储顺序可以理解为物理记录所对应的存储顺序，也就是说，插入数据存储到数据页中的顺序。

其中，生成简化后的逻辑日志后，可执行如下操作：可根据逻辑日志中的物理记录偏移信息查找重做日志，从重做日志中获取物理记录偏移信息所对应的物理记录；可根据逻辑日志中的列描述信息确定物理记录所对应的数据类型，即确定插入数据对应的数据类型；可根据逻辑日志中的列长度信息，确定物理记录所对应的数据长度，如，根据逻辑日志中的列长度信息，确定变长数据类型所对应插入数据的数据长度；可根据数据库记录存储规则，确定物理记录所对应的存储顺序，如先存储定长数据类型的插入数据，再存储变长数据类型的插入数据；根据物理记录所对应的数据长度和物理记录所对应的存储顺序，对物理记录中的二进制数据进行解析，得到解析后数据；根据物理记录所对应的数据类型及解析后数据，恢复插入数据的真实顺序，进而确定了插入数据。

需要说明的是，若物理记录所对应的数据类型为定长数据类型，数据长度固定，可不额外确定数据长度。

本操作，可通过简化的逻辑日志和重做日志确定出插入数据，有利于进行数据复制、数据同步、数据迁移等操作。

可选的，所述根据所述存储顺序及所述数据长度，解析所述物理记录，得到解析后数据，包括：

确定所述存储顺序所对应的数据类型；

按照所述数据类型所对应长度将所述物理记录进行分割；

按照所述存储顺序所对应的数据类型对分割后数据进行解析，得到解析后数据。

在一实施例中，存储顺序所对应的数据类型可以理解为按存储顺序排序的插入数据所对应的数据类型，如先存储定长数据类型的插入数据，再存储变长数据类型的插入数据时，存储顺序所对应的数据类型可为INT、INT、VARCHAR、VARCHAR。数据类型所对应长度可以理解为按存储顺序排序的插入数据所对应的数据类型所对应数据的数据长度，如INT的数据长度为4字节、INT的数据长度为4字节、VARCHAR的数据长度为4字节、VARCHAR的数据长度为8字节。

可选的，根据所述数据类型及所述解析后数据，确定插入数据，包括：

按所述数据类型调整所述解析后数据，得到插入数据。

其中，由于数据类型带有插入数据真实顺序，故可按照数据类型的顺序调整解析后数据的顺序，以得到真实顺序的插入数据。

可选的，在所述根据插入数据在所述逻辑日志中的物理记录偏移信息，从重做日志中获取所述物理记录偏移信息所对应的物理记录之前，还包括：

根据逻辑日志中的原始信息，确定初始数据插入语句，所述原始信息包括：操作类型及表对象信息。

在一实施例中，原始信息可以理解为简化前后的逻辑日志中都包含的信息，如日志头、操作类型和表对象信息等。初始数据插入语句可以理解为不完整的数据插入语句，如初始SQL语句。

可选的，在所述根据所述数据类型及所述解析后数据，确定插入数据之后，还包括：

将所述插入数据填写至初始数据插入语句中，得到目标数据插入语句。

在一实施例中，目标数据插入语句可以理解为完整的数据插入语句，如目标SQL语句。

可选的，所述物理记录所对应的数据类型包括以下至少一个：定长数据类型及变长数据类型。

示例性的，假设向数据表T1中插入一行数据(1,'李明'，16，'高二年级')，即插入数据，相应的目标数据插入语句，如目标SQL语句如下：

INSERT INTO T1 VALUES(1,'李明'，16，'高二年级')；

根据简化后的逻辑日志拼写完整的数据插入语句的方法如下：

1、根据逻辑日志中的操作类型和表对象信息等原始信息拼写初始SQL语句。

本例中，拼写初始SQL语句为“INSERT INTO T1 VALUES(x,x,x,x)；”，其中，“x”表示未知的插入数据，有待进一步确认。

2、根据逻辑日志中的物理记录偏移信息查找重做日志，找到物理记录偏移信息对应的物理记录。物理记录是插入的所有数据共同组合成的一串二进制数据，仅通过物理记录无法解析得到多个插入数据。

3、根据逻辑日志中的列描述信息确认插入数据对应的数据类型。

本例中，确认数据类型为：INT、VARCHAR、INT、VARCHAR。根据逻辑日志中的列长度信息，确认变长数据类型所对应插入数据的数据长度。本例中可以确认两个VARCHAR类型所对应插入数据的数据长度分别是4字节和8字节(INT类型是定长数据类型，数据长度固定为4字节，无需额外确认)。

4、根据数据库记录存储规则，确认物理记录所对应的存储顺序。

本例中，可以确定物理记录所对应的存储顺序所对应的数据类型依次是：INT、INT、VARCHAR、VARCHAR，其中两个VARCHAR类型数据长度依次是4字节和8字节。

5、根据确认的存储顺序和数据长度解析物理记录，得到解析后数据。

本例中，按照数据类型所对应长度将物理记录进行分割，即可以将物理记录中的二进制数据分割成4字节、4字节、4字节、8字节，再分别解析成整数或字符串，最终成功得到解析后数据：1、16、'李明'，'高二年级'。

6、根据数据类型及解析后数据，确定插入数据。

本例中，按数据类型调整解析后数据，数据类型是INT、VARCHAR、INT、VARCHAR，因此可以得到插入数据：1、'李明'，16、'高二年级'。

7、将插入数据填写至初始数据插入语句，如初始SQL语句中，得到目标数据插入语句，如目标SQL语句。

本例中，可以得到目标SQL语句为“INSERT INTO T1 VALUES(1,'李明'，16，'高二年级')；”。

实施例二

图2为本发明实施例二提供的一种日志生成装置的结构示意图，该装置可以执行本发明实施例所提供的日志生成方法。本实施例提供的日志生成装置包括：

长度信息确定模块210，用于确定插入数据的列长度信息，所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度；

偏移信息确定模块220，用于确定插入数据的物理记录偏移信息，所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置；

日志生成模块230，用于将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。

可选的，在上述实施例的基础上，所述日志生成装置还包括：

物理记录获取模块，用于根据插入数据在所述逻辑日志中的物理记录偏移信息，从重做日志中获取所述物理记录偏移信息所对应的物理记录；

数据类型确定模块，用于根据所述逻辑日志中的列描述信息，确定所述物理记录所对应的数据类型；

数据长度确定模块，用于根据所述逻辑日志中的列长度信息，确定所述物理记录所对应的数据长度；

存储顺序确定模块，用于根据数据库记录存储规则，确定所述物理记录所对应的存储顺序；

解析后数据确定模块，用于根据所述存储顺序及所述数据长度，解析所述物理记录，得到解析后数据；

插入数据确定模块，用于根据所述数据类型及所述解析后数据，确定插入数据。

可选的，在上述实施例的基础上，所述解析后数据确定模块包括：

数据类型确定单元，用于确定所述存储顺序所对应的数据类型；

物理记录分割单元，用于按照所述数据类型所对应长度将所述物理记录进行分割；

解析后数据确定单元，用于按照所述存储顺序所对应的数据类型对分割后数据进行解析，得到解析后数据。

可选的，在上述实施例的基础上，所述插入数据确定模块包括：

插入数据确定单元，用于按所述数据类型调整所述解析后数据，得到插入数据。

可选的，在上述实施例的基础上，所述日志生成装置还包括：

初始数据插入语句确定模块，用于在所述根据插入数据在所述逻辑日志中的物理记录偏移信息，从重做日志中获取所述物理记录偏移信息所对应的物理记录之前，根据逻辑日志中的原始信息，确定初始数据插入语句，所述原始信息包括：操作类型及表对象信息。

可选的，在上述实施例的基础上，所述日志生成装置还包括：

目标数据插入语句确定模块，用于在所述根据所述数据类型及所述解析后数据，确定插入数据之后，将所述插入数据填写至初始数据插入语句中，得到目标数据插入语句。

可选的，在上述实施例的基础上，所述物理记录所对应的数据类型包括以下至少一个：定长数据类型及变长数据类型。

本发明实施例二提供的日志生成装置可以用于执行上述任意实施例提供的日志生成方法，具备相应的功能和有益效果。

实施例三

图3示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备10还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、用户设备、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图3所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络、无线网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志生成方法。

在一些实施例中，日志生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备10上实施此处描述的系统和技术，该电子设备10具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备10。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志生成方法，其特征在于，包括：

确定插入数据的列长度信息，所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度；

确定插入数据的物理记录偏移信息，所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置；

将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据插入数据在所述逻辑日志中的物理记录偏移信息，从重做日志中获取所述物理记录偏移信息所对应的物理记录；

根据所述逻辑日志中的列描述信息，确定所述物理记录所对应的数据类型；

根据所述逻辑日志中的列长度信息，确定所述物理记录所对应的数据长度；

根据数据库记录存储规则，确定所述物理记录所对应的存储顺序；

根据所述存储顺序及所述数据长度，解析所述物理记录，得到解析后数据；

根据所述数据类型及所述解析后数据，确定插入数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述存储顺序及所述数据长度，解析所述物理记录，得到解析后数据，包括：

确定所述存储顺序所对应的数据类型；

按照所述数据类型所对应长度将所述物理记录进行分割；

按照所述存储顺序所对应的数据类型对分割后数据进行解析，得到解析后数据。

4.根据权利要求2所述的方法，其特征在于，根据所述数据类型及所述解析后数据，确定插入数据，包括：

按所述数据类型调整所述解析后数据，得到插入数据。

5.根据权利要求2所述的方法，其特征在于，在所述根据插入数据在所述逻辑日志中的物理记录偏移信息，从重做日志中获取所述物理记录偏移信息所对应的物理记录之前，还包括：

根据逻辑日志中的原始信息，确定初始数据插入语句，所述原始信息包括：操作类型及表对象信息。

6.根据权利要求2所述的方法，其特征在于，在所述根据所述数据类型及所述解析后数据，确定插入数据之后，还包括：

将所述插入数据填写至初始数据插入语句中，得到目标数据插入语句。

7.根据权利要求2所述的方法，其特征在于，所述物理记录所对应的数据类型包括以下至少一个：定长数据类型及变长数据类型。

8.一种日志生成装置，其特征在于，包括：

长度信息确定模块，用于确定插入数据的列长度信息，所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度；

偏移信息确定模块，用于确定插入数据的物理记录偏移信息，所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置；

日志生成模块，用于将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段，生成逻辑日志。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的日志生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志生成方法。