CN110597663A - 一种事务处理方法及装置 - Google Patents

Abstract

本申请公开了一种事务处理方法及装置，本申请提供的事务处理方法，通过多个WAL组件并发地进行追加写入操作，也就是说，允许多个线程(或进程)同时执行写WAL操作，而且，本申请各WAL组件之间通过日志记录的全局唯一标识实现了跨WAL组件的处理。本申请事务处理方法充分发挥了硬件提升优势，提高了事务处理性能，从而给用户带来了更高性能的体验。

Description

一种事务处理方法及装置

技术领域

本申请涉及但不限于高速存储技术，尤指一种事务处理方法及装置。

背景技术

随着高速存储设备，比如固态硬盘(SSD，Solid-State Drive)、基于共享存储的块设备等，在数据中心逐步成为主流，存储类应用可以享受到数十万到百万每秒的读写次数(IOPS，Input/Output Operations Per Second)吞吐能力。为了防止由于系统故障(比如机器宕机等)导致存储系统处于不一致的状态，保证事务的原子性、持久性，相关技术中提供了一些实现事务处理的方案，其中，事务是访问并可能更新存储系统中各种数据的一个程序执行单元，事务是恢复和并发控制的基本单位。事务具备原子性、一致性、隔离性、持久性。

但是，许多基于预写日志(WAL，Write Ahead Log)机制实现的存储和事务方案，受限于事务性的约束和系统的复杂度，因此，都是采用单日志(log)的方法来存储数据，无法发挥硬件性能提升带来的好处，降低了终端用户日益增长的更高性能诉求的体验。其中，WAL机制包括：对存储系统的更新操作，首先记录到WAL中，记录完成之后再更新存储系统，用于防止主机故障(如掉电、崩溃等)造成存储系统更新操作部分完成而导致的数据不一致问题。

发明内容

本申请提供一种事务处理方法及装置，能够充分发挥硬件提升优势，提高事务处理性能，从而给用户带来更高性能的体验。

本发明实施例提供了一种事务处理方法，包括：

将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识；

将日志记录并行写入多个预写日志WAL组件中；

在持久化连续的若干条日志记录后，记录完成持久化的时间点。

在一种示例性实例中，所述在持久化连续的若干条日志记录后，记录完成持久化的时间点，包括：

按照所述日志标识持久化所述连续的若干条日志记录后，记录起始日志标识为本次持久化中最后被持久化的日志记录的日志标识；或者，

所述持久化连续的若干条日志记录后，记录起始日志位置为紧接本次持久化后WAL组件的文件长度之后的位置。

在一种示例性实例中，所述将日志记录并行写入多个预写日志WAL组件中，包括：

根据各个所述WAL组件的负载选择WAL组件；

通过多线程或多进程将所述日志记录并行写入选择出的不同的所述WAL组件。

在一种示例性实例中，每个所述WAL组件包括多个日志段，一个日志段包括多条日志标识递增的日志记录。

在一种示例性实例中，当系统重启后，所述方法还包括：

读取每个所述WAL组件的日志记录，通过合并排序的方式获得所述日志标识递增的日志记录序列；

从所述最后被持久化的日志记录的日志标识之后的第一条日志记录开始，按序返回所述将日志记录并行写入多个预写日志WAL组件中步骤。

在一种示例性实例中，所述方法还包括：

根据预先设置的删除策略不定期的删除无用的日志段。

在一种示例性实例中，所述删除无用的所述日志段，包括：

根据每个所述日志段最后一条日志记录的日志标识确定是否删除该日志段，如果该日志段的最后一条日志记录的日志标识不超过所述最后被持久化的日志记录的日志标识，则该日志段为无用日志段，删除该日志段。

在一种示例性实例中，所述日志标识为日志序列号LSN。

本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的事务处理方法。

本申请又提供了一种用于实现事务处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的事务处理方法的步骤。

本申请再提供了一种事务处理装置，包括：预处理模块、处理模块和存储处理模块，其中，

预处理模块，用于将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识；

处理模块，用于将日志记录并行写入多个预写日志WAL组件中；

存储处理模块，用于在持久化连续的若干条日志记录后，记录完成持久化的时间点。

在一种示例性实例中，所述存储处理模块具体用于：

按照所述日志标识持久化所述连续的若干条日志记录后，记录起始日志标识为本次持久化中最后被持久化的日志记录的日志标识；或者，

所述持久化连续的若干条日志记录后，记录起始日志位置为紧接本次持久化后WAL组件的文件长度之后的位置。

在一种示例性实例中，所述处理模块具体用于：根据各个所述WAL组件的负载选择WAL组件；通过多线程或多进程将所述日志记录并行写入选择出的不同的WAL组件。

在一种示例性实例中，所述处理模块还用于：

当所述事务处理装置所在系统重启后，读取每个所述WAL组件的日志记录，通过合并排序的方式获得所述日志标识递增的日志记录序列；

从所述最后被持久化的日志记录的日志标识之后的第一条日志记录开始，按序返回所述处理模块重新执行。

在一种示例性实例中，每个所述WAL组件包括多个日志段，一个日志段包括多条日志标识递增的日志记录

在一种示例性实例中，所述处理模块，还用于：根据预先设置的删除策略不定期的删除无用的所述日志段。

在一种示例性实例中，所述处理模块中的删除无用的所述日志段，包括：

根据每个所述日志段最后一条日志记录的日志标识确定是否删除该日志段，如果该日志段的最后一条日志记录的日志标识不超过所述最后被持久化的日志记录的日志标识，则该日志段为无用日志段，删除该日志段。

在一种示例性实例中，所述日志标识为日志序列号LSN。

本申请包括：将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识；将日志记录并行写入多个WAL组件中；在按照日志标识持久化连续的若干条日志记录后，更新起始日志标识为本次持久化中最后被持久化的日志记录的日志标识。本申请提供的事务处理方法，通过多个WAL组件并发地进行追加写入操作，也就是说，允许多个线程(或进程)同时执行写WAL操作，而且，本申请各WAL组件之间通过日志记录的全局唯一标识实现了跨WAL组件的处理。本申请事务处理方法充分发挥了硬件提升优势，提高了事务处理性能，从而给用户带来了更高性能的体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请事务处理方法的实施例的流程示意图；

图2为本申请实务处理中实现日志记录写入的实施例的示意图；

图3为本申请事务处理方法的应用场景示意图；

图4为本申请实务处理中实现日志记录更新的实施例的示意图；

图5为本申请事务处理装置的组成结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在保证事务性和负载均衡的前提下，本申请提出：通过并行日志处理的方法充分发挥硬件优势，以提供拥有超高性能指标的事务处理方式。

图1为本申请事务处理方法的实施例的流程示意图，如图1所示，本申请方法至少包括：

步骤100：将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识。

在一种示例性实例中，日志标识可以是日志序列号(LSN，Log Sequence Number)。也就是说，在本申请的WAL机制中，每一个事务对应一条日志记录，每一条日志记录都有一个唯一的标识(ID)即LSN。

在一种示例性实例中，日志记录的LSN可以递增分配，也可以递减分配，还可以按照预设步长递增或递减分配，具体实现形式并不用于限定本申请的保护范围，只要能够清楚地体现出各个日志记录以及各个日志记录被写入的顺序即可。

步骤101：将日志记录并行写入多个WAL组件中。

在一种示例性实例中，本步骤可以包括：

根据各个WAL组件的负载选择WAL组件，通过多线程或多进程将所述日志记录并行写入选择出的不同的WAL组件。

在一种示例性实例中，WAL组件的负载可以通过WAL组件上的排队请求个数来体现，根据各个WAL组件的负载选择WAL组件，包括：

按照WAL组件上的排队请求个数，选择排队请求数量最少的WAL组件。

在一种示例性实例中，可以通过多线程或多进程来实现对多个WAL组件的并行写入。如图2所示，举个例子来看，假设序列化为日志记录的事务对应的编号为LSN1～LSNn，选择出的WAL组件包括WAL-1，WAL-2，WAL-3，WAL-4和WAL-5五个，那么，利用5个线程对这五个WAL组件并行写入包括：

第一次，将LSN1～LSN5并行写入WAL-1～WAL-5；

第二次，将LSN6～LSN10并行写入WAL-1～WAL-5；

...

第m次，将LSN(1+(m-1)*5)～LSN(5+(m-1)*5)并行写入WAL-1～WAL-5。

在一种示例性实例中，每个WAL组件可以包括多个日志段(segment)，一个日志段包括多条日志序列号递增的日志记录。

步骤102：在持久化连续的若干条日志记录后，记录完成持久化的时间点。

在一种示例性实例中，可以采用日志标识来表示时间点，而完成持久化的时间点为本次持久化中最后被持久化的日志记录的日志标识；这种情况下，步骤102包括：在按照日志标识持久化连续的若干条日志记录后，记录起始日志标识为本次持久化中最后被持久化的日志记录的日志标识。

在一种示例性实例中，也可以采用WAL组件的文件长度来表示时间点，而完成持久化的时间点为本次持久化后WAL组件的文件长度；这种情况下，步骤102包括：在持久化连续的若干条日志记录后，记录起始日志位置为紧接本次持久化后WAL组件的文件长度之后的位置。

在一种示例性实例中，本次持久化中最后被持久化的日志记录的日志标识可以是最后提交LSN(ast_commit_lsn)。

在一种示例性实例中，本申请可以根据预先设置的策略不定期的按照连续的LSN持久化的若干条日志记录。这里，预先设置的策略可以是按照非持久化数据的大小确定，当非持久化数据达到一定的大小时，触发持久化过程。

仍以图2所示为例，本实施例中，假设非持久化数据达到了预设数量，持久化LSN连续的五条日志记录，比如：LSN(1+(m-1)*5)～LSN(5+(m-1)*5)五条日志记录；然后，将起始LSN更新为本次持久化中最后被持久化的日志记录的LSN即本实施例中的LSN(5+(m-1)*5)。

图3为本申请事务处理方法应用场景示意图，如图3所示，多个写入线程将日志记录并行写入多个WAL组件，处理后写入存储空间(Storage System)。根据数据库具体实现，写入线程可以是用户线程，也可以是数据库内部的线程等等。

本申请提供的事务处理方法，通过多个WAL组件并发地进行追加写入操作，也就是说，允许多个线程(或进程)同时执行写WAL操作，而且，本申请各WAL组件之间通过日志记录的全局唯一标识实现了跨WAL组件的处理。本申请事务处理方法充分发挥了硬件提升优势，提高了事务处理性能，从而给用户带来了更高性能的体验。

在一种示例性实例中，当系统重启后，本申请还包括恢复过程：

读取每个WAL组件的日志记录，通过合并排序的方式获得日志标识如LSN递增的日志记录序列；

从所述最后被持久化的日志记录的日志标识，比如LSN为last_commit_lsn之后的第一条日志记录开始，按序执行更新操作即重新执行步骤101～步骤102。

在一种示例性实例中，每个WAL组件内的数据可以顺序读取；各个WAL组件之间，可以并行读取，也可以串行读取。

举例来看，如图4所示，假设当前起始LSN为LSN(5+(m-1)*5)，读取来自WAL-1～WAL-5的M个日志记录，这些日志记录的LSN均大于当前起始LSN的值如本实施例中的LSN(5+(m-1)*5)，然后将这M个日志记录合并后，按照LSN递增的顺序对存储系统执行更新操作。

在一种示例性实例中，可以将日志段作为日志回收的管理单元，以提升回收效率。本申请还包括：根据预先设置的删除策略不定期删除(也称为回收)无用的日志段。比如，可以根据每个日志段最后一条日志记录的LSN确定是否删除(或回收)这条日志段，如果该日志段的最后一条日志记录的LSN不超过last_commit_lsn，那么，该日志段即为无用日志段，可以被删除(或回收)。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的事务处理方法。

本申请再提供一种实现事务处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的事务处理方法的步骤。

图5为本申请事务处理装置的组成结构示意图，如图5所示，至少包括：预处理模块、处理模块和存储处理模块，其中，

预处理模块，用于将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识；

处理模块，用于将日志记录并行写入多个WAL组件中；

存储处理模块，用于在持久化连续的若干条日志记录后，记录完成持久化的时间点。

在一种示例性实例中，存储处理模块具体用于：

按照日志标识持久化连续的若干条日志记录后，记录起始日志标识为本次持久化中最后被持久化的日志记录的日志标识；或者，

持久化连续的若干条日志记录后，记录起始日志位置为紧接本次持久化后WAL组件的文件长度之后的位置。

在一种示例性实例中，处理模块具体用于：

根据各个WAL组件的负载选择WAL组件，通过多线程或多进程将所述日志记录并行写入选择出的不同的WAL组件。

在一种示例性实例中，存储处理模块可以根据预先设置的策略不定期的按照连续的LSN持久化的若干条日志记录。

在一种示例性实例中，上述处理模块，还用于：

当系统重启后，读取每个WAL组件的日志记录，通过合并排序的方式获得日志标识如LSN递增的日志记录序列；从所述最后被持久化的日志记录的日志标识，比如LSN为last_commit_lsn之后的第一条日志记录开始重新将日志记录并行写入多个WAL组件中。

在一种示例性实例中，上述处理模块，还用于：根据预先设置的删除策略不定期删除(也称为回收)无用的日志段。

在一种示例性实例中，日志标识可以是日志序列号(LSN，Log Sequence Number)。也就是说，在本申请的WAL机制的一种实施例中，每一个事务对应一条日志记录，每一条日志记录都有一个唯一的标识(ID)即LSN。

虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (18)

1.一种事务处理方法，包括：

将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识；

将日志记录并行写入多个预写日志WAL组件中；

在持久化连续的若干条日志记录后，记录完成持久化的时间点。

2.根据权利要求1所述的事务处理方法，其中，所述在持久化连续的若干条日志记录后，记录完成持久化的时间点，包括：

按照所述日志标识持久化所述连续的若干条日志记录后，记录起始日志标识为本次持久化中最后被持久化的日志记录的日志标识；或者，

所述持久化连续的若干条日志记录后，记录起始日志位置为紧接本次持久化后WAL组件的文件长度之后的位置。

3.根据权利要求1所述的事务处理方法，其中，所述将日志记录并行写入多个预写日志WAL组件中，包括：

根据各个所述WAL组件的负载选择WAL组件；

通过多线程或多进程将所述日志记录并行写入选择出的不同的所述WAL组件。

4.根据权利要求1所述的事务处理方法，其中，每个所述WAL组件包括多个日志段，一个日志段包括多条日志标识递增的日志记录。

5.根据权利要求1所述的事务处理方法，当系统重启后，所述方法还包括：

读取每个所述WAL组件的日志记录，通过合并排序的方式获得所述日志标识递增的日志记录序列；

从所述最后被持久化的日志记录的日志标识之后的第一条日志记录开始，按序返回所述将日志记录并行写入多个预写日志WAL组件中步骤。

6.根据权利要求4所述的事务处理方法，所述方法还包括：

根据预先设置的删除策略不定期的删除无用的日志段。

7.根据权利要求6所述的事务处理方法，其中，所述删除无用的所述日志段，包括：

根据每个所述日志段最后一条日志记录的日志标识确定是否删除该日志段，如果该日志段的最后一条日志记录的日志标识不超过所述最后被持久化的日志记录的日志标识，则该日志段为无用日志段，删除该日志段。

8.根据权利要求1～7任一项所述的事务处理方法，其中，所述日志标识为日志序列号LSN。

9.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～权利要求8任一项所述的事务处理方法。

10.一种用于实现事务处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求1～权利要求8任一项所述的事务处理方法的步骤。

11.一种事务处理装置，包括：预处理模块、处理模块和存储处理模块，其中，

预处理模块，用于将事务序列化为日志记录并为每个日志记录分配全局唯一的日志标识；

处理模块，用于将日志记录并行写入多个预写日志WAL组件中；

存储处理模块，用于在持久化连续的若干条日志记录后，记录完成持久化的时间点。

12.根据权利要求11所述的事务处理装置，所述存储处理模块具体用于：

按照所述日志标识持久化所述连续的若干条日志记录后，记录起始日志标识为本次持久化中最后被持久化的日志记录的日志标识；或者，

所述持久化连续的若干条日志记录后，记录起始日志位置为紧接本次持久化后WAL组件的文件长度之后的位置。

13.根据权利要求11所述的事务处理装置，其中，所述处理模块具体用于：根据各个所述WAL组件的负载选择WAL组件；通过多线程或多进程将所述日志记录并行写入选择出的不同的WAL组件。

14.根据权利要求11所述的事务处理装置，所述处理模块还用于：

当所述事务处理装置所在系统重启后，读取每个所述WAL组件的日志记录，通过合并排序的方式获得所述日志标识递增的日志记录序列；

从所述最后被持久化的日志记录的日志标识之后的第一条日志记录开始，按序返回所述处理模块重新执行。

15.根据权利要求11所述的事务处理装置，其中，每个所述WAL组件包括多个日志段，一个日志段包括多条日志标识递增的日志记录。

16.根据权利要求15所述的事务处理装置，所述处理模块，还用于：根据预先设置的删除策略不定期的删除无用的所述日志段。

17.根据权利要求16所述的事务处理装置，所述处理模块中的删除无用的所述日志段，包括：

根据每个所述日志段最后一条日志记录的日志标识确定是否删除该日志段，如果该日志段的最后一条日志记录的日志标识不超过所述最后被持久化的日志记录的日志标识，则该日志段为无用日志段，删除该日志段。

18.根据权利要求11～17任一项所述的事务处理装置，其中，所述日志标识为日志序列号LSN。