CN110019063A - 计算节点数据容灾回放的方法、终端设备及存储介质 - Google Patents

Abstract

本发明公开一种计算节点数据容灾回放的方法，包括如下过程，设置磁盘目录的过程，设置检查点文件备份的频率的过程，数据进入计算节点的过程，数据被计算节点处理的过程，计算节点异常时的数据回放的过程。一种计算节点数据容灾回放的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现计算节点数据容灾回放的方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现计算节点数据容灾回放的方法的步骤。不仅实现了计算节点的高性能数据容灾问题，还解决了在数据恢复回放的时效问题。

Description

计算节点数据容灾回放的方法、终端设备及存储介质

技术领域

本发明涉及数据处理技术领域，具体是一种计算节点数据容灾回放的方法、终端设备及存储介质。

背景技术

随着海量数据时代的来临，数据的计算能力和数据的容灾已经成为软件系统架构中必不可少的指标。而对于数据的计算能力，可通过在系统架构层面通过分布式负载均衡等手段实现计算节点的水平扩展，从而达到计算能力的无限提升。然而对于如何保证每个计算节点上的数据容灾和回放，也成为了业界所关注的焦点。

传统计算节点上的数据容灾，绝大多数都是通过将缓存在队列中的数据利用WAL(write-ahead-log)，即将数据插入到队列前记录一条日志到一个磁盘文件中，通过将日志持久化到磁盘文件上进行计算节点上的数据高可用。此种方式虽然保证了计算节点的数据高可用，但是在写记录到磁盘文件的时候，由于是统一写到一个磁盘文件，必然会存在着并发写入的I/O性能问题，另外，当出现异常情况，需要恢复计算节点的数据时，需要进行“全回放”，也就是将整个磁盘文件中所有的记录进行一条条的加载，在计算节点运行时间较长、计算的数据较大的情况下，整个磁盘文件的历史记录是非常大的，并且可能大部分记录是无用的过时记录，进行“全回放”不仅做了很多的无用功，而且回放的效率是极其的低下。尽管可以恢复所有的数据，但恢复的时效往往不尽人意。

发明内容

为了解决上述问题，本发明提供一种计算节点数据容灾回放的方法、终端设备及存储介质，通过对传统的WAL日志文件写记录的机制进行改进，利用多线程并行操作磁盘的方式进行日志记录，并整合内存主从数据队列的策略，以及引入了数据定期检查点迁出和检查点的备份机制，使得回放的时候可优先根据检查点进行WAL日志文件的定位，并针对定位标识之后的WAL日志文件中有效数据进行回放，而不用回放那些在WAL日志文件中已经无效的数据。不仅实现了计算节点的高性能数据容灾问题，还解决了在数据恢复回放的时效问题。

本发明一种计算节点数据容灾回放的方法，包括如下过程：

设置磁盘目录的过程：设置WAL日志文件和检查点文件所存储的磁盘目录，使得能够利用多线程并行操作的方式进行WAL日志文件的读写和提升检查点文件的可用性，其中检查点文件用于数据回放时WAL日志文件的定位；

设置检查点文件备份的频率的过程：根据计算节点的数据处理速度设置检查点文件备份的频率；

数据进入计算节点的过程：先将数据的数据体插入计算节点内存的主队列的尾部，然后将该数据的入队信息，记录到设置磁盘目录的过程中设置的WAL日志文件的磁盘目录下的对应WAL日志文件中，再将WAL日志文件对应的文件ID和在磁盘的偏移位置记录到计算节点内存的从队列中，作为从队列数据，最后按照设置检查点文件备份的频率的过程中设置的检查点文件备份的频率，定期将计算节点内存的从队列中的从队列数据直接复制，该从队列数据作为检查点文件存储到设置磁盘目录的过程中设置的磁盘目录下，并删除原检查点文件中的数据，进行检查点文件备份；

数据被计算节点处理的过程：先从计算节点内存的主队列头部删除该条数据体，再往WAL日志文件中写入一条处理删除记录，并删除掉计算节点内存的从队列头部的该条数据体对应的从队列数据，若数据处理过程失败，需将删除的该条数据恢复，则按照数据进入计算节点的过程对数据进行恢复；

计算节点异常时的数据回放的过程：当计算节点异常时，根据检查点文件对WAL日志文件进行定位，进行数据的恢复。

进一步的，设置磁盘目录的过程中，WAL日志文件所存储的磁盘目录为多个本地磁盘目录或分布式文件系统的目录，检查点文件所存储的磁盘目录为本地磁盘目录或分布式文件系统的目录。

更进一步的，数据进入计算节点的过程和数据被计算节点处理的过程中，对WAL日志文件的读写为多线程并行操作的方式。

进一步的，计算节点异常时的数据回放的过程中，当计算节点异常时，根据检查点文件对WAL日志文件进行定位，进行数据的恢复，具体为：

将检查点文件中的检查点文件数据加载到从队列中，然后根据加载的从队列数据的信息，定位到对应的WAL日志文件，从WAL日志文件中加载需恢复的数据体到主队列中，直至数据全部恢复完毕。

进一步的，WAL日志文件的文件ID命名方式为：目录级别数字-目录1-目录2...目录n-当前时间戳，使得能够根据文件ID得到WAL日志文件的存储目录，进而能够进行读写访问。

本发明一种计算节点数据容灾回放的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现计算节点数据容灾回放的方法的过程。

本发明一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现计算节点数据容灾回放的方法的过程。

本发明的有益效果：

通过对传统的WAL日志文件写记录的机制进行改进，利用多线程并行操作磁盘的方式进行日志记录，并整合内存主从数据队列的策略，以及引入了数据定期检查点迁出和检查点的备份机制，使得回放的时候可优先根据检查点进行WAL日志文件的定位，并针对定位标识之后的WAL日志文件有效数据进行回放，而不用回放那些在WAL日志文件中已经无效的数据。不仅实现了计算节点的高性能数据容灾问题，还解决了在数据恢复回放的时效问题。

附图说明

图1为本发明实施例一的方法的基本原理图；

图2为本发明实施例一的数据进入计算节点的过程示意图；

图3为本发明实施例一的数据被计算节点处理的过程示意图；

图4为本发明实施例一的计算节点异常时的数据回放的过程示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

请参阅图1-图4所示，本发明提供了一种计算节点数据容灾回放的方法，其基本原理为：先针对计算节点的数据队列实行主从备份的策略，在数据体插入到主队列的同时，利用多线程并行操作磁盘的方式将该数据的入队信息，持久化到设置磁盘目录的过程中设置的WAL日志文件的磁盘目录下的对应WAL日志文件中(WAL日志文件根据大小进行切分，且以文件ID进行区分)，然后在计算节点的内存中单独再缓存一个从队列，记录每条待处理的数据对应的WAL日志文件的文件ID和所存储的磁盘文件的偏移地址。由于主队列缓存的是真实数据体，而从队列缓存的是WAL日志文件的文件ID和所存储的磁盘文件的偏移地址，并非保存的是真实数据体，这样可极大降低从队列占用的内存。当数据消息被处理之后，从主队列里移除真实数据体后，同时移除从队列对应的从队列数据，并在WAL日志中记录一条数据被处理的记录，保持WAL日志数据的同步。然后再辅以定期检查点机制，将从队列中的从队列数据写入到检查点文件中。为了进一步的容灾，本方法将WAL日志文件、检查点文件存储于分布式文件系统中。当计算节点异常或宕机的时候，本方法优先根据检查点文件进行数据恢复，将检查点文件中的数据加载到从队列中，然后根据从队列数据中的WAL日志文件的文件ID和偏移地址去对应的WAL日志文件，从WAL日志文件中加载对应偏移地址的数据，直至数据加载完毕，主从队列数据一致后，计算节点重新开始计算工作。这样就避免将所有WAL日志文件全部加载一遍，而造成的“全回放”的低性能问题。基本原理图如图1所示。

本发明所阐述的方法具体过程如下：

(1)设置WAL日志文件和检查点文件所存储的磁盘目录。

WAL日志文件的存储目录，本方法分为两种方式：1>设置多个本地磁盘目录，每个目录以轮询的方式进行日志的均衡分布，这样在日志读写的时候可多线程并发的进行读写，提高日志读写的速度。2>设置为开源的分布式文件系统的目录。由于分布式文件系统的存储原理是以数据块的方式进行存储，故WAL日志文件写入到分布式文件系统后，将分为多个数据块文件，存储于不同的机器上，更有利于数据读写的并发进行。此外，分布式文件系统均提供数据的容灾备份，进一步的提高WAL日志文件的容灾能力。WAL日志文件以大小进行切分，本方法按照大小(默认为100M，可配置)进行文件的切分，超过指定大小将新建新的WAL日志文件进行相应的日志记录，默认保存7天(可配置)的WAL日志文件，超过7天的WAL日志文件将自行删除。WAL日志文件的文件ID命名方式为：目录级别数字-目录1-目录2...目录n-当前时间戳(精确到秒)来命名。例如

2-var-logs-20170101235959

2

var

logs

20170101235959

(以“-”作为分隔符，第一个数值代表连续多少个字符值为目录名(var，log)，第四个数值为建立WAL日志的时间，精确到秒，以上即为2017年1月1日23时59分59秒时候建立的。通过此种巧妙的方式，可以根据文件ID得出该文件的存储目录为/var/logs，而后就可进行读写访问)

检查点文件的存储目录，也分为两种方式：1>设置本地磁盘目录，对于检查点文件，由于是定期备份，不会像WAL日志文件一样频繁的发生写操作，故只需要设置一个文件目录即可。2>设置为开源的分布式文件系统，利用分布式文件系统的吞吐能力和容灾能力，提升检查点文件的可用性。新检查点文件生成后，删除旧的检查点文件。检查点文件命名方式为时间戳(精确到秒)拼接后缀即可。如20170101235959-ckp。

(2)设置检查点文件的检出的频率。可设置成1分钟一次或2分钟一次。具体可视计算节点的数据处理能力而定。当计算节点的数据处理速度较慢的时候需要提高检查点备份的频率，反之则降低检查点备份的频率。

(3)数据进入计算节点的过程

当计算节点接收到待计算的数据时，先将数据的数据体插入主队列的尾部，然后进行WAL日志写入到相应的磁盘文件(多线程并行写入到多个WAL日志文件)，写入成功后将该WAL日志文件对应的文件ID和文件在所存储的磁盘中的偏移位置，记录到从队列中，从队列进行定期(时间频率可设置)进行检查点文件备份，即定期将计算节点内存的从队列中的从队列数据直接复制，该从队列数据作为检查点文件存储到设置磁盘目录的过程中设置的磁盘目录下，并删除原检查点文件中的数据，进行检查点文件备份。具体过程如图2所示，序号代表处理的步骤顺序。

(4)数据被计算节点处理的过程

当计算节点开始处理该数据后，先从主队列头部删除该条数据，同时往WAL日志文件中填写一条处理删除记录，并删除掉从队列头部的该条对应数据，从而完成计算节点的数据处理过程。如果在数据处理过程中失败，需要将该条数据恢复，则可将该条数据重新按照(3)中所述，按照新数据一样，根据数据进入计算节点的过程进行处理。具体过程如图3所示，实线代表计算单元处理数据的过程，虚线代表处理失败后的过程，序号代表处理步骤的顺序。

(5)计算节点异常时的数据回放的过程

在计算节点异常或宕机重启的时候，本方法优先根据检查点文件进行数据恢复，将检查点文件中的数据加载到从队列中，然后根据从队列数据中的WAL日志文件的文件ID和偏移地址去定位到WAL日志文件，从对应的WAL日志文件中加载对应偏移地址的数据，直至数据加载完毕，主从队列数据一致后，计算节点重新开始计算工作。具体过程如图4所示。

实施例二：

本发明还提供一种计算节点数据容灾回放的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的过程，例如图1-图4所示的过程的方法过程。

进一步地，作为一个可执行方案，所述计算节点数据容灾回放的配置终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算节点数据容灾回放的配置终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述计算节点数据容灾回放的配置终端设备的组成结构仅仅是计算节点数据容灾回放的配置终端设备的示例，并不构成对计算节点数据容灾回放的配置终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算节点数据容灾回放的配置终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算节点数据容灾回放的配置终端设备的控制中心，利用各种接口和线路连接整个计算节点数据容灾回放的配置终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算节点数据容灾回放的配置终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的过程。

所述计算节点数据容灾回放的配置终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的过程。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明一种计算节点数据容灾回放的方法、终端设备及存储介质，通过对传统的WAL日志文件写记录的机制进行改进，利用多线程并行操作磁盘的方式进行日志记录，并整合内存主从数据队列的策略，以及引入了数据定期检查点迁出和检查点的备份机制，使得回放的时候可优先根据检查点进行WAL日志文件的定位，并针对定位标识之后的WAL日志文件有效数据进行回放，而不用回放那些在WAL日志文件中已经无效的数据。不仅实现了计算节点的高性能数据容灾问题，还解决了在数据恢复回放的时效问题。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种计算节点数据容灾回放的方法，其特征在于：包括如下过程：

设置磁盘目录的过程：设置WAL日志文件和检查点文件所存储的磁盘目录，使得能够利用多线程并行操作的方式进行WAL日志文件的读写和提升检查点文件的可用性，其中检查点文件用于数据回放时WAL日志文件的定位；

设置检查点文件备份的频率的过程：根据计算节点的数据处理速度设置检查点文件备份的频率；

数据进入计算节点的过程：先将数据的数据体插入计算节点内存的主队列的尾部，然后将该数据的入队信息，记录到设置磁盘目录的过程中设置的WAL日志文件的磁盘目录下的对应WAL日志文件中，再将WAL日志文件对应的文件ID和在磁盘的偏移位置记录到计算节点内存的从队列中，作为从队列数据，最后按照设置检查点文件备份的频率的过程中设置的检查点文件备份的频率，定期将计算节点内存的从队列中的从队列数据直接复制，该从队列数据作为检查点文件存储到设置磁盘目录的过程中设置的磁盘目录下，并删除原检查点文件中的数据，进行检查点文件备份；

数据被计算节点处理的过程：先从计算节点内存的主队列头部删除该条数据体，再往WAL日志文件中写入一条处理删除记录，并删除掉计算节点内存的从队列头部的该条数据体对应的从队列数据，若数据处理过程失败，需将删除的该条数据恢复，则按照数据进入计算节点的过程对数据进行恢复；

计算节点异常时的数据回放的过程：当计算节点异常时，根据检查点文件对WAL日志文件进行定位，进行数据的恢复。

2.如权利要求1所述的计算节点数据容灾回放的方法，其特征在于：设置磁盘目录的过程中，WAL日志文件所存储的磁盘目录为多个本地磁盘目录或分布式文件系统的目录，检查点文件所存储的磁盘目录为本地磁盘目录或分布式文件系统的目录。

3.如权利要求2所述的计算节点数据容灾回放的方法，其特征在于：数据进入计算节点的过程和数据被计算节点处理的过程中，对WAL日志文件的读写为多线程并行操作的方式。

4.如权利要求1所述的计算节点数据容灾回放的方法，其特征在于：计算节点异常时的数据回放的过程中，当计算节点异常时，根据检查点文件对WAL日志文件进行定位，进行数据的恢复，具体为：

将检查点文件中的检查点文件数据加载到从队列中，然后根据加载的从队列数据的信息，定位到对应的WAL日志文件，从WAL日志文件中加载需恢复的数据体到主队列中，直至数据全部恢复完毕。

5.如权利要求1所述的计算节点数据容灾回放的方法，其特征在于：WAL日志文件的文件ID命名方式为：目录级别数字-目录1-目录2...目录n-当前时间戳，使得能够根据文件ID得到WAL日志文件的存储目录，进而能够进行读写访问。

6.一种计算节点数据容灾回放的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-5所述方法的过程。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5所述方法的过程。