CN112559242A - 国产众核处理器计算核内存压缩方法 - Google Patents

Abstract

本发明公开一种国产众核处理器计算核内存压缩方法，包括以下步骤：进行进程保留时，操作系统进程保留接口先调用内核级的压缩接口对进程当前使用的内存映像进行压缩，再将压缩后的内存映像数据写入检查点文件中；在进程恢复时，操作系统进程恢复接口先调用内核级的解压缩接口对检查点文件中读出的内存映像数据进行解压缩，再将解压缩后的内存映像数据恢复到进程的内存空间中。本发明解决了当前国产超级计算机中进程保留恢复耗时长，用户体验较差的问题。

Description

国产众核处理器计算核内存压缩方法

技术领域

本发明涉及一种国产众核处理器计算核内存压缩方法，属于超级计算机进程保留恢复技术领域。

背景技术

保留恢复是超级计算机中必备的容错机制之一，可分为用户级保留恢复和内核级保留恢复。目前国产超级计算机中已经实现了内核级保留恢复机制。其中，内核级保留恢复机制中比较典型的就是进程保留恢复技术，进程保留恢复机制的主要工作是当操作系统出现故障或因外部差错而导致某些进程终止时可调用进程保留接口备份进程状态，生成检查点文件，通过加载检查点文件，可在进程当前节点（超级计算机中的单个处理器）或其他节点恢复终止进程的运行。

目前，国产操作系统中集成了内核级进程保留恢复接口。内核级保留恢复的实现具有全透明性，保留恢复机制完全独立于应用程序，用户只需调用保留恢复接口即可，减少了程序出错的概率。另外，在操作系统内核中实现进程保留恢复时，可以直接访问与进程状态相关的任何数据结构，例如寄存器、计算核相关内存区、文件描述符、信号状态等等，因此可以实现对进程状态更完全的保存。然而，内核级进程保留恢复也存在以下不足：（1）大型应用程序进程通常会使用大量内存空间，这使得进程保留时生成的检查点文件也非常大，读写文件将占用大量的CPU时间，不利于CPU效率的发挥，也存在进程信息保留不完整导致恢复之后进程无法正常运行的风险；（2）保留的信息更多，会导致进行进程保留恢复所需时间都会增加，特别是在保留大型进程时，用户需要等待的时间大大增加，极大地降低了用户体验。

发明内容

本发明的目的是提供一种国产众核处理器计算核内存压缩方法，该国产众核处理器计算核内存压缩方法解决了当前国产超级计算机中进程保留恢复耗时长，用户体验较差的问题。

为达到上述目的，本发明采用的技术方案是：包括以下步骤：

S1、进行进程保留时，操作系统进程保留接口先调用内核级的压缩接口对进程当前使用的内存映像进行压缩，再将压缩后的内存映像数据写入检查点文件中；

S2、在进程恢复时，操作系统进程恢复接口先调用内核级的解压缩接口对检查点文件中读出的内存映像数据进行解压缩，再将解压缩后的内存映像数据恢复到进程的内存空间中。

上述技术方案中进一步改进的方案如下：

1. 上述方案中，所述操作系统进程保留接口调用内核级的压缩接口和所述操作系进程恢复接口在调用内核级的解压缩接口前，包括以下步骤：

a.操作系统内核启动时，通过initcall机制调用一个初始化函数，所述初始化函数在国产超级计算机中的每个CPU上创建一个wait_head、一个Linux内核通用队列和一个专用内核线程；

b.启动步骤a中创建的专用内核线程，通过调用wait_event函数将所述专用内核线程加入步骤a中当前CPU上创建好的等待队列中，并让所述专用内核线程与kfifo相关联；如果所述专用内核线程对应的kfifo为空，则wait_event函数使所述专用内核线程处于睡眠状态。

2. 上述方案中，所述操作系统进程保留接口在调用内核级的压缩接口时，包括以下步骤：

a.将进程保留时形成的内存映像进行分块，每个数据块生成一个待处理数据信息头，所述待处理数据信息头中写入当前数据块需进行的处理方式、数据块起始内存地址、数据长度信息；

b.将步骤a中生成的待处理数据信息头存入所述kfifo中，所述kfifo由空变为非空，通过调用wake_up函数将当前CPU上的处于睡眠状态的专用内核线程唤醒；

c.步骤b中的专用内核线程被唤醒之后，读出所述kfifo中的所述待处理数据信息头，根据待处理数据信息头可知，当前数据块需进行压缩操作；根据待处理数据信息头中的数据块起始内存地址及数据长度信息，调用lz4算法的数据压缩接口对数据块进行压缩处理；

d.将步骤c中压缩处理后的内存映像数据及数据长度信息写入检查点文件中；

e.判断kfifo是否为空，如果为空，调用wait_event函数使专用内核线程进入睡眠；如果非空，跳转至步骤c。

3. 上述方案中，所述操作系统进程恢复接口在调用内核级的解压缩接口时，包括以下步骤：

a. 将进程恢复时形成的内存映像进行分块，每个数据块生成一个待处理数据信息头，所述待处理数据信息头中写入当前数据块需进行的处理方式、数据块起始内存地址、数据长度信息；

b. 从检查点文件中将压缩后的内存映像数据及其数据长度信息读出，将内存映像数据及其数据长度信息添加到步骤a生成的待处理数据信息头中；将生成的待处理数据信息头存入所述kfifo中，所述kfifo由空变为非空，通过调用wake_up函数将当前CPU上的处于睡眠状态的专用内核线程唤醒；

c.步骤b中的专用内核线程被唤醒之后，读出kfifo中的待处理数据信息头，根据待处理数据信息头可知，当前数据块需进行解压缩操作；根据待处理数据信息头中的数据块起始内存地址及数据长度信息，调用lz4算法的数据解压缩接口对数据块进行解压缩处理；

d. 将步骤c中解压缩处理后的内存映像数据恢复到待恢复进程对应的内存地址中；

e. 判断kfifo是否为空，如果为空，调用wait_event函数使专用内核线程进入睡眠；如果非空，跳转至步骤c。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

1）本发明所述国产众核处理器计算核内存压缩方法，集成内核级的压缩/解压缩接口供保留恢复机制使用；在进行进程保留恢复时，操作系统进程保留接口先调用压缩接口对进程当前使用的内存映像进行压缩再写入检查点文件中，在进程恢复时，将从检查点文件中读出的内存映像信息解压缩后再进行恢复，这就解决了当前国产超级计算机中进程保留恢复耗时长，用户体验较差的问题。

2）本发明国产众核处理器计算核内存压缩方法，其通过专用内核线程进行压缩/解压缩，压缩/解压缩过程中，专用内核线程可进行调度，不会长时间占用CPU。同时，使用initcall机制在操作系统内核启动时就启动好用于压缩/解压缩的专用内核线程，有数据需要处理就唤醒专用内核线程，无待处理数据时专用内核线程睡眠，节约了专用内核线程初始化的时间。

3）本发明国产众核处理器计算核内存压缩方法，对需要压缩的内存映像进行分块可避免压缩/解压缩时需要的缓存过大，节约内存空间，同时分块还有利于对数据进行流水化处理，进一步减少压缩/解压缩所需时间，加快处理进度，提升用户体验。

附图说明

附图1为本发明国产众核处理器计算核内存压缩方法流程示意图。

具体实施方式

如图1所示，一种国产众核处理器计算核内存压缩方法，包括以下步骤：

S1、进行进程保留时，操作系统进程保留接口先调用内核级的压缩接口对进程当前使用的内存映像进行压缩，再将压缩后的内存映像数据写入检查点文件中；

S2、在进程恢复时，操作系统进程恢复接口先调用内核级的解压缩接口对检查点文件中读出的内存映像数据进行解压缩，再将解压缩后的内存映像数据恢复到进程的内存空间中。

所述操作系统进程保留接口调用内核级的压缩接口和所述操作系进程恢复接口在调用内核级的解压缩接口前，包括以下步骤：

a.操作系统内核启动时，通过initcall机制调用一个初始化函数，所述初始化函数在国产超级计算机中的每个CPU上创建一个wait_head（等待队列头）、一个Linux内核通用队列（kiffo）和一个专用内核线程；其中，专用内核线程用于完成对内存映像数据的压缩和解压缩处理，每个CPU上压缩和解压缩操作共同使用同一个专用内核线程；

b. 启动步骤a中创建的专用内核线程，通过调用wait_event函数将所述专用内核线程加入步骤a中当前CPU上创建好的等待队列中，并让所述专用内核线程与kfifo相关联；如果所述专用内核线程对应的kfifo为空，则wait_event函数使所述专用内核线程处于睡眠状态。

所述操作系统进程保留接口在调用内核级的压缩接口时，包括以下步骤：

a.将进程保留时形成的内存映像进行分块，每个数据块生成一个待处理数据信息头，所述待处理数据信息头中写入当前数据块需进行的处理方式、数据块起始内存地址、数据长度信息；其中，此处待处理数据信息头中写入当前数据块需进行的处理方式为压缩方式；

b.将步骤a中生成的待处理数据信息头存入所述kfifo中，所述kfifo由空变为非空，通过调用wake_up函数将当前CPU上的处于睡眠状态的专用内核线程唤醒；其中，kfifo是在CPU中提前创建完成；

c.步骤b中的专用内核线程被唤醒之后，读出所述kfifo中的所述待处理数据信息头，根据待处理数据信息头可知，当前数据块需进行压缩操作；根据待处理数据信息头中的数据块起始内存地址及数据长度信息，调用lz4算法的数据压缩接口对数据块进行压缩处理；

d. 将步骤c中压缩处理后的内存映像数据及数据长度信息写入检查点文件中；

e. 判断kfifo是否为空，如果为空，调用wait_event函数使专用内核线程进入睡眠；如果非空，跳转至步骤c。

所述操作系统进程恢复接口在调用内核级的解压缩接口时，包括以下步骤：

a. 将进程恢复时形成的内存映像进行分块，每个数据块生成一个待处理数据信息头，所述待处理数据信息头中写入当前数据块需进行的处理方式、数据块起始内存地址、数据长度信息；其中该内存映像的数据长度与进程保留的内存映像长度一致；

b. 从检查点文件中将压缩后的内存映像数据及其数据长度信息读出，将内存映像数据及其数据长度信息添加到步骤a生成的待处理数据信息头中；将生成的待处理数据信息头存入所述kfifo中，所述kfifo由空变为非空，通过调用wake_up函数将当前CPU上的处于睡眠状态的专用内核线程唤醒；其中，kfifo是在CPU中提前创建完成；

c.步骤b中的专用内核线程被唤醒之后，读出kfifo中的待处理数据信息头，根据待处理数据信息头可知，当前数据块需进行解压缩操作；根据待处理数据信息头中的数据块起始内存地址及数据长度信息，调用lz4算法的数据解压缩接口对数据块进行解压缩处理；

d. 将步骤c中解压缩处理后的内存映像数据恢复到待恢复进程对应的内存地址中；

e. 判断kfifo是否为空，如果为空，调用wait_event函数使专用内核线程进入睡眠；如果非空，跳转至步骤c。

实施例进一步解释如下：

集成内核级的压缩/解压缩接口供进程保留恢复机制使用。在进行进程保留时，操作系统进程保留接口先调用内核级的压缩接口对进程当前使用的内存映像进行压缩，再将压缩后的内存映像数据写入检查点文件中；在进程恢复时，操作系统进程恢复接口先调用内核级的解压缩接口对检查点文件中读出的内存映像数据进行解压缩，再将解压缩后的内存映像数据恢复到进程的内存空间中。这就解决了当前国产超级计算机中进程保留恢复耗时长，用户体验较差的问题。

本发明使用专用内核线程来完成对数据的压缩/解压缩，压缩/解压缩共用同一个专用内核线程。国产超级计算机中的每个CPU都绑定一个压缩/解压缩专用内核线程，该内核线程在操作系统启动时就通过initcall机制调用初始化函数创建好，此外，该初始化函数还在每个CPU上创建一个等待队列头（wait_head）、一个Linux内核通用队列（kfifo）。

专用内核线程启动后，会调用wait_event函数，该函数在调用时有两个参数，其中一个参数指定了一个等待队列头，另一个参数指定了一个判断条件。wait_event函数会根据判断条件是否为真来决定当前进程的运行状态，如果判断条件为真，进程正常运行，否则将当前进程加入到等待队列中，进程进入睡眠状态，直到被其他进程通过wake_up函数唤醒。在上述实施例中，使用的判断条件为kfifo是否为空，如果kfifo为空，进程进入睡眠状态。

对内存映像数据进行压缩时，需要使用一个缓冲区来保存压缩后的数据，等所有数据压缩完成后才能写入检查点文件。另外，从检查点文件中将压缩后的内存映像数据读出时，也需要先读到一个缓冲区中，以便进行解压缩时使用。然而，异构众核处理器计算核通常占用数十GB的内存空间，如果直接对整个内存空间一次性完全压缩，缓冲区也需要数十GB，如果在操作系统内核空间中申请不到足够缓冲区，进程保留恢复就会失败。为了提高国产众核处理器计算核内存压缩方法的鲁棒性和可用性，减小压缩/解压缩时的内核缓冲区申请压力，在进程保留恢复接口调用内核级的压缩/解压缩接口时，会将内存映像分块，如上述实施例中每个数据块长度为64MB。

为了便于更好的理解本发明，下面将对本文中使用的术语进行简要的解释：（1）节点为超级计算机中的单个处理器。

（2）initcall机制：操作系统启动过程中，会在内核init进程中进行设备和子系统初始化，其中的do_initcalls()函数调用完成了所有需要静态加载模块的初始化，该函数调用对一些特定的initcall宏定义进行了处理。

（3）等待队列：用于使内核线程等待某一事件的发生，而无需频繁轮询。内核线程在等待期间睡眠，在事件发生时由其他线程将其唤醒。

（4）kfifo：先进线程队列称为fifo，在内核（kernel）中实现的通用队列称为kfifo。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种国产众核处理器计算核内存压缩方法，其特征在于：包括以下步骤：

S1、进行进程保留时，操作系统进程保留接口先调用内核级的压缩接口对进程当前使用的内存映像进行压缩，再将压缩后的内存映像数据写入检查点文件中；

S2、在进程恢复时，操作系统进程恢复接口先调用内核级的解压缩接口对检查点文件中读出的内存映像数据进行解压缩，再将解压缩后的内存映像数据恢复到进程的内存空间中。

2.根据权利要求1所述的国产众核处理器计算核内存压缩方法，其特征在于：所述操作系统进程保留接口调用内核级的压缩接口和所述操作系进程恢复接口在调用内核级的解压缩接口前，包括以下步骤：

a.操作系统内核启动时，通过initcall机制调用一个初始化函数，所述初始化函数在国产超级计算机中的每个CPU上创建一个wait_head、一个Linux内核通用队列和一个专用内核线程；

b. 启动步骤a中创建的专用内核线程，通过调用wait_event函数将所述专用内核线程加入步骤a中当前CPU上创建好的等待队列中，并让所述专用内核线程与kfifo相关联；如果所述专用内核线程对应的kfifo为空，则wait_event函数使所述专用内核线程处于睡眠状态。

3.根据权利要求2所述的国产众核处理器计算核内存压缩方法，其特征在于：所述操作系统进程保留接口在调用内核级的压缩接口时，包括以下步骤：

a.将进程保留时形成的内存映像进行分块，每个数据块生成一个待处理数据信息头，所述待处理数据信息头中写入当前数据块需进行的处理方式、数据块起始内存地址、数据长度信息；

b.将步骤a中生成的待处理数据信息头存入所述kfifo中，所述kfifo由空变为非空，通过调用wake_up函数将当前CPU上的处于睡眠状态的专用内核线程唤醒；

c.步骤b中的专用内核线程被唤醒之后，读出所述kfifo中的所述待处理数据信息头，根据待处理数据信息头可知，当前数据块需进行压缩操作；根据待处理数据信息头中的数据块起始内存地址及数据长度信息，调用lz4算法的数据压缩接口对数据块进行压缩处理；

d. 将步骤c中压缩处理后的内存映像数据及数据长度信息写入检查点文件中；

e. 判断kfifo是否为空，如果为空，调用wait_event函数使专用内核线程进入睡眠；如果非空，跳转至步骤c。

4.根据权利要求2所述的国产众核处理器计算核内存压缩方法，其特征在于：所述操作系统进程恢复接口在调用内核级的解压缩接口时，包括以下步骤：

a. 将待进程恢复时形成的内存映像进行分块，每个数据块生成一个待处理数据信息头，所述待处理数据信息头中写入当前数据块需进行的处理方式、数据块起始内存地址、数据长度信息；

b. 从检查点文件中将压缩后的内存映像数据及其数据长度信息读出，将内存映像数据及其数据长度信息添加到步骤a生成的待处理数据信息头中；将生成的待处理数据信息头存入所述kfifo中，所述kfifo由空变为非空，通过调用wake_up函数将当前CPU上的处于睡眠状态的专用内核线程唤醒；

c.步骤b中的专用内核线程被唤醒之后，读出kfifo中的待处理数据信息头，根据待处理数据信息头可知，当前数据块需进行解压缩操作；根据待处理数据信息头中的数据块起始内存地址及数据长度信息，调用lz4算法的数据解压缩接口对数据块进行解压缩处理；

d. 将步骤c中解压缩处理后的内存映像数据恢复到待恢复进程对应的内存地址中；

e. 判断kfifo是否为空，如果为空，调用wait_event函数使专用内核线程进入睡眠；如果非空，跳转至步骤c。

Images