CN102681940A - 一种针对Linux操作系统内存管理子系统进行性能测试的方法 - Google Patents

Abstract

本发明提供了一种针对Linux操作系统内存管理子系统进行性能测试的方法，包括以下步骤：步骤一、设置微观基准测试项；步骤二、针对该微观基准测试项，设计相应的测试场景、性能测试指标和测试结果；步骤三、编写性能测试模块，用于动态获取并计算该微观基准测试项中定义的各项性能测试指标；步骤四、编写测试脚本模块，用于为Linux操作系统内存提供一定的工作负载并加载内核模块，实现该基准测试项中定义的测试场景；步骤五、运行测试脚本模块和性能测试模块，得到测试结果。利用本方法能有效解决当前针对Linux内存管理子系统基准测试工具中存在的测试场景单一、测试指标缺乏针对性及测试结果信息量少的问题。

Description

一种针对Linux操作系统内存管理子系统进行性能测试的方法

技术领域

本发明涉及计算机应用技术领域，尤其涉及Linux操作系统开发及内核性能测试等方面的内容。

背景技术

性能测试是软件研发过程中必不可少的重要环节，它能够帮助软件厂商识别在软件研发过程中潜在的性能退化问题和产品可能存在的性能缺陷。Linux操作系统作为一个庞大复杂的软件系统，不断对其进行性能测试是Linux操作系统厂商在产品发布前必须进行的关键步骤。目前，业界对Linux操作系统开展性能测试是针对Linux内核的五大子系统（进程调度子系统、内存管理子系统、虚拟文件子系统、进程通信子系统和网络接口子系统）分别展开的。内存管理子系统是Linux操作系统的基石，其性能在一定程度上决定了整个Linux操作系统的性能表现。

目前，Linux操作系统采用的内存管理模型都是基于调页和进程交换的分页式虚拟内存管理方案。开源社区中可用来对Linux内存管理子系统的性能进行评测的测试工具主要有Lmbench、Stream、Aim9、Bandwidth和Ramspeed等，每个工具都有针对性的评价了内存的一方面或者多方面的性能。

但现有的这些工具却存在以下不足：

一、测试场景单一，这些工具都是集多项测试功能于一身，如涵盖了文件系统、网络、I/O等多个子系统的性能测试，很难准确地测试内存管理子系统的性能；

二、测试指标缺乏针对性，这些工具大多侧重于衡量以下测试指标：如读写内存的速度、带宽，未能反映出虚拟内存及按需调页机制的性能；

三、测试结果信息量少，很难对Linux内核调优提供帮助。

综上所述，当前需要一种针对Linux内存管理子系统的性能测试方法来解决上述问题。

发明内容

本发明提供了一种针对Linux操作系统内存管理子系统进行性能测试的方法，有效解决了当前针对Linux内存管理子系统基准测试工具中存在的测试场景单一、测试指标缺乏针对性及测试结果信息量少的问题。

为解决上述技术问题，本发明采用的技术方案是：

一种针对Linux操作系统内存管理子系统进行性能测试的方法，包括以下步骤：

步骤一、设置微观基准测试项；

步骤二、针对该微观基准测试项，设计相应的测试场景、性能测试指标和测试结果；

步骤三、编写性能测试模块，用于动态获取并计算该微观基准测试项中定义的各项性能测试指标；

步骤四、编写测试脚本模块，用于为Linux操作系统内存提供一定的工作负载并加载内核模块，实现该基准测试项中定义的测试场景；

步骤五、运行测试脚本模块和性能测试模块，得到测试结果。

与现有技术相比，本发明的优点是：

一、本发明分别针对内存管理子系统所特有的页面分配例程、缺页处理例程及页面置换算法机制，分别设计4类测试场景，总共12个测试场景，有效地提高了测试场景的丰富性。

二、本发明分别针对页面分配例程、缺页处理例程及页面置换算法，根据机制的特征设计对应的测试指标，而不是盲目的将测试指标统一指定为带宽和延时，有效地改善了测试指标缺乏针对性的问题。

三、本发明分别针对页面分配例程、缺页处理例程及页面置换算法，设计测试结果，测试结果包含多个部分，以帮助测试人员更好地对内存管理子系统的性能进行分析，有效地提高了测试结果的丰富性。

附图说明

图1为本发明的针对Linux内存管理的性能测试方法中基准测试的实施流程图。

图2为缺页处理例程性能测试模块测试指标计算方法图。

图3为页面置换算法性能测试模块测试场景实施流程图。

具体实施方式

为使本发明的特征得到更加清楚的了解，以下结合附图，做详细说明如下：

本发明参考性能测试方法学中的基准测试方法，提出一种针对Linux内存管理子系统的性能测试方法，该方法能够帮助Linux研发和测试人员直观评价Linux内存管理子系统的性能。

参考图1，本发明包含以下几个步骤：

1）设置微观基准测试项：通过调研Linux内存管理模型发展现状并结合Linux操作系统厂商内核性能测试需求，从Linux内存管理特有的机制出发定义了不同的微观基准测试项；

2）针对该微观基准测试项，设计不同的测试场景、性能测试指标和测试结果；

3）编写性能测试模块，用于动态获取并计算该微观基准测试项中定义的各项性能测试指标：具体的，可以用C语言编写能动态获取并计算相关性能测试指标的程序，并将该程序编译成性能测试模块；

4）编写测试脚本模块，用于为Linux操作系统内存提供一定的工作负载并加载内核模块，实现该微观基准测试项中定义的测试场景：具体的，可以用perl语言和shell脚本编写测试脚本模块去实现测试场景；

5）运行测试脚本模块和性能测试模块，得到测试结果：即在测试脚本模块执行过程中加载性能测试模块来动态获取和计算性能测试指标，并输出各项性能测试指标，可以同时输出大量图表信息，以帮助测试人员和研发人员对内存管理的性能进行分析。

本发明方法设置的微观基准测试项包括三个方面，分别是页面分配例程、缺页处理例程及页面置换算法。

一、页面分配例程：

物理内存几乎是操作系统及应用程序都需要的资源，同时，物理页面的分配操作是内存管理子系统频繁执行的操作之一，因此，对物理页面分配和释放例程的性能测试是必要的。该部分主要分为如下6个步骤：

步骤1：设计测试场景

Linux物理内存中，每个Node节点划分为ZONE_DMA、ZONE_NORMAL、ZONE_HIGHMEM三个区，每个系统内存ZONE管理区都有三个阈值，分别为pages_low，pages_min，pages_high。kswapd守护线程根据这三个阈值回收页面或者进入睡眠状态，结合系统内存ZONE管理区的三个阈值，设计四个测试场景，测试页面分配例程在不同的内存分配压力下的性能：

步骤2：设计测试指标

本发明通过记录页面分配例程完成分配操作所花费的时间，作为页面分配例程的性能测试指标，由于是性能测试，因此需要将时间测量的误差降到最低。

步骤3：设计测试结果

页面分配例程性能测试结果由三部分内容组成：1）输出测试开始之前系统内存ZONE管理区的相关信息，包括空闲内存、系统内存ZONE管理区大小、各种阈值等取值，以帮助测试人员了解测试系统内存状况；2）输出测试参数与测试指标信息，以帮助测试人员了解具体测试场景；3）vmstat性能监控工具输出的包括cpu和内存部分的详细信息，信息都是从/proc文件系统读取，以帮助测试人员了解当前测试的系统的性能状况。

步骤4：定义测试配置参数

定义可扩展配置测试参数是指根据测试场景的负载特点定义供用户自定义测试负载的配置参数。如分配页面的数目、测试执行的轮数、空闲页面标志位等。

步骤5：启动测试执行操作

该过程主要是进行测试的实时监控与记录。该过程主要操作有：启动性能监控工具vmstat，并按照接收的页面分配数目、测试执行轮数以及空闲页面标志位初始化测试数据集，启动测试进程，模拟用户请求页面分配操作。

步骤6：计算测试指标

现有的一些性能测试工具计算时间消耗采用的算法均为平均值法，如下代码片段所示：

其中，gettime()代指系统提供的读取时间函数。该方法的优点是，我们不需要gettime过于精确，便可以获得合理的精确结果，但是却不适用于多任务操作系统，因为循环可能被中断，因此，本发明采用以下算法计算分配操作花费的时间，以解决上述存在的问题：

同时，从平台的通用性和实现的容易性考虑，本发明采用Linux API函数gettimeofday()来获取系统时间。该函数的时间精度可以达到我们次毫秒级时间的需求，其开销比一个普通的系统调用要小一点，也就是gettime_overhead开销时间可以忽略。

二、缺页处理例程：

Linux操作系统采用的是请求调页技术，它把页面的分配一直推迟到进程要访问的页面不在物理内存为止，并由此引起一个缺页错误，在发生缺页（即进程访问了内存中不存在的页）时需要通过缺页异常的处理流程，实现页交换、按需分页、写时复制等虚拟内存机制。因此，缺页处理例程的性能在一定程度上也反映了内存管理子系统的性能。该部分主要分为如下6个步骤：

步骤1：设计测试场景：

测试程序通过内存映射机制申请一段合适的虚拟内存空间存入Linux可执行映像的内容，进程的task_struct->mm->vma就代表着该段虚拟内存空间，而映射的真正实现则是在用户程序访问到对应的内存地址之后，由缺页异常引起的页面被分配和页表被更新；根据该原理，设计以下四个测试场景，对缺页异常例程进行性能测试，其中测试程序通过mmap系统调用申请一段lenth=nopages*PAGE_SIZE大小的虚拟内存空间，每个测试场景对nopages设置不同的取值：

其中，zone_free_pages(zone)表示系统内存ZONE管理区的可用页面数，pages_low，pages_min,pages_high为系统内存ZONE管理区的阈值，task_struct是描述进程的数据结构，mm->vma为该数据结构的成员变量。

步骤2：设计测试指标

由于访问磁盘是非常耗时的操作，如果系统经常进行大量的页面换入换出操作，对系统的性能也会造成一定的损失。因此，本发明通过记录测试过程中从外存换入内存的页面数目，作为缺页处理例程的性能测试指标。

步骤3：设计测试结果

缺页处理例程性能测试结果由四部分内容组成：1）输出测试开始之前系统系统内存ZONE管理区的相关信息，包括空闲内存、系统内存ZONE管理区大小、各种阈值等取值，以帮助测试人员了解测试系统内存状况；2）输出测试参数与测试指标信息，以帮助测试人员了解具体测试场景；3）输出部分图表信息，如页面状态（是否在内存）图、系统内空闲内存变化图、块缓存变化图、页缓存变化图等，以帮助内核测试人员和开发人员对缺页处理例程的性能进行分析；4）vmstat性能监控工具的输出，包括/proc目录下关于cpuinfo的信息和meminfo的信息，以帮助测试人员了解当前测试的系统的性能状况。

步骤4：定义测试配置参数

定义可扩展配置测试参数是指根据测试场景的负载特点定义供用户自定义测试负载的配置参数。如测试映射的内存区域的大小、测试程序重复运行的次数、测试结果存放路径等。

步骤5：启动测试执行操作

该过程主要是进行测试的实时监控与记录。该过程主要操作有：启动性能监控工具vmstat，并按照接收的映射的内存区域的大小、测试执行轮数初始化测试数据集，启动测试进程，模拟用户申请虚拟内存区域。

步骤6：计算测试指标

参考图2，本发明首先依次计算线性地址addr在页全局目录，页上级目录，及页中级目录中对应的指针，并由此计算该线性地址所在的页表地址。并根据系统提供的宏判断线性地址所在的页表是否已经被分配，以及页面是否已经被换入内存，如果否，则调用copy_to_user函数（copy_to_user函数是Linux提供的内核函数，完成用户空间到内核空间的复制）对该线性地址进行访问，将页面从外存换入内存，引起页面的分配和页表的更新，并更新相应的计数器，该计数器的取值则表示测试过程中从外存换入内存的页面数目，具体计算算法如以下代码片段所示。

三、页面置换算法：

页面置换算法一直是操作系统关注的热点，无论是在学术研究领域还是Linux开放社区，对于任何按需分页的系统，都存在选择页面回收或者交换的需求，由于相对较慢的磁盘访问速度，页面交换是一个开销较大的操作。因此，一个系统，如果经常置换错误的页面将会导致性能的急速下降，因此选择正确的页面进行淘汰是很重要的。页面置换算法的性能也是内存管理子系统性能的一个重要方面。该部分主要分为如下6个步骤：

步骤1：设计测试场景

在页面被操作系统回收之前，所有与之关联的进程页表必须要断开与该页面之间的映射关系。对于匿名页面来说，在页面被回收之前，匿名页面中的内容首先需要先被交换到交换区中去，如果要回收的页面是“脏”页面，那么该页面被回收之前需要先将页面中的数据写回。而文件映射页面回收之前必须将数据写回，同时，读操定一般要比写操作要快，就用户使用上讲，读操作发生的频率肯定也比写操作多。因此对于read函数和write函数这么重要且使用频率高的两个操作，还是应该将其分开测试，得出的响应时间才更能体现性能的不同。基于以上原理，设置以下四个测试场景对页面置换算法进行基准测试：

步骤2：设计测试指标

本发明通过记录测试程序访问每个页面的最长、最短及平均延时，作为页面置换算法的性能测试指标。最长延时反映了页面置换算法最差状态下的性能，最短延时则反映了页面置换算法较好状态下的性能，而平均延时反映了页面置换算法总体性能，这三个性能指标值对于帮助用户对比分析页面置换算法的性能都是不可缺少的。

步骤3：设计测试结果

页面置换算法性能测试结果由四部分内容组成：1）输出测试的部分参数信息，以帮助测试人员了解具体测试场景；2）输出测试指标值信息，以帮助测试人员直观了解测试结果；3）输出部分图表信息，以帮助内核测试人员和开发人员对页面置换算法的性能进行分析，如缺页处理延时图、页面访问延时图；4）提供测试数据集信息，如页面访问序列数据、页面访问延时数据、页面访问次数数据等，以帮助测试人员对测试结果进一步分析。

步骤4：定义测试配置参数

定义可扩展配置测试参数是指根据测试场景的特点定义供用户自定义测试负载的配置参数。如测试映射的内存区域的大小、页面引用数目，页面引用模式、文件路径、读操作或者写操作等。

步骤5：启动测试执行操作

该过程主要是进行测试的实时监控与记录。如图3所示，该过程主要操作有：调用mmap（是Linux系统提供的一个系统调用，用于将一个打开的文件映射到进程的用户空间）映射一段虚拟内存区域，准备页面访问数据，以及调用copy_to_user函数模拟对页面的读操作，copy_from_user函数（copy_from_user函数是Linux提供的内核函数，完成内核空间到用户空间的复制）模拟对页面的写操作，并启动性能监控工具，收集测试信息。

步骤6：计算测试指标

本发明通过记录测试程序访问每个页面的最长、最短及平均延时，作为页面置换算法的性能测试指标。具体的时间计算方法参考第一部分中的测试指标计算算法，均调用Linux API函数gettimeofday()来获取系统时间，将时间测量的误差降到最低。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对Linux操作系统内存管理子系统进行性能测试的方法，其特征在于，包括以下步骤：

步骤一、设置微观基准测试项；

步骤二、针对该微观基准测试项，设计相应的测试场景、性能测试指标和测试结果；

步骤三、编写性能测试模块，用于动态获取并计算该微观基准测试项中定义的各项性能测试指标；

步骤四、编写测试脚本模块，用于为Linux操作系统内存提供一定的工作负载并加载内核模块，实现该基准测试项中定义的测试场景；

步骤五、运行测试脚本模块和性能测试模块，得到测试结果。

2.如权利要求1所述的方法，其特征在于，

所述微观基准测试项为页面分配例程；

所述测试场景包括四个：测试场景一，指定分配页面数目控制系统的空闲页面数目大于pages_high阈值；测试场景二，指定分配页面数目控制系统内的空闲页面数目介于pages_low和pages_min阈值之间；测试场景三，指定分配页面数目控制空闲页面数目介于0和pages_min阈值之间；测试场景四，指定分配页面数目控制空闲页面数目接近于0；其中，pages_high、pages_low、pages_min为系统内存ZONE管理区的三个阈值；

所述测试指标为页面分配例程完成分配操作所花费的时间；

所述测试结果包括：测试开始之前，系统内存ZONE管理区的空闲内存、系统内存ZONE管理区大小和各种阈值信息，以了解当前测试的Linux操作系统内存状况；测试配置参数信息与所述测试指标信息，以了解具体测试场景，所述测试配置参数信息包括：分配页面的数目、测试执行的轮数、空闲页面标志位；从Linux操作系统的/proc文件系统读取到的cpu和内存信息，以了解当前测试的Linux操作系统的性能状况；

所述步骤五具体为：启动性能监控工具，并按照接收的页面分配数目、测试执行轮数以及空闲页面标志位初始化测试数据集，启动测试脚本模块以模拟用户请求页面分配操作，在测试脚本模块执行过程中加载性能测试模块，最后得到测试结果。

3.如权利要求1所述的方法，其特征在于，

所述微观基准测试项为缺页处理例程；

所述测试场景包括四个：测试场景一，设置nopages=zone_free_pages(zone)-pages_high；测试场景二，设置nopages= zone_free_pages(zone)-[pages_min +(pages_low -pages_min)/2]；测试场景三，设置nopages= zone_free_pages(zone)-pages_min/2；测试场景四，设置nopages= zone_free_pages(zone)；其中，zone_free_pages(zone)表示系统内存ZONE管理区的可用页面数，pages_low、pages_min、pages_high为系统内存ZONE管理区的阈值，nopages为测试场景设置的参数；

所述测试指标为从外存换入内存的页面数目；

所述测试结果包括：系统内存ZONE管理区的空闲内存、系统内存ZONE管理区大小、各种阈值信息，以了解当前测试的Linux操作系统内存状况；测试配置参数信息与测试指标信息，以了解具体测试场景；从Linux操作系统的/proc目录下读取到的cpu和内存信息，以了解当前测试的Linux操作系统的性能状况；

所述步骤五具体为：启动性能监控工具，并按照接收的映射的内存区域的大小、测试执行轮数初始化测试数据集，启动测试脚本模块以模拟用户申请虚拟内存区域，在测试脚本模块执行过程中加载性能测试模块，最后得到测试结果；

其中，所述测试配置参数信息包括：测试映射的内存区域的大小、测试程序重复运行的次数、测试结果存放路径。

4.如权利要求3所述的方法，其特征在于，所述测试结果还包括图表信息：页面状态图、系统内空闲内存变化图、块缓存变化图、页缓存变化图，以对缺页处理例程的性能进行分析。

5.如权利要求3或4所述的方法，其特征在于，所述计算性能测试指标的步骤是：依次计算线性地址在页全局目录，页上级目录，及页中级目录中对应的指针，并由此计算该线性地址所在的页表地址；并根据系统提供的宏判断线性地址所在的页表是否已经被分配，以及页面是否已经被换入内存，如果否，则调用copy_to_user函数对该线性地址进行访问，将页面从外存换入内存，引起页面的分配和页表的更新，并更新相应的计数器，该计数器的取值则表示测试过程中从外存换入内存的页面数目；其中，copy_to_user函数是Linux提供的内核函数，完成用户空间到内核空间的复制。

6.如权利要求1所述的方法，其特征在于，

所述微观基准测试项为页面置换算法；

所述测试场景包括四个：测试场景一，申请一段匿名映射区域，并对该区域内的所有页面按照页面访问序列进行读操作；测试场景二，申请一段匿名映射区域，并对该区域内的所有页面按照页面访问序列进行写操作；测试场景三，申请一段文件映射区域，并对该区域内的所有页面按照页面访问序列进行读操作；测试场景四，申请一段文件映射区域，并对该区域内的所有页面按照页面访问序列进行写操作；

所述测试指标为：访问每个页面的最长、最短及平均延时；

所述测试结果包括：测试配置参数信息与测试指标信息，以了解具体测试场景；测试数据集信息包括页面访问序列数据、页面访问延时数据、页面访问次数数据；

所述步骤五具体为：调用mmap系统调用映射一段虚拟内存区域，准备页面访问数据，以及调用copy_to_user函数模拟对页面的读操作，调用copy_from_user函数模拟对页面的写操作，并启动性能监控工具收集测试信息，启动测试脚本模块，在测试脚本模块执行过程中加载性能测试模块，最后得到测试结果；其中，copy_from_user函数是Linux提供的内核函数，完成内核空间到用户空间的复制；mmap是Linux系统提供的一个系统调用，用于将一个打开的文件映射到进程的用户空间；

其中，所述测试配置参数信息包括：测试映射的内存区域的大小、页面引用数目、页面引用模式、文件路径、读操作或者写操作。

7.如权利要求6所述的方法，其特征在于，所述测试结果还包括图表信息：缺页处理延时图、页面访问延时图。

Images