CN102768642A - 一种基于源码分析的linux内核可靠性评测系统及其方法 - Google Patents

Abstract

本发明公开一种基于源码分析的LINUX内核可靠性评测系统，包括主控端和目标端，其中，主控端运行在一个单独的系统中，其包括有控制逻辑的控制模块、故障注入器模块、通讯模块、故障负载生成器模块、以及数据分析模块；而目标端包括有注入执行器模块、工作负载生成器模块、结果回收及性能监控模块。本发明可以有效地避免传统方法所产生的评估误差，通过向目标操作系统内核注入模拟的内存错误，观察目标系统对注入故障的反应并回收实验信息，对回收的实验信息进行统计和分析，提供给使用者有关结果的实验过程，提高了故障注入的注入成功率，故障覆盖率，较为精确地监测了系统的检测覆盖率和恢复覆盖率，提高了系统准确评测的可靠性。

Description

一种基于源码分析的LINUX内核可靠性评测系统及其方法

技术领域

本发明属于LINUX系统可靠性评测技术领域，涉及一种基于源码分析的LINUX内核可靠性评测系统及其方法。

背景技术

在计算机系统中，操作系统是最为重要敏感的组件之一，它通过和硬件进行交互来给应用提供基础的服务，并管理计算机的所有资源。所有应用的执行都依靠于操作系统的正确运行，因此操作系统的准确运行至关重要。在操作系统内部的错误能够轻易的传播，上至应用，下至硬件，从而引起系统失效。任何操作上的干扰最终可能引起生产能力或经济上的损失，因此操作系统的稳定运行非常重要。

目前对系统可靠性评测的方法主要有逻辑证明、实验测试和分析模型等，有从理论分析方面入手，也有运用仿真实验方法。理论分析方法缺点是数学上分析复杂，而仿真实验由于对系统做了简化和假设而不能完全真实地反映系统的情况，从而造成评估结果的不准确，无法及时地发现在系统设计和实现阶段潜在的问题。在真实环境中，等待系统运行足够长的时间来观察获取系统故障信息是比较困难的，需要投入极大的人力和物力。

Linux操作系统使用的是传统的单一内核结构，在系统硬件上层建立了更高一层的抽象层次，在这个抽象层次上使用系统调用这种接口来实现操作系统的功能。对于像系统对进程管理、对内存的管理、对文件系统不同的支持等多种系统功能由运行在系统核心态的模块实现。这些核心的模块组成内核的子系统，这些子系统包含了高度集成的内核源代码，这些代码大部分是由分散的独立的开发者编写的，难以编写正确。在单一内核结构下，所有的模块共享一个内核空间，系统运行效率可以大大提高。但是各个模块间通过函数调用和数据接口直接通信，在进程没有隔离的情况下共享相同的地址空间，某个模块一个很小的bug 可能会引起其他模块的失效，甚至使整个系统崩溃。为了准确地评估Linux内核的可靠性及模块间的故障相关性，需要区分每个故障来自于哪个内核子系统。内核源代码中有数以千计的源文件和数以百计的文件目录，内核各个子系统间的架构清晰，各个源文件和路径名能够很容易的获取，但这些信息在内核编译并运行后，便会丢失。因此如何获取解析这些信息以便更好的进行可靠性评测是极其重要的。

故，针对上述现有技术存在的缺陷，实有必要进行研究，以提供一种基于真实数据的测试分析方法，人为地引入故障到系统中的技术手段，可以较精确地获取系统故障信息，得到真实的故障特性和故障传播特性，从而有效地评测故障对系统可靠性的影响，进而提高系统可靠性。

发明内容

为解决上述问题，本发明的目的在于提供一种基于源码分析的LINUX内核可靠性评测系统及其方法。

为实现上述目的，本发明的技术方案为：

一种基于源码分析的LINUX内核可靠性评测系统，包括主控端和目标端，其中，主控端运行在一个单独的系统中，其包括有控制逻辑的控制模块、故障注入器模块、通讯模块、故障负载生成器模块、以及数据分析模块；而目标端包括有注入执行器模块、工作负载生成器模块、结果回收及性能监控模块；其中，主控端和目标端通过普通的以太网进行连接，主控端通过此连接来跟踪目标端的执行状态，给目标端发送各种指令，而目标端通过此连接把系统状态信息，状态转化信息，故障注入结果信息发送给主控端。

进一步地，所述控制模块用于管理调度各个模块的协同工作，控制故障负载生成模块的执行，构建出故障库，通过通讯模块来和目标端建立通信连接。

进一步地，所述通讯模块用于提供主控端和目标端的通信连接服务，接收来自目标系统的内核信息，并提供给故障负载生成模块生成故障负载。

进一步地，所述故障负载生成模块用于把源码层级的数据结构和特定的内核使用的物理内存地址联系起来，找到该数据结构是在哪个内核子系统的源文件中被定义的，得到每一个变量数据从底层的物理地址到高层的源代码文件归属的内核子系统的一一对应关系。

进一步地，所述数据分析模块用于对实验结果的收集和处理，接受控制模块的调度，接收通过通讯模块发来的目标端反馈的故障注入结果，记录目标系统故障注入后的系统行为，根据相关的度量计算统计结果，写入结果文件中。

进一步地，还包括一用户界面模块，该模块用于提供用户和评测平台的交互。

进一步地，还包括一结果回收模块，以用于故障注入目标系统实验后的结果回收和反馈，将回收到的结果反馈至主控端。

进一步地，所述目标端监控模块用于收集和记录目标系统对各个注入故障的时间和系统反应，并以数据报告的形式发送给主控端的数据分析模块。

本发明另一技术方案为：

提供一种基于源码分析的linux内核可靠性评测方法，包括如下步骤：

用户输入参数信息，进行故障负载生成并构建故障库；

主控端对目标系统进行故障注入，同时监测目标系统反应和收集实验结果；

最后对收集的结果进行统计分析并生成结果报告。

进一步地，所述故障注入包括如下步骤：

在内核加载故障注入模块；

监听主控端，等待主控端发送的消息命令；目标端接收到主控端发送的故障注入指令后，注入执行器创建子进程进行故障注入，并返回故障注入结果；

断是否所有故障都注入完成，若完成则关闭监听端口，回收子进程占用的系统资源。

相较于现有技术，本发明可以有效地避免传统方法所产生的评估误差，通过向目标操作系统内核注入模拟的内存错误，观察目标系统对注入故障的反应并回收实验信息，对回收的实验信息进行统计和分析，提供给使用者有关结果的实验过程，提高了故障注入的注入成功率，故障覆盖率，较为精确地监测了系统的检测覆盖率和恢复覆盖率，提高了系统准确评测的可靠性。

附图说明

图1是本发明的系统总体架构图示；

图2是本发明的故障负载生成层次图示；

图3是本发明的方法流程图示；

图4是本发明的目标系统状态转换图示；

图5是本发明的故障负载生成流程图示；

图6是本发明的故障注入流程图示。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参照图1所示，本发明基于源码分析的LINUX内核可靠性评测系统包括有主控端和目标端。其中，主控端运行在一个单独的系统中，主控端包括有控制逻辑的控制模块、故障注入器模块、通讯模块、故障负载生成器模块、数据分析模块；目标端包括有注入执行器模块、工作负载生成器模块、结果回收及性能监控模块。主控端和目标端通过普通的以太网进行连接，主控端通过此连接来跟踪目标端的执行状态，给目标端发送各种指令，如系统重启，开启工作负载。目标端通过此连接把系统状态信息，状态转化信息，故障注入结果信息发送给主控端。本发明评测系统通过有序的消息驱动模式来协调控制故障注入实验中主控端和目标端的通信、监控、执行等过程。主控端和目标端使用的消息主要有控制命令消息、故障数据消息和结果消息。其中，控制命令消息、故障数据消息从主控端流向目标端，结果消息从目标端流向主控端。

其中，主控端将故障注入工具中的各个模块封装成一个彼此可以交互、可以彼此通信，接收主控端的统一调配并协调一致工作的系统。使用统一的消息机制能够满足实验的要求，完成故障注入的实验流程控制。另外，统一消息控制机制能够让故障注入系统实现动态的运行，以有顺序的消息流动来调度各个模块的工作。

控制模块是评测平台主控端的核心，负责管理调度各个模块的协同工作。该模块控制故障负载生成模块的执行，构建出故障库，通过通讯模块来和目标端建立通信连接，根据用户指定的测试策略来选择不同的故障参数，并生成故障注入控制命令发送至目标端。该模块实现其他各个模块间的彼此通信，减少其他各个模块的直接消息传递，减少其间的模块耦合度，增加了各个模块的独立性，提高整个系统的可扩展性。控制模块调用通讯模块和目标端建立连接，获取目标系统的内核相关信息，调度故障负载生成模块。

通讯模块负责提供主控端和目标端的通信连接服务，接收来自目标系统的内核信息，并提供给故障负载生成模块生成故障负载；发送控制模块的控制命令消息和数据消息，并接受来自目标端反馈的结果消息。平台内部采用统一的通信消息格式，使用可靠的数据传输协议。

作为本发明另一实施例，还提供一用户界面模块，该模块提供用户和评测平台的交互功能，方便用户选择故障注入的策略，用户可以选择故障注入需要的所有参数，如故障注入位置、故障类型、故障间隔时间等参数。选择好故障注入的参数后，形成故障注入列表，按照统一的通信消息格式生成故障注入数据消息，保存在消息列表中。

数据分析模块处于故障注入实验的最后阶段，负责实验结果的收集和处理，接受控制模块的调度，接收通过通讯模块发来的目标端反馈的故障注入结果，记录目标系统故障注入后的系统行为，根据相关的度量计算统计结果，写入结果文件中。数据分析模块主要负责的功能是接收结果回收模块发出的结果报告后，并针对报告中的结果数据进行统计，根据统计结果计算各种评测指标。评测指标包括故障注入系统恢复覆盖率(recover_coverage)、故障注入系统检测覆盖率(detection_coverage)、故障潜伏期(latency)和故障检测延迟时间(fault_delay)。

故障负载生成模块的用户接口提供给用户自行选择的故障参数，为了内核故障注入的实验需求，需要生成注入目标系统的故障负载。对于内核可靠性评测使用的故障，故障负载生成模块主要负责是把源码层级的数据结构和特定的内核使用的物理内存地址联系起来，找到该数据结构是在哪个内核子系统的源文件中被定义的，得到每一个变量数据从底层的物理地址到高层的源代码文件归属的内核子系统的一一对应关系，故障负载生成层次关系如图2所示。

作为本发明另一实施例，还提供一心跳模块，其主要负责对目标系统的状态进行检测，能够摆脱对结果回收模块的完全依赖，对目标系统的状态进行检测和传送，这样在目标系统失效的情况，或者结果回收模块失效的情况下主控端仍然可以获取到目标系统的状态信息，回收故障注入实验结果。

作为本发明另一实施例，还提供一结果回收模块，其负责故障注入目标系统实验后的结果回收和反馈，将回收到的结果反馈至主控端，目标端监控模块收集和记录目标系统对各个注入故障的时间和系统反应，以数据报告的形式发送给主控端的数据分析模块。实现接收来自主控机的故障注入指令，调用故障注入执行模块来对目标系统注入故障，实验后把系统行为反应反馈给主控端。

本发明实施例中主要包括有控制命令消息、故障数据消息、结果消息三类消息。主控端通过控制这三类消息在系统中的有序的流动来触发各个功能模块的工作，并在各个功能模块之间交换信息来进行故障注入过程。在故障注入工具中流动的消息包含有主控系统ip地址，目标系统ip地址，消息类型，消息长度，消息传递的数据等关键信息，主控模块不断地根据用户操作指令及用户接口的输入生成消息存储在全局消息队列中，并调度通讯模块不断地从消息队列中取出消息通过网络进行发送，对方目标端接收到相应的消息后，进行解析消息，获取指令执行相应的任务，如此重复这些步骤最后完成所有故障的注入工作。文中设计的内核故障注入工具消息机制采用异步消息机制，所有传播的消息都按照一个预先定义的接口。

其中，故障注入的结果反映在系统状态上，系统主要有四种状态：第一种是正常模式，系统初始时或重启后运行在正常模式，此时未进行故障注入，在该模式下设置故障类型，参数等信息；第二种是系统准确检测状态，在这种状态下故障已经成功的注入，系统也会检测到注入的故障，但是故障并没有导致某个子系统或者是系统的失效，对于外部内核还能准确地运行并正常地对上层各种应用提供服务；第三种是某个子系统失效，通过分析目标端系统日志，搜索错误消息来确定故障注入的子系统是否失效；第四种是系统崩溃，在该模式下，目标端不能对主控端的指令做出反应，需要人工硬启动目标端操作系统。

参照图2所示，本发明基于源码分析的LINUX内核可靠性评测方法，针对操作系统内核架构和可靠性属性特点，把操作系统运行时的内存地址和系统源码级别定义的内存数据结构进行一一对应，并测试操作系统内核中静态分配的内核数据在内存故障下对系统可靠性的影响，提高了系统评测的全面性和精确性。参照图3所示，首先由用户输入参数信息，确定生成故障的策略进行故障负载生成，并构建故障库；然后主控端对目标系统进行故障注入，同时监测目标系统反应和收集实验结果；最后对收集的结果进行统计分析并生成结果报告。

图5所示为故障负载生成流程图，首先基于ctags解析目标系统源代码生成的标签文件，初步分析各个目标子系统源文件，得到变量名，和定义的文件的对应关系map1。然后把map1中得到的变量名和变量在哪定义的文件的对应信息和从system.map文件进行变量名的一一匹配，得到所有预定类型的变量名，虚拟地址及其被定义的源文件路径信息的对应信息map2，并扫描map2，选择目标注入变量输出到故障负载，判断所有的目标子系统是否分析完，若分析全部完成则输出故障负载，否则继续扫描。

由于Linux系统内核是单一的内核结构，向内核中添加或删除某些功能的话都比较困难，因此内核管理中引入了模块化的机制来解决这个问题。通过使用模块机制，可以在内核中实现动态地添加功能或者删除功能的需求。内核内存故障注入流程如图6所示，系统运行时，首先在内核加载故障注入模块；然后监听主控端，等待主控端发送的消息命令；目标端接收到主控端发送的故障注入指令后，注入执行器创建子进程进行故障注入，并返回故障注入结果；判断是否所有故障都注入完成，若完成则关闭监听端口，回收子进程占用的系统资源。调查目标系统真实的运行环境，得到故障特征，抽取出故障属性，其中故障模型包括故障注入位置，故障类型，触发方式，故障持续时间等，据此来构建故障模型和故障库。在实际的故障注入实验中从故障库中获得要注入的故障集合。使用有效的故障注入技术来将故障引入要测试的目标系统，其中，故障类型参数越是接近真实运行环境中发生的故障，故障注入结果的故障覆盖率就会越高，实验结果也越准确。对于故障注入实验时结果的回收、目标系统的行为观测以及结果度量，不同的评测目标有不同的结果度量。典型的结果度量有故障覆盖率、故障检测率、故障潜伏时间以及系统修复时间等。本发明实施例中，能观测到的一些系统行为有：故障是否被触发、故障是否被检测、故障注入后系统能否正常提供某些服务、系统重启以及系统崩溃等现象；根据回收到的结果，计算预期的目标度量。而实验目标的差异会引起实验度量的不同，如：评测系统的容错性能、实验度量可为故障检测率、故障潜伏时间、以及系统正常/失效比。

图4所示为目标系统状态转换图，开始的时候系统启动，系统运行进入一个干净的初始状态，此时未对目标系统进行故障注入，然后用户选择故障负载，启动工作负载，对目标系统进行故障注入。故障注入后目标系统等待一段指定的时间等待故障显现，如果系统检测到错误，则把结果记录到本地的日志中，在故障注入结束后把结果反馈给主控端，目标系统状态为Running with faults detected，此时系统中子系统若没有失效，系统能正常提供服务并且工作负载正常运行，则进行下一次故障注入。在这段指定的时间里若系统没有检测到错误，则表示此次故障注入系统无反应，进行下一次的故障注入。若故障注入已引起某些子系统失效不能正常提供服务，则目标端监控程序把信息反馈给主控端并进入系统重启，系统状态进入Booting状态。当故障注入后引起系统崩溃后，系统状态直接转换到Recover状态，不能响应监控模块的指令，此时需要人工重新启动系统。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于源码分析的LINUX内核可靠性评测系统，包括主控端和目标端，其特征在于：主控端运行在一个单独的系统中，其包括有控制逻辑的控制模块、故障注入器模块、通讯模块、故障负载生成器模块、以及数据分析模块；而目标端包括有注入执行器模块、工作负载生成器模块、结果回收及性能监控模块；其中，主控端和目标端通过普通的以太网进行连接，主控端通过此连接来跟踪目标端的执行状态，给目标端发送各种指令，而目标端通过此连接把系统状态信息，状态转化信息，故障注入结果信息发送给主控端。

2.如权利要求1所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：所述控制模块用于管理调度各个模块的协同工作，控制故障负载生成模块的执行，构建出故障库，通过通讯模块来和目标端建立通信连接。

3.如权利要求2所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：所述通讯模块用于提供主控端和目标端的通信连接服务，接收来自目标系统的内核信息，并提供给故障负载生成模块生成故障负载。

4.如权利要求3所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：所述故障负载生成模块用于把源码层级的数据结构和特定的内核使用的物理内存地址联系起来，找到该数据结构是在哪个内核子系统的源文件中被定义的，得到每一个变量数据从底层的物理地址到高层的源代码文件归属的内核子系统的一一对应关系。

5.如权利要求4所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：所述数据分析模块用于对实验结果的收集和处理，接受控制模块的调度，接收通过通讯模块发来的目标端反馈的故障注入结果，记录目标系统故障注入后的系统行为，根据相关的度量计算统计结果，写入结果文件中。

6.如权利要求5所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：还包括一用户界面模块，该模块用于提供用户和评测平台的交互。

7.如权利要求6所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：还包括一结果回收模块，以用于故障注入目标系统实验后的结果回收和反馈，将回收到的结果反馈至主控端。

8.如权利要求7所述基于源码分析的LINUX内核可靠性评测系统，其特征在于：所述目标端监控模块用于收集和记录目标系统对各个注入故障的时间和系统反应，并以数据报告的形式发送给主控端的数据分析模块。

9.一种基于源码分析的linux内核可靠性评测方法，其特征在于，包括如下步骤：

用户输入参数信息，进行故障负载生成并构建故障库；

主控端对目标系统进行故障注入，同时监测目标系统反应和收集实验结果；

最后对收集的结果进行统计分析并生成结果报告。

10.如权利要求9所述基于源码分析的linux内核可靠性评测方法，其特征在于，所述故障注入包括如下步骤：

在内核加载故障注入模块；

监听主控端，等待主控端发送的消息命令；目标端接收到主控端发送的故障注入指令后，注入执行器创建子进程进行故障注入，并返回故障注入结果；

断是否所有故障都注入完成，若完成则关闭监听端口，回收子进程占用的系统资源。

Images