CN103198015A - 一种基于使用概率的嵌入式软件可靠性测试数据生成方法 - Google Patents

Abstract

本发明公开了一种基于使用概率的嵌入式软件可靠性测试数据生成方法，其步骤为：(1)获取可靠性测试的外部参数；(2)确定各外部参数属性；将外部参数分为两类：一类是具有发生概率的参数，称为关键参数；另一类则是根据关键参数的取值情况而进行赋值的参数，称为非关键参数；所述两类参数分别通过交互的方式输入参数的相关信息，使得在测试用例中包含这些内容；(3)根据参数的范围和概率生成初始测试数据；(4)对测试数据进行调整和优化；(5)得到测试结果。本发明具有原理简单、操作简便、完整性好、适用范围广等优点。

Description

一种基于使用概率的嵌入式软件可靠性测试数据生成方法

技术领域

本发明主要涉及到嵌入式计算机的软件领域，特指一种根据输入参数取值使用概率自动生成可靠性测试所需测试数据集的方法。

背景技术

针对嵌入式系统的可靠性研究始于1970年代，并在1990年代以后，随着嵌入式软件在各种高科技项目中的使用过程中所暴露出来的一系列可靠性问题而为人们所重视，并投入了大量的人力物力进行研究。直至今天，嵌入式软件可靠性已经在可靠性测试平台构建、可靠性建模、测试用例生成方法、可靠性测试的充分性和有效性等方面都有了一定的发展。

“嵌入式软件的可靠性测试”是指为了验证或达到软件可靠性要求而对软件进行的测试。对于嵌入式软件的可靠性测试，一般有两种方法，第一种方法是利用全数字模拟技术实现一个集成的模拟环境，将嵌入式软件从系统中剥离出来，通过开发CPU指令、常用芯片、FO、终端、时钟等模拟器在Host上实现嵌入式软件的可靠性测试；第二种方法是建立嵌入式软件可靠性仿真测试平台，模拟被测软件的交联系统和物理输入输出，仿真被测系统真实的运行环境，保持被测系统的完整性，并在此环境下对嵌入式软件进行可靠性测试。嵌入式软件可靠性测试的研究涉及测试用例的生成、软件可靠性建模、软件可靠性测试的充分性和有效性等方面。

嵌入式软件可靠性的大部分工作集中在可靠性模型方面，Jelinski、Moranda、Shooman等人对软件可靠性模型进行了研究，基本思想是通过对已知的失效数据建模，预测软件的可靠性。在现有软件可靠性建模的文献中，以论述指数失效时间的模型居多，这类模型假设有限时间内失效次数有限，具有代表性的模型包括：J-M模型、非均匀泊松过程(NHPP)模型、Schneidewind模型、Musa基本执行时间模型等。与此相对的是无限失效模型，此类模型假设软件永远不会出现无错状态，此类模型的代表包括Duane模型、Moranda提出的几何模型、对数泊松(M-O)模型等。Bayes模型不同于上述两类模型，它是在Bayes框内考察软件可靠性的增长，其最典型的代表是Littlewood-verrall模型。除了以上的建模方法之外，利用软件复杂度建模、利用人工神经网络建模、利用模糊理论建模、利用覆盖率建模等方法为扩展软件可靠性建模理论做出了有益探索。

这些可靠性模型一般用于软件可靠性测试之后，对软件的可靠性指标进行评估，这些模型都以可靠性测试的结果为基础。为了实施软件可靠性测试，必须要考虑测试数据的生成方法。软件可靠性测试数据生成方法是一种基于使用的测试数据生成方法，在这方面最著名的是Musa提出的基于运行剖面的测试用例生成方法。运行剖面是测试用例生成的基础，因此运行剖面生成的研究是测试数据生成的前提。近年来，运行剖面的生成方法也得到的很大的发展，这些方法中典型的有：采用专家知识得到运行剖面的方法、采用分解的方式利用CP(Configuration Profile)和UP(Usage Profile)指导操作剖面生成的方法。将UML(标准建模语言)应用于运行剖面生成的方法也在研究中。基于软件运行剖面生成嵌入式软件可靠性测试用例一直是个难点，有人提出用功能序列剖面的方法指导嵌入式软件可靠性测试用例的生成，还有人提及采用“最小可测任务集”的方法来生成嵌入式软件可靠性测试用例。这些方法均把软件看成一系列操作的过程，生成的测试用例是一组软件运行操作序列，但如何得到能够运行这些操作序列的输入数据，依然需要根据具体嵌入式系统应用特点考虑，没有通用的方法。而针对许多嵌入式控制软件，在系统运行的开始给定了相应的参数表后，其运行一般不再被其它操作干涉，例如很多无人飞行器、巡航飞行器等，它们的输入就是一组装订参数的取值和相关传感器输入。为了使可靠性测试结果更加准确，需要以这些参数取值的概率为基础生成测试数据，同时还要满足测试数据的数量和特定取值约束，目前在业界中，还没有相应的实用方法。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作简便、完整性好、适用范围广的基于使用概率的嵌入式软件可靠性测试数据生成方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于使用概率的嵌入式软件可靠性测试数据生成方法，其步骤为：

(1)、获取可靠性测试的外部参数；

(2)、确定各外部参数属性；将外部参数分为两类：一类是具有发生概率的参数，称为关键参数，这里的发生概率是指参数值取某个值或在某个取值范围内随机取值的概率；另一类则是根据关键参数的取值情况而进行赋值的参数，称为非关键参数；所述两类参数分别通过交互的方式输入参数的相关信息，使得在测试用例中包含这些内容；

(3)、根据参数的范围和概率生成初始测试数据；

(4)、对测试数据进行调整和优化；

(5)、得到测试结果。

作为本发明的进一步改进：所述步骤(3)中初始测试数据的生成是根据参数的取值情况生成相应的参数值并加入到测试用例中的过程，参数取值有3种情况：

如果参数是一个确定的值，那么测试用例集中的所有测试用例都包含这个确定的值；

如果参数值是一个取值范围，那么每个测试用例都包含这个取值范围内随机生成的值；

对于关键参数如果具有多个发生概率的情况，这些发生概率之和应该等于1，那么包含落在某个取值范围内随机值的测试用例个数应该是这个范围所具有的发生概率乘以测试用例总数。

参数随机值的产生包括两个方面：一个方面是参数值的随机产生；另一个方面是在测试用例集合中随机获得一个测试用例以包含这个参数值。

作为本发明进一步改进，将参数的取值范围划分为两种类型：

连续型的取值范围：用上界减去下界得到取值范围的区间长度，利用随机数发生器产生一个落在这个区间长度内的值，然后用下界加上这个随机值就获得了落在取值范围内的随机值；

离散型的取值范围：首先对取值范围做一个转变，用0来表示第一个元素，用1来表示第二个元素…，用n-1来表示第n个元素，以此类推，那么取值区间就可以转变为(0，n-1)这样的连续取值范围，n就是取值范围内元素的个数；利用随机数发生器产生一个(0，n-1)内的随机整数就可以随机获得取值范围内的值；在获得随机值后，接下来利用与产生离散随机值相似的方法，生成一个(0，k-1)内的随机整数，其中k是用户指定的测试用例总数，这样就随机获得了包含当前参数随机值的测试用例。

作为本发明进一步改进在创建测试用例时要确定测试用例总数目，测试用例的最优性即确定测试用例的最小数目；首先遍历所有具有多种发生概率的关键参数，并记录下所有的发生概率，在其中找到并记录精度最高的发生概率，接下来通过发生概率最大的精度值就可以确定最小测试用例数的上限t，由于1显然不能满足多种概率发生的情况，就从2到t循环遍历自然数，若存在自然数i∈[2，t]，使得i乘以每个记录下来的发生概率都为正整数，则i就是最小测试用例数。

作为本发明进一步改进，所述步骤(4)中包括以下两个原则：

4.1测试用例数目限制下的调整和优化原则；

4.2边界取值的调整和优化原则；根据用户的预先设定，在取值情况所占的测试用例数目大于2的条件下会首先生成边界值，同时随机获得测试用例并加入其中；对于连续型的取值范围，边界值非常明确；对于离散型的取值范围，应规定第一个分量值和最后一个分量值为边界值。

与现有技术相比，本发明的优点在于：

(1)、有效性；对于嵌入式软件来说，具有多种发生概率的关键参数数目众多，如果要满足所有的发生概率(即所有关键参数的每种取值情况在这个关键参数的所有取值中所占的比例等于这个取值情况的发生概率，且测试用例总数乘以它的发生概率是一个整数)，那么生成的测试用例数目将会非常的庞大，这对于测试人员来说，工作量将是不可接受的。本发明为保证产生的测试用例具有可操作性，通过对优化和调整算法，将生成的测试用例数目限定在一个可接受的范围内，与此同时还能保证各个参数所占比例基本符合其给定的出现概率，尽可能地使所产生的测试用例与实际情况逼近。

(2)、多样性；针对嵌入式计算机软件的外部参数特点，本发明定义了具有发生概率的参数即关键参数和根据关键参数的取值情况而进行赋值的参数即非关键参数，并根据实际应用中的复杂情况，提供了支持参数不服从随机分布时的机制。本发明分别对确定概率类型、范围取值概率类型和多概率类型的参数进行了处理，可以使得所产生的测试用例包含各类可能出现的情况，从而具有较好的多样性特点。

(3)、完整性；根据嵌入式软件的特点，边界条件的测试是非常重要的，本发明设计的测试用例生成方法中参数值并不是完全随机生成，而是针对参数的各类取值情况，设计了相应的测试用例调整方法，保证在测试用例集合中一定包含具有边界取值的测试用例，从而使得所生成的测试用例具有较好的完整性。

附图说明

图1是本发明的流程示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的基于使用概率的嵌入式软件可靠性测试数据生成方法，其步骤为：

(1)、获取可靠性测试的外部参数；

软件在运行过程中读入的外部参数是软件持续运行的一个关键因素，输入各种外部参数也是建立一个完整测试用例的必要条件。

(2)、确定各外部参数属性；

将外部参数分为两类：

一类是具有发生概率的参数，称为关键参数，这里的发生概率是指参数值取某个值或在某个取值范围内随机取值的概率。对于外部关键参数，定义了它的如下相关属性：参数名、参数类型、参数值(可以是一个取值范围)、发生概率、子节点列表、是否是取值范围、是否取值边界条件等。其中，子节点列表属性用于记录关键参数所有可能的取值。

另一类则是根据关键参数的取值情况而进行赋值的参数，称为非关键参数。非关键参数包括以下属性：参数名、参数类型、参数值(可以是一个取值范围)，是否是取值范围等。

针对这两类参数，应分别采用相应的接口，并通过交互的方式输入参数的相关信息，使得在测试用例中包含这些内容。对于关键参数和非关键参数来说，都可以事先确定一个取值范围，接下来在测试用例生成时从这个范围中获得一个随机值，但在实际应用中比较复杂，很多情况下参数的取值并不服从随机分布，这就需要在参数输入时提供设定参数取值限定的接口，以使得生成的测试用例满足取值限定条件。

其中，关键参数属性或属性之间应具有以下几条约束：

1.参数名以及参数值不能包含中文。

2.子节点的发生概率必须在0到1之间，但不包含0和1。

3.所有子节点发生概率之和应该等于1。

4.在参数值是一个取值范围的情况下，取值范围必须按照规定的格式输入，比如，对于连续型的取值范围，应该是(1，10)这样的形式，对于离散型的取值范围，则应该是[1，3，5，7，9]这样的形式。

5.参数值与参数类型应该匹配。

6.参数值应该与是否是取值范围属性匹配。只有在参数值是一个取值范围的情况下才能取值边界条件。

(3)、根据参数的范围和概率生成初始测试数据；

自动生成测试用例是可靠性测试用例设计与实现过程的一个重要环节，也是判断测试用例生成过程是否自动化的一个重要标识。测试用例自动生成根据概率统计等基本数学原理，在用户提供操作剖面和外部参数输入的基础上，利用后台算法随机产生若干参数变量值，并通过一定的规则和步骤将它们组织起来，从而完成测试用例的构建。此外，在测试用例生成过程中还将各种数据加以统计和整理，从而为测试用例的调整和优化提供依据。

在完成操作剖面的图形化表示以及建立了软件外部参数集合后，就能够自动的产生测试用例。生成的测试用例一方面要使得其中相关操作的发生的比例符合操作剖面中概率的要求，同时也需要参数值在某个取值范围内的比例符合预先输入的发生概率的要求；在另一方面又要使测试用例数目能够在可靠性测试所需的相关资源和时限的范围内。因此，最终生成的测试用例集合中各操作所占的比例有可能需要微小调整，以适应实际情况。

测试用例的生成是根据参数的取值情况生成相应的参数值并加入到测试用例中的过程，参数取值有3种情况：

如果参数是一个确定的值，那么测试用例集中的所有测试用例都包含这个确定的值。这种情况对关键参数和非关键参数都会出现。

如果参数值是一个取值范围，那么每个测试用例都包含这个取值范围内随机生成的值。这种情况对关键参数和非关键参数都会出现。

对于关键参数如果具有多个发生概率的情况(显然，这些发生概率之和应该等于1)，那么包含落在某个取值范围内随机值的测试用例个数应该是这个范围所具有的发生概率乘以测试用例总数。例如，变量x值落在区间(100，200)内的概率为0.2，测试用例总数是30个，那么，应该有0.2×30＝6个测试用例所具有的x值应该落在区间(100，200)内。

参数随机值的产生包括两个方面：一个方面是参数值的随机产生；另一个方面是在测试用例集合中随机获得一个测试用例以包含这个参数值。对于具有发生概率的参数，如何在取值范围内合理的产生参数值是使得测试用例符合真实情况的一个基本要求。根据嵌入式软件的特点，参数的取值范围可以划分为两种类型，即连续型取值范围和离散型取值范围。那么必须针对不同类型的取值范围分别产生随机。

对于连续型的取值范围，采用如下方法获得随机值：用上界减去下界得到取值范围的区间长度，利用随机数发生器产生一个落在这个区间长度内的值，然后用下界加上这个随机值就获得了落在取值范围内的随机值。

对于离散型的取值范围，首先对取值范围做一个转变，用0来表示第一个元素，用1来表示第二个元素…，用n-1来表示第n个元素。以此类推，那么取值区间就可以转变为(0，n-1)这样的连续取值范围，n就是取值范围内元素的个数。这样，利用随机数发生器产生一个(0，n-1)内的随机整数就可以随机获得取值范围内的值。

在获得随机值后，接下来利用与产生离散随机值相似的方法，生成一个(0，k-1)内的随机整数。k是用户指定的测试用例总数，这样就随机获得了包含当前参数随机值的测试用例。要特别强调的一点是，随机获得测试用例可能是一个重复和迭代的过程，这是因为要多次产生同一参数变量的随机值，所以当前获得的测试用例可能已经包含了同一参数的随机值，在这种情况下需要重新随机获得测试用例。由于测试用例数目和同一参数产生的随机值数目是相等的，所以最终一定可以找到没有包含同一参数变量随机值的测试用例。

在某些情况下，非关键参数并不是一开始就能确定的取值，还需要根据关键参数的取值情况相应的赋值，在此种情况下需要将测试用例的中间结果(即测试用例中已生成关键参数的值)提交给测试人员，这时测试用例中列出了未相应赋值的非关键参数，测试人员在对非关键参数的赋值后就完成了整个测试用例的创建。

在创建测试用例的时候还要确定测试用例总数目，既要保证用例的完整性也要保证其最优性。上面已经叙述关键参数和非关键参数的测试用例的生成方法，确保了测试用例的完整性。而测试用例的最优性即确定测试用例的最小数目。

首先遍历所有具有多种发生概率的关键参数，并记录下所有的发生概率，在其中找到并记录精度最高的发生概率，接下来通过发生概率最大的精度值就可以确定最小测试用例数的上限t，由于1显然不能满足多种概率发生的情况，就从2到t循环遍历自然数，若存在自然数i∈[2，t]，使得i乘以每个记录下来的发生概率都为正整数，则i就是最小测试用例数。

(4)、对测试数据进行调整和优化；

对测试用例进行调整和优化是使测试用例具有可用性的主要实现手段和方法。在诸如边界条件取值、测试用例数目限定的条件下，通过调整和优化算法，最终找到一个尽可能满足各种发生概率的最优测试用例布局方案，从而满足可靠性测试的要求。

针对嵌入式软件的可靠性测试通常有两种限定：

1.测试用例数目的限定；

对于嵌入式软件来说，具有多种发生概率的关键参数数目众多，如果要满足所有的发生概率(即所有关键参数的每种取值情况在这个关键参数的所有取值中所占的比例等于这个取值情况的发生概率，且测试用例总数乘以它的发生概率是一个整数)，那么生成的测试用例数目将会非常的庞大，这对于测试人员来说，工作量将是不可接受的。因此，限定条件下测试用例的调整和优化的一个主要目标是如何在测试人员给定测试用例生成数目的情况下，结合工具自动调整优化以及测试人员的手动调整优化，使得测试用例集合中所有关键参数的每种取值情况所占的比例尽可能近似它的发生概率。

2.边界条件的限定；

根据嵌入式软件的特点，边界条件的测试是非常重要的，这意味着在某些情况下，参数值并不能完全随机生成，在测试用例集合中必须包含具有边界取值的测试用例，所以，在工具中要提供给用户设定是否边界取值的接口，那么相应的在测试用例生成算法中根据用户的设定会选择强制生成参数的边界取值。

基于上述描述，对嵌入式软件可靠性测试用例来说，条件限定下的测试用例的调整和优化可归纳为以下两个原则：

第一、测试用例数目限制下的调整和优化原则；

测试用例的调整、优化主要针对的是关键参数具有多个发生概率的情况。一个完整的测试用例集要使得参数的各种取值情况都能在集合中出现，并占合适的比例(这个比例一般是此种取值情况的发生概率)，同时各种取值情况所占测试用例数之和应该等于集合中的测试用例总数。但在实际情况中这两个条件往往不能同时满足，因此需要对生成的测试用例集进行调整和优化。例如：某种取值情况的发生概率非常小，使得这种取值情况所占的测试用例数小于1，那么这种取值情况应该强制性的出现在至少一个测试用例中；对于发生概率乘以测试用例总数不等于整数的情况，采用四舍五入的办法来确定当前取值所占的测试用例数；满足这些要求的同时就意味着必须调整其余的取值情况所占的测试用例数。

第二、边界取值的调整和优化原则；

在参数是一个取值范围的情况下，边界值的测试往往是检验软件可靠性的一个重要方面。由于取值的随机性，在测试用例集的生成过程中，边界取值往往不能保证，所以必须强制生成。应根据用户的预先设定，在此种取值情况所占的测试用例数目大于2的条件下会首先生成边界值，同时随机获得测试用例并加入其中。对于连续型的取值范围，边界值非常明确；对于离散型的取值范围，应规定第一个分量值和最后一个分量值为边界值。

(5)、得到测试结果。

综上所述，本发明主要是针对以装订参数和传感器数据为主要输入的嵌入式软件，其可靠性测试需要根据参数值的使用概率生成测试数据的问题。本发明针对具有大量输入参数且取值范围较大时，为了高效完成可靠性测试，需要选择部分测试数据的问题，提出了针对特定测试数据数量要求和特定约束的测试数据生成方法以及相应的调整、优化方案。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于使用概率的嵌入式软件可靠性测试数据生成方法，其特征在于，步骤为：

(1)、获取可靠性测试的外部参数；

(2)、确定各外部参数属性；将外部参数分为两类：一类是具有发生概率的参数，称为关键参数，这里的发生概率是指参数值取某个值或在某个取值范围内随机取值的概率；另一类则是根据关键参数的取值情况而进行赋值的参数，称为非关键参数；所述两类参数分别通过交互的方式输入参数的相关信息，使得在测试用例中包含这些内容；

(3)、根据参数的范围和概率生成初始测试数据；

(4)、对测试数据进行调整和优化；

(5)、得到测试结果。

2.根据权利要求1所述的基于使用概率的嵌入式软件可靠性测试数据生成方法，其特征在于，所述步骤(3)中初始测试数据的生成是根据参数的取值情况生成相应的参数值并加入到测试用例中的过程，参数取值有3种情况：

如果参数是一个确定的值，那么测试用例集中的所有测试用例都包含这个确定的值；

如果参数值是一个取值范围，那么每个测试用例都包含这个取值范围内随机生成的值；

对于关键参数如果具有多个发生概率的情况，这些发生概率之和应该等于1，那么包含落在某个取值范围内随机值的测试用例个数应该是这个范围所具有的发生概率乘以测试用例总数。

3.根据权利要求2所述的基于使用概率的嵌入式软件可靠性测试数据生成方法，其特征在于，参数随机值的产生包括两个方面：一个方面是参数值的随机产生；另一个方面是在测试用例集合中随机获得一个测试用例以包含这个参数值。

4.根据权利要求3所述的基于使用概率的嵌入式软件可靠性测试数据生成方法，其特征在于，将参数的取值范围划分为两种类型：

连续型的取值范围：用上界减去下界得到取值范围的区间长度，利用随机数发生器产生一个落在这个区间长度内的值，然后用下界加上这个随机值就获得了落在取值范围内的随机值；

离散型的取值范围：首先对取值范围做一个转变，用0来表示第一个元素，用1来表示第二个元素…，用n-1来表示第n个元素，以此类推，那么取值区间就可以转变为(0，n-1)这样的连续取值范围，n就是取值范围内元素的个数；利用随机数发生器产生一个(0，n-1)内的随机整数就可以随机获得取值范围内的值；在获得随机值后，接下来利用与产生离散随机值相似的方法，生成一个(0，k-1)内的随机整数，其中k是用户指定的测试用例总数，这样就随机获得了包含当前参数随机值的测试用例。

5.根据权利要求4所述的基于使用概率的嵌入式软件可靠性测试数据生成方法，其特征在于，在创建测试用例时要确定测试用例总数目，测试用例的最优性即确定测试用例的最小数目；首先遍历所有具有多种发生概率的关键参数，并记录下所有的发生概率，在其中找到并记录精度最高的发生概率，接下来通过发生概率最大的精度值就可以确定最小测试用例数的上限t，由于1显然不能满足多种概率发生的情况，就从2到t循环遍历自然数，若存在自然数i∈[2，t]，使得i乘以每个记录下来的发生概率都为正整数，则i就是最小测试用例数。

6.根据权利要求4或5所述的基于使用概率的嵌入式软件可靠性测试数据生成方法，其特征在于，所述步骤(4)中包括以下两个原则：

4.1测试用例数目限制下的调整和优化原则；

4.2边界取值的调整和优化原则；根据用户的预先设定，在取值情况所占的测试用例数目大于2的条件下会首先生成边界值，同时随机获得测试用例并加入其中；对于连续型的取值范围，边界值非常明确；对于离散型的取值范围，应规定第一个分量值和最后一个分量值为边界值。

Images