CN104978275B - 一种面向do‑178c软件测试过程的目标验证及证据模型提取方法 - Google Patents

Abstract

本发明涉及一种面向DO‑178C软件测试过程的目标验证及证据模型提取方法，建立软件测试过程相关目标的论证结构，分析出对应的证据需求，并依据证据需求建立证据模型，依据证据模型，在项目数据对应证据模型时，实现目标论证的自动化，为实现DO‑178C软件测试过程的目标提出了一套自动推理的解决方案。使得软件测试过程更加符合适航审定的规范，为确定通过适航认证的软件测试过程的目标提供了有效的帮助；更加有效率的完成收集证据这一步骤，降低成本；实现目标满足性的自动推理，节省了成本，尤其是存在大量数据需要论证时，效率有显著的提升。

Description

一种面向DO-178C软件测试过程的目标验证及证据模型提取 方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种面向DO-178C软件测试过程的目标验证及证据模型提取方法。

背景技术

目前，机载适航软件存在很多标准，但是应用最广泛的就是美国航空无线电技术委员会提出的航空工业软件标准DO-178B。在2011年，在此基础上，又重新提出了DO-178C。

DO-178C针对适航软件开发过程，为满足安全性作出规定，针对不同的开发阶段制定了不同的目标，提供了实现相应目标可以执行的活动，以及产生的相应输出。

DO-178C将适航软件分为四个等级，分别是A,B,C,D级，其中A级软件对安全性的要求最为严格，需要满足的目标最多，D级软件需要满足的要求相对其他级别来说较少。

在DO-178C中，对软件测试流程的描述如说明书附图图1所示，在附图图1中，描述了软件测试过程中涉及的活动：可以看出，软件测试活动是迭代进行的,首先，基于不同层级的软件需求生成测试用例，进行测试用例选择；接下来基于生成的不同层级的测试用例进行低层测试、软件集成测试以及硬件软件集成测试；执行完测试后，对于不同层级的需求进行测试覆盖率分析，如果发现未测试的需求或测试用例中出现问题，则返回第一步重新生成测试用例，并依据测试用例执行测试，再次进行需求覆盖率分析；在达到需求测试覆盖率后，进行软件结构化覆盖率测试，不同等级的软件对软件结构化覆盖率的要求是不一致的，如果结构化覆盖率测试未达到标准，则依据分析中找出的问题，则返回第一步重新进行测试用例生成，执行，需求覆盖率的分析等活动，当最终达到指定的软件结构化覆盖率时，测试活动结束。

GSN是一种图形化论证符号，该表达方法规定了一些论证符号来说明目标论证的方法。该方法将最上层的总目标进行分解，最终分解到可以使用相应证据直接证明的子目标，并连接相应证据，用这一论证结构来说明证据是如何论证目标的。GSN的具体表示符号如说明书附图图2所示。

目前，针对DO-178C标准的研究，国外的研究现状是：C.Michael Holloway对DO-178C中列举的目标对最终DO-178C标准的总目标的实现做出的贡献进行了分析，最终的得出了不同等级的软件的GSN论证结构图，用GSN表示的DO-178C中目标的主要论证结构如附图图3所示。从附图图3可知，不同等级的软件的总目标都可以使用目标1.1来表示，1.1是DO-178C的总目标，总目标的分解依据是2.1，依据该分解依据，最终总目标可以分解为两个子目标3.1,3.2。图3表示的是一般的论证结构，对于不同级别的软件会有不同程度的细化，并且两个子目标3.1,3.2最终会继续分解，直到得出直接的证据来论证相关目标。该方法描述出了DO-178C中过程目标之间的关系，以及在总目标的论证结构中，过程目标所处的地位，然而从子目标到证据的论证没有进行描述，也没有提出具体的基于DO-178C的证据模型，对证据模型的组成结构不够明确，不能直接应用工业化领域。

针对DO-178C目标的研究，国内的研究现状是，对DO-178C标准的实施缺乏成熟的研究和工程实践。

在工程实践中常常会面临的问题是，在进行适航审定的软件测试时，需要提供什么样的证据模型，实施什么样的测试活动，才能满足DO-178C标准中相应目标。这一问题尚未得到明确的解决方案，目前还没有针对DO-178C标准中软件测试过程目标的具体分解，提取证据需求的相关研究所发表的文章。

可见，DO-178C作为适航软件的安全性标准，在适航认证方面有很大的适用性，但是在软件测试过程中DO-178C标准仅仅指出了目标，以及针对目标实施的活动，对应的输出，并没有给出具体的输出组成结构，也没有明确说明执行活动的程度，以及执行的活动如何实现对应的目标，对于软件开发人员来说，在执行该标准时存在一定的模糊性。此外，在国内的民用航空软件测试领域，缺乏明确的基于DO-178C标准适航认证方面的指导。在进行适航认证的时候，存在不能提供有效证据通过适航审定的问题。作为证据的项目数据量十分庞大，如果通过人工来进行数据到目标的推理验证，会耗费大量的人力物力，并且也会由于不同人员对标准中目标的理解程度不同，使得论证的效果产生误差，不能形成系统的，有说服力的论证结构。

发明内容

鉴于上述的分析，本发明旨在提供一种面向DO-178C软件测试过程的目标验证及证据模型提取方法，用以解决现有技术中缺乏相应解决方案的问题。

本发明的目的主要是通过以下技术方案实现的：

一种面向DO-178C软件测试过程的目标验证及证据模型提取方法，具体包括以下步骤：

步骤一、依据DO-178C标准，建立软件测试内容的目标分解论证模型结构，即GSN模型；

步骤二、依据GSN模型，分析提取论证GSN模型目标的证据需求，并依据证据需求建立类图形式的证据模型；

步骤三、将GSN模型依据论证结构转换为一阶谓词表达式；

步骤四、依据GSN模型转换的一阶谓词表达式对类图形式的证据模型赋值，对目标的满足性进行推理论证，显示目标是否满足，并分析未能满足目标的原因。

其中，所述步骤一进一步包括：

GSN模型将最上层的总目标进行分解，最终分解到可以使用相应证据直接证明的最底层的子目标，并连接相应证据，用这一论证结构来说明证据是如何论证目标的。

其中，所述步骤二进一步包括：

2.1参考GSN表示结构中最底层的子目标，确定需要的证据需求；

2.2参考GSN表示结构中的证据，以及DO-178C中规定的输出以及输出中包括的数据项，将GSN表示结构中的证据作为类名，将输出中的数据项作为类中的属性或者方法表示出来；

2.3参考步骤2.1中建立的证据需求，将步骤2.2中建立的类中的属性或方法进行修改，添加需要的属性或者方法，删除用不到的属性或者方法；

2.4将依据证据自身存在的关联，以及步骤2.1中证据需求表示的证据间的关系，将步骤2.3中各个证据类关联起来，建立完整的证据模型，以类图的形式表达出来。

其中，所述步骤三进一步包括：

3.1将GSN模型中最底层的子目标使用规定的关键句式表达出来，依据定义好的转换规则，将该子目标转换成为一阶谓词表达形式；

3.2将转换成为一阶谓词表达形式的子目标用逻辑关系连接起来，直到完整表达出总目标为止；

3.3在总结出完整表达出总目标的一阶谓词表达式后，将其化简得到最终的一阶谓词表达式。

其中，所述步骤四中依据GSN模型转换的一阶谓词表达式对类图形式的证据模型赋值进一步包括：

将实际项目数据存入证据模型中作为证据元素，利用变量对应关系表，对一阶谓词逻辑表达式中的各个变量与证据元素中的值进行一一对应。

其中，所述步骤四中对目标的满足性进行推理论证进一步包括：

建立一阶谓词表达式的自动推理机工具，将一阶谓词表达式放入自动推理机工具中，产生论证结果，说明项目数据是否符合DO-178C中规定的目标。

本发明有益效果如下：

本发明公开了面向DO-178C软件测试过程的目标验证及证据模型提取方法，建立软件测试过程相关目标的论证结构，分析出对应的证据需求，并依据证据需求建立证据模型，依据证据模型，在项目数据对应证据模型时，实现目标论证的自动化，为实现DO-178C软件测试过程的目标提出一套自动推理的解决方案。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为DO-178C中对软件测试流程的描述示意图；

图2为GSN的具体表示符号示意图；

图3为用GSN表示的DO-178C中目标的主要论证结构示意图；

图4为面向DO-178C软件测试过程的目标验证及证据模型提取方法流程图；

图5为本发明具体实施例的GSN语句覆盖率论证结构示意图；

图6为本发明具体实施例的证据模型示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

如附图图4所示，面向DO-178C软件测试过程的目标验证及证据模型提取方法具体包括以下步骤：

步骤一、依据DO-178C标准，建立软件测试内容的目标分解论证模型结构，即GSN模型；所述GSN模型为建立使用GSN符号表示的目标论证结构，该结构最后会转换成一阶谓词论证表达逻辑；

GSN模型将最上层的总目标进行分解，最终分解到可以使用相应证据直接证明的子目标，并连接相应证据，用这一论证结构来说明证据是如何论证目标的。

DO-178C标准对软件测试过程规定需要实现的目标可以分为三个类别：测试用例对需求的覆盖率，测试用例对代码结构的覆盖率，对测试用例、测试程序、测试结果的检查。对不同类别的目标建立不同的安全论证模型，论证依据是实现目标中标准规定的活动。

对DO-178C中的测试过程目标进行论证分解。其中，测试用例对代码结构的覆盖率主要包括：语句覆盖率、分支覆盖率、MC/DC覆盖率、数据耦合和控制耦合覆盖率，A级软件要求这四种覆盖率必须都为100％。

如附图图5所示，使用GSN图形描述了论证目标软件结构中语句覆盖率符合标准的情况。2.1列举出了分解该目标的依据，该依据考虑到DO-178C中规定该目标需要实现的活动，依据测试活动是迭代完成的特点，可以分为两大类子目标：

第一类目标是，在源代码或者目标代码中存在多余代码/停用代码的情况，在图5中表示为子目标3.2和子目标3.3，依据DO-178C的解释，多余代码是不能追溯到系统或者软件需求的代码或者数据，停用代码指的是代码可以追溯到需求，但是并不会使用运行的代码，或者只会在某中特定环境下才会运行的代码。在存在多余代码或者停用代码的系统中，对覆盖率的要求会有变化。

具体的变化是：

1.如果系统存在多余代码，并且该多余代码存在源代码或者目标代码中，但是其最终不会出现在可运行目标代码中，那么这类多余代码可以保留。也就是说如果存在多余代码，并且多余代码不会存在在可运行目标代码中，则这个系统的源代码语句覆盖率以及目标代码语句覆盖率在除去多余代码后为100％，可运行目标代码覆盖率必须为100％。

2.如果系统存在停用代码，如果停用代码并不会使用运行，那么需要通过分析等其他手段说明其不会被运行，此时这类代码可能不会被测试到。也就是说，此时除去停用代码，源代码语句覆盖率，目标代码语句覆盖率以及可运行目标代码覆盖率必须为100％。

3.如果系统存在停用代码，并且停用代码在特定的环境下会运行。那么需要编写测试用例运行这部分停用代码。系统的源代码语句覆盖率，目标代码语句覆盖率以及可运行目标代码覆盖率必须为100％。

系统可能会出现上述几种情况中的一种，或者多种同时发生的情况，需要保证最终的语句覆盖率符合上述几种条件。

第二类目标是，除去第一类目标的情况，剩余情况下，最终的源代码语句覆盖率，目标代码语句覆盖率以及可运行目标代码语句覆盖率均为100％。

为了实现该类目标，需要对当前测试用例，测试程序以及测试结果进行分析，得出语句覆盖率，将该结果记录在语句覆盖率结果中，将过程中评审和分析结果存在评审结果中。子目标由证据语句覆盖率结果和评审结果实现。

语句覆盖率＝代码中测试过的语句数量/代码中总的语句数量*100％。

其中，测试过的语句是指，存在测试程序执行过该语句，并且测试结果与预期结果相同，则可以说该语句是测试过的语句。

语句覆盖率是底层测试、软件集成测试、软件硬件集成测试结束后对代码结构进行分析的活动，属于软件开发过程性目标。

步骤二、依据步骤一建立的GSN模型中最底层的子目标，分析提取GSN模型目标的证据需求，依据提取的证据需求建立证据模型描述证据的组织结构，即类图形式的证据模型。

以附图图5的GSN语句覆盖率论证结构为例，具体说明步骤二：

2.1参考图5所述结构中最终阶段的子目标，确定需要的证据需求如下：

A.可运行目标代码的语句覆盖率为100％(存在停用代码并且不会运行时除外)。

B.如果存在多余代码处在目标代码阶段，并且该代码不会在最终可运行目标代码中实现，则除去多余代码，目标代码的语句覆盖率为100％。

C.如果存在多余代码处在源代码阶段，并且该代码不会在最终可运行目标代码中实现，则除去多余代码，源代码的语句覆盖率为100％。

D.如果存在停用代码，并且停用代码在特定的配置环境下可以运行，那么不同形式的代码语句覆盖率均为100％。

E.如果存在停用代码，并且停用代码不会运行，那么除去停用代码以外的其他代码的覆盖率均为100％。

F.关于多余代码不会形成在可运行目标代码阶段以及停用代码不会运行的评审结果。

2.2.在构建证据模型时，参考DO-178C中规定的数据输出结构，以及输出数据中的软件验证结果，包括：覆盖率分析结果以及所有的验证分析结果；将软件验证结果作为一个抽象类，再细化分为语句覆盖率结果和评审结果。将GSN表示结构中的证据作为类名，将GDO-178C中规定的输出以及输出中包括的数据项作为类中的属性或者方法表示出来

2.3.在建立了语句覆盖率结果类以及评审结果类以后，结合步骤2.1中确定的证据需求，将步骤2.2中建立的类中的属性或方法进行修改，添加一定属性或者方法项，删除用不到的属性或者方法。在本例中，计算存在停用代码或者多余代码的情况下不同代码类型的语句覆盖率，在模型中建立三个类，其中EOC表示可执行目标代码覆盖类，OC表示目标代码覆盖类，SC表示源代码覆盖类，此外为这三个类设置了三个属性，其中existExtraneousCode用来说明是否存在多余代码，existDeactivatedCode1用来说明是否存在停用代码并且该代码不运行，existDeactivatedCode2用来说明是否存在停用代码并且该代码只在特定的环境下运行，由于这三个类都具有着三个属性并且这三个属性对三个类来说含义相同，则可以讲该属性放在他们的父类语句覆盖率结果类中，此外给这三个类设置了函数ecover(existExtraneousCode，existDeactivatedCode1)来判断不同情况下代码的覆盖率。此外，为评审结果类添加属性ECresult来说明多余代码不会形成在可运行目标代码阶段是否为真，属性DCresult来说明停用代码不会被调用是否为真。

2.4.从上面各类的含义中可以知道类EOC,OC,SC继承了语句覆盖率结果类，语句覆盖率结果类以及评审结果类继承了软件验证结果类，利用类之间的关系将这些类关联起来，建立完整的证据模型。

通过上面的步骤，就建立了基于图5的证据模型。

步骤三、将GSN模型依据论证结构转换为一阶谓词表达式，以图5的论证结构为例，具体包括以下步骤：

3.1利用模型转换的思想，定义转换规则，规定关键句式以及该关键句式转换为一阶谓词的表达形式，将GSN模型中最低层的子目标使用规定的关键句式表达出来，依据定义好的转换规则，将该子目标转换成为一阶谓词表达形式；

不存在A时，B是b，对应的一阶谓词表达式是：

(A＝FALSE)→(B＝b)

A以及B，对应的一阶谓词表达式是：

A∩B

A是真，对应的一阶谓词表达式：

A＝TRUE

3.2接下来将子目标用逻辑“或”(在GSN中使用菱形加实心箭头表示)或者逻辑“且”(在GSN中直接使用实心箭头表示)连接起来，直到完整表达出总目标为止；

因此，图5中的子目标的一阶谓词表达式是：

子目标4.1((停用代码不会运行＝FALSE)∩(多余代码＝FALSE))→(目标代码语句覆盖率＝10子目标4.4(多余代码＝TRUE)→(除停用代码外源代码语句覆盖率＝100％)

子目标4.8停用代码不会运行＝TRUE

由于其他谓词表达式的表示结构与上面所述的子目标的表达方式相似，因此在此不一一列举。

3.3在总结出完整表达出总目标的一阶谓词表达式后，将其化简得到最终的一阶谓词表达式。

将这些子目标的一阶谓词表达式连接起来并且化简以后为：

(((E＝FALSE)∩(D＝FALSE))→((OC＝100％)∩(SC＝100％)∩(EC＝100％)))

∪((E＝TRUE)→((EOC＝100％)∩(ESC＝100％)∩(EC＝100％)∩(ER＝TRUE)))

∪((D＝TRUE)→((DOC＝100％)∩(DSC＝100％)∩(DEC＝100％)∩(DR＝TRUE)))由于篇幅原因，此时使用字母代替具体的中文含义，在上面的一阶谓词表达式中：

E代表多余代码，D代表停用代码并且不会运行，OC代表目标代码语句覆盖率，SC代表源代码语句覆盖率，EC代表可运行目标代码语句覆盖率，EOC代表除多余代码目标代码语句覆盖率，ESC代表除多余代码源代码语句覆盖率，ER代表对多余代码评审结果，DOC代表除停用代码目标代码语句覆盖率，DSC代表除停用代码源代码语句覆盖率，DEC代表除停用代码可运行目标代码语句覆盖率，DR代表对停用代码的评审结果。

将子目标使用一阶谓词逻辑表达出来后，将这些变量与证据模型中的变量对应，可以建立一张对应关系表，来实现其对应。

以图6的证据模型为例，则变量与证据模型变量的对应关系如下表：

谓词变量	证据模型中元素
		D	existDeactivatedCode1
E	existExtraneousCode
		OC,EOC,DOC	OC.ecover
SC,ESC,DSC	SC.ecover
		EC,DEC	EOC.Ecover

步骤四、依据GSN模型转换的一阶谓词表达式对步骤二建立的类图形式的证据模型赋值，对目标的满足性进行推理论证，显示目标是否满足，并对未满足的目标分析未能满足目标的原因。

在进行实际项目论证时，将实际项目数据存入证据模型中，接下来对一阶谓词逻辑表达式中的各个变量利用建立的变量对应关系表，将证据元素中的值与一阶谓词表达式变量进行一一对应，将此过程称为赋值，赋值完成后，建立一阶谓词表达式的自动推理机工具，将一阶谓词表达式放入自动推理机工具中并完成赋值步骤，自动推理机，例如prolog，进行自动推理，并最终产生论证结果，说明项目数据是否符合DO-178C中规定的目标。

以图6所示模型为例：

当可执行目标代码覆盖率为100％并且目标代码覆盖率为100％并且源代码语句覆盖率为100％时，该目标实现；

当可执行目标代码覆盖率为100％且存在停用代码且除去多余代码后目标代码覆盖率100％且除去多余代码后源代码覆盖率为100％时，该目标实现；

也存在其他条件时目标实现，此处不一一列举。

综上所述，本发明实施例提供了一种面向DO-178C软件测试过程的目标验证及证据模型提取方法，本发明技术方案带来的有益效果如下：

1.为DO-178C开发过程的目标分解提供指导，明确软件测试过程中需要执行的活动，即建立的GSN模型中确定的需要实现的证据需求，有了证据需求，开发人员可以实施能够产生证据的活动，产生这些证据的活动就是软件测试过程中需要执行的活动)，使得软件测试过程更加规范，更加符合适航审定的规范，为通过适航认证的软件测试过程的目标提供了有效的帮助。

2.为进行基于DO-178C标准的适航认证提供证据指导，在进行软件测试过程时，可以有针对性的收集建立的证据模型中的数据，使得收集证据这一步骤更加有效率的完成，降低成本。

3.通过自动推理器，可以实现目标满足性的自动推理，节省了成本，尤其是存在大量数据需要论证时，会使效率有显著的提升。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种面向DO-178C软件测试过程的目标验证及证据模型提取方法，具体包括以下步骤：

步骤一、依据DO-178C标准，建立软件测试内容的目标分解论证模型结构，即GSN模型；

步骤二、依据GSN模型，分析提取论证GSN模型目标的证据需求，并依据证据需求建立类图形式的证据模型；

步骤三、将GSN模型依据论证结构转换为一阶谓词表达式；

步骤四、依据GSN模型转换的一阶谓词表达式对类图形式的证据模型赋值，对目标的满足性进行推理论证，显示目标是否满足，并分析未能满足目标的原因。

2.根据权利要求1所述的面向DO-178C软件测试过程的目标验证及证据模型提取方法，其中，所述步骤一进一步包括：

GSN模型将最上层的总目标进行分解，最终分解到可以使用相应证据直接证明的最底层的子目标，并连接相应证据，用这一论证结构来说明证据是如何论证目标的。

3.根据权利要求1所述的面向DO-178C软件测试过程的目标验证及证据模型提取方法，其中，所述步骤二进一步包括：

2.1参考GSN表示结构中最底层的子目标，确定需要的证据需求；

2.2参考GSN表示结构中的证据，以及DO-178C中规定的输出以及输出中包括的数据项，将GSN表示结构中的证据作为类名，将输出中的数据项作为类中的属性或者方法表示出来；

2.3参考步骤2.1中建立的证据需求，将步骤2.2中建立的类中的属性或者方法进行修改，添加需要的属性或者方法，删除用不到的属性或者方法；

2.4将依据证据自身存在的关联，以及步骤2.1中证据需求表示的证据间的关系，将步骤2.3中各个证据类关联起来，建立完整的证据模型，以类图的形式表达出来。

4.根据权利要求1所述的面向DO-178C软件测试过程的目标验证及证据模型提取方法，其中，所述步骤三进一步包括：

3.1将GSN模型中最底层的子目标使用规定的关键句式表达出来，依据定义好的转换规则，将该子目标转换成为一阶谓词表达形式；

3.2将转换成为一阶谓词表达形式的子目标用逻辑关系连接起来，直到完整表达出总目标为止；

3.3在总结出完整表达出总目标的一阶谓词表达式后，将其化简得到最终的一阶谓词表达式。

5.根据权利要求1所述的面向DO-178C软件测试过程的目标验证及证据模型提取方法，其中，所述步骤四中依据GSN模型转换的一阶谓词表达式对类图形式的证据模型赋值进一步包括：

将实际项目数据存入证据模型中作为证据元素，利用变量对应关系表，对一阶谓词逻辑表达式中的各个变量与证据元素中的值进行一一对应。

6.根据权利要求5所述的面向DO-178C软件测试过程的目标验证及证据模型提取方法，其中，所述步骤四中对目标的满足性进行推理论证进一步包括：

建立一阶谓词表达式的自动推理机工具，将一阶谓词表达式放入自动推理机工具中，产生论证结果，说明项目数据是否符合DO-178C中规定的目标。