CN109284224A - 用于自动生成车辆软件测试的方法 - Google Patents

Abstract

本发明涉及用于自动生成高于组件级别的软件构架级别的车辆——特别是机动车辆——的软件测试的方法。根据本发明，通过使用来自软件构架模型(1)的信息，更高级别的测试与单元测试(3)结合。

Description

用于自动生成车辆软件测试的方法

技术领域

本发明涉及用于自动生成车辆——特别是机动车辆——的软件测试的方法。

背景技术

传统上，在车辆开发过程中在不同的级别执行软件验证。不同级别的测试通常遵循软件的构架分离。

为了降低特征开发的复杂性，一个软件被分为被称为组件的微小部分。组件可以实现整个软件所需的基本功能，比如处理车辆的速度、处理内燃发动机的状态等。这些组件彼此连接，以便通过交换数据进行交互并且创建软件所需的更复杂的功能。为了简单起见，或为了简化集成至现有的电气构架(平台、发动机控制单元、软件插件)，可以生产中间组件，该中间组件将在此被称为函数或子系统。这些特征最终彼此结合以生成所需的软件特征。

根据软件的复杂性，可以生成多级别的功能分离。在本文件中对三个级别分离应用限制。通常，这种功能分离以及组件、函数和它们的链接的定义是使用例如软件构架这样的构架指定的，该构架可以使用Simulink、SysML、UML等来建模。在构架图中，每个组件或函数都是由框表示的，该框包含组件的输入和输出。组件然后通过在设计用于交换信息的输入或输出之间画一条线来连接。

为了确保正确的实施和足够质量，软件在其开发过程中在不同功能分离级别进行测试。因此，存在用于测试每个组件的单元测试(也被称为模块测试或组件测试)、用于测试每个函数或每个子系统的函数测试、以及最后用于测试整个软件的软件或系统测试。

单元测试通常被所谓的xUnit框架很好地支持，该单元测试在比如Java、NET、Matlab/Simulink等这样的大多数软件开发环境中是可用的，并且允许定义测试，该单元测试可以在开发环境中自动地执行。xUnit框架也可以是外部框架。通常基于需求和/或基于组件的开发者的软件设计考虑来生成测试。

一个较高的级别，在函数或子系统级别，其他测试通常是从头开始手动地生成的，但只是为了验证软件的——特别与ISO26262或FMEA(失效模式与影响分析)有关——某些关键方面。由于时间和资源的限制，中间构架级别(函数)通常不像组件或整个系统级别那样严格地测试。这些测试可以被称为功能集成或子系统集成测试。

最后，在系统级别，新测试是从头开始手动定义的并且在专用的XiL-环境中或者在车辆中实现。需求以及特别是用例可以用于帮助指定这些测试。这种测试可以被称为特征测试、最终用户测试或系统集成测试。

在车辆软件的中间级别和高级级别，测试因此通常是在不考虑由单元测试和构架模型提供的丰富信息的情况下从头开始——通常使用不同的语法——重写的。

专利文件US 2015 0 363 296 A1教导用于通过重新使用单元测试来测试函数之间的交互的软件测试生成，并且提出一种用于检查这种交互的测试是否可以通过重新使用现有的函数单元测试来实现的方法。该目的是在没有对函数进行广泛分析的情况下实现的。提出的方法设计为使用由每个单元测试实现的测试覆盖率来实现以分层方式对单元测试用例进行分类。因此通过结合和重新使用单元测试用例来处理可以实现的产生的测试覆盖率是可能的。选择单元测试也是可能的，该单元测试应该被运行以便实现特定的目标测试覆盖率。

专利文件DE 10 311 864 A1公开了一种使用软件函数模型来自动地生成功能测试用例的方法。该模型是通过使用标准组件来描述软件函数来获得的。这种标准组件是独立于特定软件设计的通用构建块并且可以是例如逻辑门、触发器、多路复用器等。描述了如何使用该信息并且通过引入信号抽象来编写测试。例如根据在测试覆盖率方面函数被测试的彻底程度，信号抽象然后被用于将特定值(刺激和验收)赋值于测试。基于不是代码本身的正式描述，提出自动地生成可以通过机器解释的软件测试。

文件US 7 490 319 B2描述了使用可追溯性矩阵以便跟踪软件组件之间的依赖关系的测试工具。可追溯性矩阵允许提供信息，在该信息中测试受到软件需求的修改或其他测试的修改的影响。可追溯性在应用程序有效期限管理或项目生命周期管理中广泛地使用以便确保高的软件质量。

专利文件US 2015 0 135 158 A1描述特别是在客户机/服务器应用程序的情况下，用于测试的自动规划和执行的系统，特别是用于由分布式团队实现的分布式软件的测试支持开发的永久集成系统。描述用于构造、识别和下载依赖关系、下载合适的单元测试和代码的方法，需要该方法以便允许测试自动地运行。提出方法以定义和使用所谓的模型函数，该模型函数可以用于替换缺失的元素或依赖关系，这至少允许测试的一部分运行。

专利文件KR 101 134 735 B1基于从AUTOSAR模型提取的软件组件设计信息提出自动地生成可执行的测试指令。公开的方法能够收集接口信息并且生成有效和无效值的任何给定组合以产生可执行的接口测试用例。方法也能够使用接口信息为测试提供输入/输出刺激的任何给定组合。

专利文件KR 101 618 872 B1提出基于源代码分析和软件层次结构分析的永久集成系统。系统能够以可控的方式调度和执行测试。例如如果测试成功，则根据比如单元测试这样的测试的结果，系统通过分析源代码和软件构架来自动地调度下一测试级别。

发明内容

本发明的目的是能够在更高的构架级别上自动地获得车辆软件测试。

根据本发明的目的是通过在独立权利要求中具体说明的方法来实现的。

在从属权利要求中具体说明本发明的有利延伸。

本发明的一个方面涉及自动地生成高于组件级别的不同软件构架级别的车辆——特别是机动车辆——的软件的测试的方法、算法或模块，其中更高级别的测试是通过使用来自软件构架模型的信息而与单元测试结合的。

优选地，更高级别的测试是通过使用来自软件构架模型的信息而与单元测试结合的；更高级别的测试优选地以与单元测试相同的语法自动地生成并且允许在xUnit测试环境中自动执行；并且测试优选自动地翻译为遵循特殊的语法规则、特殊字典等的人类可读的语法，和/或自动地上传至测功机、测试台或者车辆或自主车辆上，利用该测试执行车辆软件的自动验证。

本发明的核心构思是通过使用(特别是使用UML或SysML建模的)软件构架的软件设计信息自动地结合为软件组件编写的单元测试以形成更高级别的软件测试。为了这个目的，软件输入/输出通过使用设计信息被赋值并且返回至另一级别的层次结构。该过程可以继续直到达到更高级别的软件。没有必要生成任何刺激或值的组合，也不需要任何永久集成。同样，本发明不涉及测试的任何自动调度和执行。

与上面引用的文件DE 10 311 864 A1不同，本发明不涉及函数的细节或函数算法的正式描述，但使用比如由比如UML或SysML这样的构架建模语言提供的现有的软件设计信息，以便将单元测试结合至更高级别的测试中。

与上面引用的文件US 7 490 319 B2不同，本发明使用例如来自软件构架模型的软件设计信息，以便将单元测试结合至更高级别的测试中。

与上面引用的文件KR 101 134 735 B1不同，本发明使用软件设计信息以通过赋值信号来自动地结合测试并且将它们返回至不同级别的设计层次结构，以便生成集成测试。

方法或算法或模块可以具有一个、多个或全部下列特征：用建模语言(比如SysML或UML)的软件构架模型；信号数据库，该信号数据库包含在车辆中不同构架级别上使用的全部信号的精确定义，例如名称、编码、类型、大小、值范围等；在开发过程中由软件工程师定义的单元测试的集合；用于确定哪些信号彼此赋值或彼此连接的信号调整模块；用于确定哪些信号连接在同一构架级别的两个软件元素之间的中间信号检测模块，例如连接在两个组件或两个函数之间；用于分配至更高构架级别的一个元素的全部元素的分组测试的测试组合模块，例如赋值于一个函数的组件；基于在上面提到的模块中处理的信息来生成更高构架级别的测试的测试生成模块；用于将信号赋值、逻辑简化、数学简化等应用于生成的测试的测试简化模块；用于将生成且简化的测试翻译为可以被人类理解的测试指令，或翻译为可以在测功机中、在测试台上或者在车辆或自主车辆中自动地执行的测试的测试翻译模块；至项目生命周期管理系统的用于自动更新测试规范和至相关需求的链接的接口。

本发明的另一方面涉及用于自动生成高于构架模型的低构架级别的更高构架级别的车辆——特别是机动车辆——的软件测试的方法、算法或模块，该方法、算法或模块具有一个、多个或全部下列特征：

低构架级别的元素(例如组件)的低级别测试(例如单元测试)——该低构架级别的元素赋值于生成的测试的更高构架级别的元素(例如函数)——分组在一起；应用赋值规则以将低构架级别的元素的信号名称替换为更高构架级别的相应元素的信号名称；

应用赋值规则以将低构架级别的元素的信号值替换为更高构架级别的相应元素的信号值；

识别低构架级别的元素之间的中间信号，该中间信号指示这些元素之间的交互；

应用扩展规则以将中间信号和中间信号的条件替换为测试指令，导致这些条件的生成；生成那些测试的独立测试步骤和赋值标准，该测试不包含中间信号。

本发明还提供一种用于简化如上所述生成的测试的方法，在该方法中执行一个、多个或全部下列步骤：应用逻辑简化；应用数学简化；应用单位换算；应用翻译规则以将测试转换为人类可读的语言；应用翻译规则以便将测试转换为机器可读的语言，该机器可读的语言可以在比如测功机、测试台、或者车辆或自主车辆这样的外部测试环境中执行。

本发明还提供一种用于递归且递增地执行在构架模型中描述的所有不同的构架级别的自动测试生成的方法。

本发明还提供建模用于执行上面描述的一种方法的软件构架的方法，该方法具有一个、多个或全部下列特征：用比如SysML或UML这样的建模语言编写构架；构架包含至少一个组件级别和一个特征级别；构架遵守每个构架级别的信号命名约定；构架允许识别低级别构架元素，该低级别构架元素赋值于更高级别的构架元素；构架包含同一构架级别的元素之间的信号如何连接的定义；构架包含同一构架级别的元素之间的信号如何连接至来自另一构架级别的元素的信号的定义。

本发明还提供一种用如上所述生成的测试来自动更新项目生命周期管理系统的方法，其中项目生命周期管理系统具有一个、多个或全部下列特征：在项目生命周期管理系统中为每个生成的测试生成附加测试容器；生成链接，该链接允许生成的测试链接至同一构架级别上的需求(这些链接可以通过分析不同构架级别的需求如何彼此链接来获得)；用于报告更高构架级别的需要的间隙分析，没有为该更高构架级别的需求生成任何测试，以便促进测试工程师生成这些缺失测试的任务。

附图说明

下面是参考附图的示例实施例的描述。附图显示：

图1是构架模型的示例；以及

图2是系统概述。

具体实施方式

下面是用于自动生成系统级别或车辆级别的测试指令(测试步骤和验收标准)的方法的描述，该测试指令可在专用环境中执行。方法是基于测试系统(即该测试系统的组件以及它们如何在信号数据库以及所谓的单元测试中交换信息)的构架或软件构架的描述，该构架或软件构架已经开发用于在比如xUnit框架这样的自动测试环境中验证组件。方法结合直接遵循构架定义的单元测试以自动地生成更高构架级别的软件元素的测试，该测试可在同一自动测试框架中执行或该测试可在测功机中、在测试台上、在车辆或自主车辆中执行。最后，系统能够自动地运行生成的测试并且更新项目生命周期管理系统。

在此描述的方法和算法使中间级别和更高级别的许多附加测试能够自动地生成，该方法和算法可以通过使用早先提到的丰富信息在任何环境中自动地执行，并且它们基于单元测试并且基于一些软件的构架模型使中间级别和更高级别的车辆软件测试能够自动地获得。

操作原理：

考虑在图1中显示的停止/启动特征(即机动车辆配件特征“自动停止/启动”)的简化的构架模型。特征由两个函数‘请求停止’(函数1或F1)和‘验证停止请求’(函数2或F2)组成。函数‘请求停止’已经分解为两个组件，即‘测试停止触发’(组件1或C1)和‘测试定时’(组件2或C2)。函数‘验证停止请求’已经分解为一个组件，即‘测试有效停止请求’(组件3或C3)。

特征、函数和组件具有它们自己的接口和信号定义，例如，在信号数据库中定义该接口和信号定义。构架模型还描述这些信号如何连接以实现特征的实施。

单元测试：

现在假设已经为每个组件定义在表1中列出的单元测试。为了简化的目的，每个组件只定义一个单元测试。

表1

通过分析信号数据库中的构架模型以及可能的信号定义，系统将首先从可用的单元测试获取每个函数的测试指令。这至少包含以下测试：

1.识别赋值于函数的组件。

2.识别函数的每个组件之间的信号赋值(函数的一个组件的输出信号可以是函数的另一组件的输入信号)。

3.识别每个组件和函数之间的信号赋值。

4.识别函数的组件之间的交互(如果函数的一个组件的输出信号是函数的另一组件的输入信号，则是这种情况)。

5.对组件测试进行分析(语法分析)并且以先前步骤中识别的方式赋值信号。

6.根据组件函数赋值并且根据信号赋值来结合组件测试。例如，结合C1和C2的测试以获得表2中的F1的测试。

7.通过将中间信号(即在函数内的组件之间交换的信号)替换为匹配相应信号的特定状态的测试来进行组件测试的简化。

更一般地说，简化步骤可以包括以下任务：

-匹配特定中间信号的状态的扩展测试，以便形成元测试(下面用特征测试给出示例)。

-生成这些测试的独立测试步骤，该独立测试步骤包含不是中间信号的信号，即组件之间没有交互(用F1测试给出示例)。

-此外，可以实现进一步的简化，比如通过应用逻辑规则简化逻辑表达式。

-此外，可以实现进一步的简化，比如通过应用数学规则(例如因式分解等)简化数学表达式。

-此外，可以实现进一步的简化，比如单位换算、单位翻译(例如，信号值可以被不同地解码，取决于信号定义的级别)

在该示例中，这是没有必要的，因为F1的C1和C2之间没有交互。因此，F1的测试可以作为具有专用验收标准的两个独立步骤的序列进行。然而，这种情况在下一测试级别——即特征测试级别——更好地说明。结果在下面的表2中显示。

表2

特征测试：

通过分析信号数据库中的构架模型以及可能的信号定义，系统将接着从生成的函数测试获得特征的测试指令。这至少包含以下步骤，该步骤相应于用于生成函数测试的步骤。

1.识别赋值于特征的函数。

2.识别特征的每个函数之间的信号赋值(特征的一个函数的输出信号可以是特征的另一函数的输入信号)。

3.识别每个函数和特征之间的信号赋值。

4.识别特征的函数之间的交互(如果特征的一个函数的输出信号是特征的另一函数的输入信号，则是这种情况)。

5.对函数测试进行分析(语言分析)并且以先前步骤中识别的方式赋值信号。

6.根据函数特征赋值并且根据信号赋值结合函数测试。例如，结合F1和F2的测试以获得特征的测试。

7.通过将中间信号(即在特征内的函数之间交换的信号)替换为匹配相应信号的特定状态的测试来进行函数测试的简化。在该示例中，测试F2在条件F2_In_StopTriggerPresent_Bool＝＝TRUE下使用信号F2_In_StopTriggerPresent_Bool。该信号相应于测试F1的信号F1_Out_StopTriggerPresent_Bool。此外，测试F1描述使该信号的值设置为TRUE的条件。因此，在测试F2中，系统可以将条件F2_In_StopTriggerPresent_Bool＝＝TRUE替换为F1的内容。相同的算法可以应用于测试F2的条件F2_In_TimerElapsed_Bool＝＝TRUE。此外，在信号数据库中，信号“挡位位置”的定义不再使用常量NEUTRAL，而是值0。因此，该值现在在测试中替代该信号的值NEUTRAL。

结果在下面的表3中显示。

表3

测试F1、F2和F3已经从可用的单元测试、从构架模型以及可选地从信号数据库生成。这三个测试可以在与单元测试相同的测试环境中自动地执行。在另一发展中，应用附加的方法是可能的，以便以更类似人类的语言重新表述生成的测试或将该测试翻译为更类似人类的语言，以便例如测试工程师可以在测功机上、在测试台上或在车辆中执行该测试。

在另一发展中，特征测试可以直接上传至自主车辆上，该自主车辆可以实施测试并且检查车辆的行为或响应是否符合验收标准。

图2显示系统概述。系统包含：

1 软件构架模型

2 信号数据库

3 单元测试

4 信号调整模块

5 中间信号检测模块

6 测试组合模块

7 测试生成模块

8 测试简化模块

9 测试翻译模块

10 项目生命周期管理系统

11 协调上述模块1至10的核心软件。

软件构架模型1是用建模语言编写的。信号数据库2包含在车辆的不同构架级别上使用的全部信号的精确定义。单元测试3已经在开发过程中由软件工程师定义。信号调整模块4用于确定哪些信号彼此赋值或彼此连接。中间信号检测模块用于确定哪些信号在同一构架级别的两个软件元素之间连接。测试组合模块6用于分组测试分配至更高构架级别的元素的全部元素。测试生成模块7用于基于在模块1至6中处理的信息生成更高构架级别的测试。测试简化模块8用于将信号赋值和简化应用于生成的测试。测试翻译模块9用于将生成和简化的测试翻译为可以由人类理解的测试指令，或翻译为可以在测功机中、在测试台上或者在车辆或在自主车辆中自动地执行的测试。核心软件11还具有至项目生命周期管理系统10的用于自动地更新测试规范以及至相关需求的链接的接口。

Claims (8)

1.一种用于自动生成高于组件级别的至少一个软件构架级别的车辆的软件的测试的方法，所述车辆特别是机动车辆，

其特征在于

更高级别的测试是通过使用来自软件构架模型(1)的信息而与单元测试(3)结合的。

2.如权利要求1所述的方法，

其特征在于

-所述更高级别的测试是用与单元测试(3)相同的语法自动地生成的；和/或

-所述更高级别的测试自动地翻译为人类可读的语法和/或自动地上传至测功机、测试台或者车辆或自主车辆上并且从而执行车辆软件的自动验证。

3.如权利要求1或2所述的方法，

其特征在于

所述方法具有一个、多个或全部下列特征：

-用建模语言的软件构架模型(1)；

-信号数据库(2)，所述信号数据库(2)包含在车辆中不同构架级别上使用的全部信号的精确定义；

-预定义的单元测试(3)的集合；

-用于确定哪些信号彼此赋值或彼此连接的信号调整模块(4)；

-用于确定哪些信号在同一构架级别的两个软件元素之间连接的中间信号检测模块(5)；

-用于分配至更高构架级别的元素的全部元素的分组测试的测试组合模块(6)；

-用于基于在上述模块(1至6)中处理的信息生成更高构架级别的测试的测试生成模块(7)；

-用于将信号赋值和简化应用于生成的测试的测试简化模块(8)；

-测试翻译模块(9)，所述测试翻译模块(9)用于将生成且简化的测试翻译为能由人类理解的测试指令，和/或翻译为能在测功机中、在测试台上或者在车辆或自主车辆中自动地执行的测试；

-至项目生命周期管理系统(10)的用于自动更新测试规范和与相关需求的链接的接口。

4.一种用于自动生成特别如上述权利要求中任一项所述的高于构架模型的低构架级别的更高构架级别的车辆的软件测试的方法，所述车辆特别是机动车辆，

其特征在于

执行一个、多个或全部下列步骤：

-低构架级别的元素的更低级别测试分组在一起，所述元素分配至生成所述测试的所述更高构架级别的元素；

-应用赋值规则以将所述低构架级别的元素的信号名称替换为所述更高构架级别的相应元素的信号名称；

-应用赋值规则以将所述低构架级别的元素的信号值替换为所述更高构架级别的相应元素的信号值；

-识别所述低构架级别的所述元素之间的中间信号，所述中间信号指示这些所述元素之间的交互；

-应用扩展规则以将中间信号和用于中间信号的条件替换为测试指令；

-为不包含中间信号的那些所述测试生成独立测试步骤和赋值标准。

5.一种用于简化如上述权利要求中任一项所述的生成的测试的方法，

其特征在于

执行一个、多个或全部下列步骤：

-应用逻辑简化；

-应用数学简化；

-应用单位换算；

-应用翻译规则以将测试转换为人类可读的语言；

-应用翻译规则以将测试转换为机器可读的语言，所述机器可读的语言能在外部测试环境中执行。

6.如上述权利要求中任一项所述的方法，

其特征在于

递归且递增地执行在构架模型中描述的所有不同的构架级别的自动测试生成。

7.一种建模用于执行如上述权利要求中任一项所述方法的软件构架的方法，

其特征在于

所述方法具有一个、多个或全部下列特征：

-用建模语言编写所述构架；

-所述构架包含至少一个组件级别和一个特征级别；

-所述构架遵守每个构架级别的信号名称约定；

-所述构架允许识别低级别构架元素，所述低级别构架元素赋值于更高级别的构架元素；

-所述构架包含信号如何在同一构架级别的元素之间连接的定义；

-所述构架包含同一构架级别的元素之间的信号如何连接至来自另一构架级别的元素的信号的定义。

8.一种用如上述权利要求中任一项所述的生成的测试来自动更新项目生命周期管理系统的方法，

其特征在于

所述项目生命周期管理系统具有一个、多个或全部下列特征：

-在所述项目生命周期管理系统中为每个生成的测试生成附加测试容器；

-生成链接，所述链接允许所述生成的测试链接至在所述同一构架级别上定义的需求；

-用于报告更高构架级别的需求的间隙分析，没有为更高构架级别的需求创建测试。