CN113590459A - 用于检查技术系统的方法和设备 - Google Patents

Abstract

用于检查技术系统的方法和设备。用于检查技术系统的方法（10），其特征在于如下特征：‑借助于对所述系统的不同变体的仿真（11）来执行测试（12），‑所述测试（12）关于对所述系统的定量要求的满足量度（13）和所述仿真（11）的误差量度（14）来被分析，并且‑根据所述满足量度（13）和误差量度（14）来将所述测试（12）跨所述变体地归类（15）为可靠（16）或不可靠（17）。

Description

用于检查技术系统的方法和设备

技术领域

本发明涉及一种用于检查技术系统的方法。本发明还涉及一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。

背景技术

在软件技术中，在上位概念“基于模型的测试”（model-based testing，MBT）下概括了使用模型用于测试活动的自动化和用于在测试过程中生成测试工件（Testartefakten）。例如，众所周知的是从描述待测试系统的额定行为的模型来生成测试用例。

尤其是嵌入式系统（embedded systems）依赖于传感器的合理的输入信号，而且又通过对各种各样的执行器的输出信号来刺激其周围环境。因而，在对这种系统的验证和之前的研发阶段的过程中，在调节回路中将该系统的模型（model in the loop（回路中的模 型），MiL）、软件（software in the loop（回路中的软件），SiL）、处理器（processor in the loop（回路中的处理器），PiL）或者整个硬件（hardware in the loop（回路中的硬件），HiL）与周围环境的模型一起进行仿真。在车辆技术中，与该原理相对应的用于检查电子控制设备的仿真器视测试阶段和对象而定有时被称作组件、模块或集成试验台。

DE10303489A1公开了一种用于测试车辆、电动工具或机器人系统的控制单元的软件的方法，其中通过测试系统来至少部分地仿真可由控制单元控制的调节对象，其方式是由控制单元产生输出信号并且将该控制单元的这些输出信号经由第一连接传输到第一硬件模块并且将第二硬件模块的信号作为输入信号经由第二连接传输到控制单元，其中这些输出信号在软件中作为第一控制值来提供而且附加地经由通信接口关于调节对象实时地被传输到测试系统。

这样的仿真在各种技术领域都得以推广并且例如用于在电动工具中的嵌入式系统、用于驱动、转向和制动系统的发动机控制设备、摄像机系统、具有人工智能和机器学习的组件的系统、机器人系统或自主车辆的早期开发阶段检查它们是否合适。然而，由于缺乏对它们的可靠性的信心，根据现有技术的仿真模型的结果只是在有限范围内被包含在发布决策中。

发明内容

本发明提供了按照独立权利要求所述的一种用于对技术系统进行检查的方法、一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。

按照本发明的方案基于如下认识：仿真模型的质量对于借此能实现的测试结果的正确预测来说至关重要。在MBT领域，生效分类方法涉及将真实测量与仿真结果进行比较的任务。为此，使用不同的度规（Metrik）、度量值（Maßzahl）或其它比较器，所述不同的度规、度量值或其它比较器将信号彼此关联并且所述不同的度规、度量值或其它比较器在下文应该统称为信号度规（SM）。这样的信号度规的示例是将大小、相移和相关进行比较的度规。一些信号度规通过有关标准来被定义，例如按照ISO 18571来被定义。

一般而言，不确定性量化技术支持对仿真和模型质量的估计。接下来，在使用信号度规的情况下或者更一般地在将不确定性量化方法用于特定输入

（该特定输入可以是参数或场景）的情况下对模型质量的评估结果被称作仿真模型-误差度规——简称：误差度规——

。为了对以前未被考虑的输入、参数或场景

的

的一般化（内插和外推），可以使用比如基于所谓的高斯过程的机器学习模型。

在验证时，通常依据要求、规范或性能指标来检查被测系统（system under test，SUT）。应注意：布尔形式的要求或规范常常可以通过使用如信号时序逻辑（signal temporal logic，STL）那样的形式化来被转换成定量测量。这样的形式化可以用作定量语义的基础，该定量语义在正值指示满足要求并且负值指示违反要求的范围内表示对验证的一般化。在下文，这种要求、规范或性能量度统称为“定量要求”

。

这类定量要求要么可以依据真实SUT要么可以依据同一SUT的模型——即“虚拟SUT”来被检查。为了该验证，将目录与SUT所必须满足的测试用例编制在一起，以便判断该SUT是否具有所希望的性能和安全特性。这种测试用例可以被参数化并且这样可以涵盖任意数目的单独测试。

在该背景下，所提出的方案考虑了对可靠的测试结果的需求，以便确保SUT的性能和安全特性。恰恰是在依据系统或子组件的仿真——而不是真实系统——来执行测试的情况下，需要保证仿真结果是值得信赖的。

在产品开发过程的框架内，工程师还经常面临着艰巨的任务，即证实成品在大量产品变体的情况下的高效能性。然而，尤其是在真实环境下，由于巨大的测试成本，对所有变体进行检验常常是不可想象的。在某些情况下，即使在仿真环境下，这也困难，因为缺乏要求的标准化，参数空间过大而且无法使对所有变体的仿真高效自动化。因而，为了应付各种实现形式，需要通过应用适合的方法来使SUT的各种变体的测试自动化。

当前为此使用基于仿真的方法，这些基于仿真的方法考虑SUT的单个变体的生效结果并且使用定量要求

的满足量度，以便确定适合的测试区域。进行这种对被认为可靠的测试区域的仿真的划界，以便使SUT的各种变体的测试限于较小的数目，这些测试的结果就其余的变体而言也足以生效。附加地，应考虑到所考虑的变体的总数的可伸缩性；为此提出了多种方法方案。

该解决方案的优势在于：与仅基于生效或仅基于验证的设计相比，该解决方案巧妙地使两种方案相结合。为此，引入“虚拟测试分类器”，该“虚拟测试分类器”将模型生效和产品测试的要求相结合。这一点通过将一方面来自仿真和模型质量

的生效的信息以及另一方面来自测试要求（

）的信息相关联来实现。

在各种各样的领域都可以考虑应用相对应的测试。例如能想到的是比如被用于使驾驶功能自动化（automated driving）的自动化系统的功能安全性。

通过在从属权利要求中提及的措施，对在独立权利要求中说明的基本思想的有利的扩展方案和改进方案都是可能的。这样，可以提供自动化的、计算机实现的测试环境，以便在很大程度上自动改善被测试的硬件或软件产品的质量。

附图说明

本发明的实施例在附图中示出并且在随后的描述中进一步予以阐述。其中：

图1示出了虚拟测试分类器。

图2示出了用于基于数据来产生分类器的决策边界的第一方案。

图3示出了用于基于公式求解来产生分类器的决策边界的第二方案。

图4示出了针对不同的目的来使用分类器。

图5示出了用于针对SUT的多个变体使用分类器的第一方法。

图6示出了用于针对SUT的多个变体使用分类器的第二方法。

图7示出了针对单个变体所产生的分类器。

图8示出了针对另一变体使用分类器。

图9示出了针对第一变体所得到的参数空间。

图10示出了针对第二变体所得到的参数空间。

图11示出了在参数空间中选择不同的变体。

图12示出了针对被选择用于对分类性能进行后续评估的变体产生分类器。

图13示出了在由测试参数所张开的特征空间中对分类结果的可视化。

图14示意性示出了工作站。

具体实施方式

按照本发明，在测试

（该测试可以作为测试用例从测试目录中被提取或者作为参数测试的实体被获得）的框架内，分析仿真模型误差

并且基于SUT的仿真来评估定量规范

。虚拟测试分类器使用

和

作为输入并且对基于仿真的测试结果是否值得信赖做出二元决策。

在这种情况下，按照在信息学以及尤其是模式识别中常见的语言使用，任何算法或任何数学函数都能被理解为分类器，该算法或数学函数将特征空间映射到类别的集合上，这些类别是在分类过程中形成且彼此被隔开的。为了能够判断对象应被归类为或分类（通俗地说，也包括：“分类”）为哪个类别，分类器使用所谓的类别或决策边界。如果方法与实体之间的区别不重要，则在专业术语方面使用术语“分类器”，而且该术语接下来也部分地与“归类”或“分类”同义地被使用。

图1图解说明了在当前应用示例中的这种归类。在这种情况下，每个点都对应于一个测试，该测试是在仿真过程中被执行的并且针对该测试计算出了要求

的满足量度（13）以及误差量度（14）

。在这种情况下，

被定义为使得其当该测试可以推测出系统满足相应的要求（附图标记24）时取正值并且当系统不满足该要求（附图标记25）时为负。

如图所示，分类器（18）的决策边界（19）将空间分成四个类别A、B、C和D。具有高可靠性的系统会通过类别A的测试。对于类别B和C的测试来说，仿真仅仅提供不可靠的结果；因而这样的测试应在真实系统上被执行。类别D的测试会在具有高可靠性的系统上失败。

该虚拟测试分类器（18）基于如下思考：只有当假定至多边界处的模型误差（14）时，在仿真中仅勉强满足的要求才能替代对真实系统的检验。另一方面，在定量要求

的在数值上高的满足量度（13）、即远远超出满足或明显不满足的规定的情况下，可以容忍仿真结果与相对应的实验测量的一定的偏差。

由于该考察方式以知道仿真模型的模型误差

为前提，所以假定：后者在使用虚拟测试分类器（18）之前经过了验证和生效。在该生效的框架内，应该——例如基于高斯过程或者另外通过机器学习——形成通用模型，该通用模型为给定的

提供

。在此应注意：仿真的可信度主要取决于该广义模型的正确性。

图2阐明了用于基于数据来产生分类器（18）的决策边界（19——图1）的可能方案。在最简单的情况下，边界（19）在这种情况下沿着直线经过原点。直线的斜率应优选地被选择为使得其中对定量要求

的满足量度（13）在仿真（11）与真实测量（21）之间在符号上有所不同的所有点——即其中仿真模型失效的所有测试（12）——都处在区域C和B内并且这些区域还尽可能小。

还可以考虑更一般的、例如多项式的决策边界（19），该决策边界的函数曲线借助于线性编程被适配为使得该函数曲线满足分类器（18）的标准

。在这种情况下，其中定量要求

的满足量度（13）在仿真（11）与真实测量（21）之间在符号上有所不同的所有点——即其中仿真模型失效的所有测试（12）——也处在区域C和B内。

图3阐明了通过对形式上的方程组的求解（23）来定义分类器（18）的替代方案，该方程组基于满足量度（13）和误差量度（14）的定义方程。给由这两个量度形成的特征向量（13，14）分配概率值的所得函数可以选择性地确定性地或者随机地被指定。

为了如下实施方案的目的，

应是输入集合，

应是——可能也包括输入的——输出集合，并且

应是作为函数的系统模型和真实系统，这些函数只能针对有限数目的输入通过仿真（11）或实验测量（21）来被观察。此外，

应是仿真模型误差

、即两个彼此对应的输出的距离或误差量度（14）。最后，

应是全部输入的集合，针对这些输入，该误差量度（14）取值

。

基于这些定义，针对每个输入

的要求的满足量度（13）的偏差可以如下地通过上述项来被限制，该项既不取决于

也不取决于

：

公式1

因此，得到分类器（18）为

公式2

。

在这种情况下，仿真模型在

的情况下被归类为就

与

关于

一致而言可靠。应注意：分类器（18）需要

的倒数。

该表示的一重要优点在于：虚拟测试分类器（18）可以与

和

无关地被表达，因为该虚拟测试分类器只取决于误差量度（14）和定量要求的满足量度（13）。因此，基于唯一的误差量度（14）和

个定量要求，可以计算出

个虚拟测试分类器（18），即针对每个要求计算出了一个虚拟测试分类器。因而，模型只须关于误差量度（14）被生效一次而无须比如就每个单独的要求而言被生效。

该考虑可以以简单的方式针对

个误差量度和

个定量要求被一般化，其中

通常很小而

大。在这种情况下，可以计算出

个虚拟测试分类器（18）。如果这些分类器（18）之一提供值

，则仿真结果可以被视为可靠。这能够实现更准确的归类，因为一些误差量度（14）对于特定要求来说可能比其它误差量度更适合。

替代地，虚拟测试分类器（18）可以在随机框架内被定义，在该虚拟测试分类器中，输入被假设为——按照任意的概率密度函数——随机分布。为此，

表示在假设误差量度（14）取值

的情况下满足量度（13）的偏差的条件累积分布函数。在分类器（18）做出正确决策的概率的阈值

的情况下（因此值

通常接近1），虚拟测试分类器（18）可以按如下地被定义：

公式3

图4在如下假设的情况下从应用角度阐明了按照本发明的方法（10）：

·给出了用于仿真（11）的模型以及测试（12）的集合连同所定义的输入参数。

·要求

可量化而且被预先给定而且在监控系统的框架内被实现，该监控系统关于这些要求的满足量度（13）方面对测试（12）进行分析。在该图示中，两个满足量度（13）都涉及同一要求

，然而该要求依据仿真（11）被评估一次并且在系统上的实验测量（21）的过程中被评估一次。

·

是预先被定义的误差量度（14）。即，对于一些测试输入来说，已经执行了仿真（11）和测量（21），而且误差量度（14）将相对应的测试（12）一般化到新的、到目前为止尚未执行的具有一定可靠性的实验上，该可靠性例如通过误差量度（14）的上限和下限来被确定。对于分类器（18——图1至3）来说，仅仅使用最不利的、即最高的误差量度（14）。应注意：分类器（18）可以被用于进一步完善误差量度（14）。

在这些假设下，方法（10）可构成：

1. 按照上文的阐述来定义分类器（18）。

2. 针对每个变体执行测试（12），其中产生输出信号。

3. 这些输出信号关于要求

的满足量度（13）和仿真（11）的按照

误差模型的误差量度（14）来被分析并且被输送给分类器（18）。

4. 对于每个测试（12）来说，相应平台的分类器（18）都实行归类（15）为如下类别（A、B、C、D——图1）之一：测试（12）在仿真（11）中成功且该测试的结果可靠（16）；测试在仿真（11）中失败并且该测试的结果可靠（16）；或者仿真（11）的结果不可靠（17）。

5. 对其来说仿真（11）现在被视为值得信赖的可靠的（16）测试结果被添加（36）给相对应的数据库。

6. 不可靠的（17）测试（12）可以引起向用户推荐在系统上执行相对应的测量（21）。

7. 以所描述的方式，SUT的各种变体都可以经过仿真（11）并且经分析的输出信号可以被输送给分类器（18）。用于在这种情况下保证可伸缩性的各种方法能从如下的论述中得知并且是方法（10）的重点。

8. 可选地，实验测量（21）可以手动或自动被引入或者测试可以通过基于搜索的测试（search-based testing，SBT）来被选择（37）。

归类（15）的结果优先被用于在适合于仿真（11）的这种测试（12）与其执行需要实验测量（21）的这种测试（12）之间进行区分（31）。此外，这可以被用于改善测试数据库（32）、仿真模型（33）、生效模型（34）或分类器本身（35）。

图5和6允许对SUT的各种变体（41、42）可以如何借助于分类器来被测试的过程概览，该分类器通过根据图示所呈现的过程来被产生。这些图示阐明了在仿真（11）的过程中执行变体（41、42）的测试（12）的两种可能性。

在图5中示出的第一方法在这种情况下根据唯一的变体（41）来产生分类器。接着，该分类器可以被用于划分其余变体——在图5和6中示范性地：第二变体（42）——的由满足量度（13）和误差量度（14）所张开的特征空间（在下文：“测试空间”）。

因此，如图7中所示，使用SUT、在该示例中为车辆的唯一变体（41），以便基于满足量度（13）和误差量度（14）来创建分类器。第二变体（42）的误差量度（14）直接从该生效模型中借用。这就不需要例如针对第二（42）以及其它变体的实验测量。因此，借助于仿真（11）来执行的测试（12）只还需要关于同一要求被分析，以便纯仿真式地确定该要求的满足量度（13）。在图8中示出了针对第二变体（42）所得到的满足量度（13）和误差量度（14）。因此，基于依据第一变体（41）所获得的分类器，该测试空间也可以被划分成类别（A、B、C、D——参见图1）；在图9和10中示出的、通过测试参数（26、27）——根据图示示例性地是另一车辆的驶入点和本车（专业术语：“Ego-Fahrzeug”）的以m/sec为单位的初始速度——所张开的这些测量参数的特征空间（在下文：“参数空间”）阐明了该归类。

最后，对分类器的质量进行评估，以便保证针对SUT的各种变体（41、42）的归类（15——图5）合理。该评估例如可以通过将针对不同变体（41、42）所确定的满足量度（13）和误差量度（14）的分布进行比较来实现。图5中示出的方法特别适合于对于这些变体（41、42）中的多个变体来说已经存在跨变体的要求的满足量度（13）的情况。

作为替代方案，图6阐明了如下方案，其中多个SUT-变体（41、42）被选择并且经历对分类性能的评估（38），以便获得有代表性的分类器。如图11中所示，SUT的变体（这里是：41、42、43、44）为此通过特定的一组被考虑的参数（26、27）来被定义，这些参数可以通过原件设备制造商（original equipment manufacturer，OEM）或仿真工程师的规定来被定义，这些原件设备制造商或仿真工程师例如从当前规范中得出这些参数（26、27）。为了取得针对这些不同的变体（41、42、43、44）的决策边界（19——图12），应对这些变体做出适当选择，以便确保该方法关于所检查的值域的可伸缩性。由于可以针对该清晰数目的变体（41、42、43、44）以合理花费来定义分类器，所以依据这些变体的性能评估（38）可以取得也适合于全部变体的整体的决策边界（19）。

图13依据另一示例概述了在参数空间中的分类结果的可能的可视化。针对测试（12）的特定参数（26、27）——根据图示示范性地是驶入到自己车道的车辆的距离和质量——将满足量度（13）和误差量度（14）分别呈现为在参数空间中的点。然后，在虚拟测试环境（29）中，通过分类器（18）在参数空间中实现测试（12）的归类（15）的可视化（28）。

该方法（10）例如可以以软件或硬件或者以软件和硬件的混合形式例如实现在工作站（30）中，如图14的示意图所阐明的那样。

Claims (11)

1.用于对技术系统、尤其是至少部分自主机器人或车辆进行检查的方法（10），

其特征在于如下特征：

- 借助于对所述系统的不同变体的仿真（11）来执行测试（12），

- 所述测试（12）关于对所述系统的定量要求的满足量度（13）和所述仿真（11）的误差量度（14）来被分析，并且

- 根据所述满足量度（13）和误差量度（14）来将所述测试（12）跨所述变体地归类（15）为可靠（16）或不可靠（17）。

2.根据权利要求1所述的方法（10），

其特征在于如下特征：

- 通过分类器（18）依据特征向量（13，14）来进行所述归类（15），而且

- 所述满足量度（13）和误差量度（14）构成所述特征向量（13，14）的组成部分。

3.根据权利要求2所述的方法（10），

其特征在于如下特征：

- 所述分类器（18）将所述特征向量（13，14）映射到多个类别（A、B、C、D）之一上，而且

- 在所述类别（A、B、C、D）之间的预先给定的决策边界（19）之内进行所述归类（15）。

4.根据权利要求3所述的方法（10），

其特征在于如下特征：

- 在准备阶段（20）中，通过在所述系统上的实验测量（21）来对所述仿真（11）进行确认，

- 所述决策边界（19）被取得为使得一方面在所述仿真（11）中取得的满足量度（13）与另一方面在所述测量（21）中取得的满足量度偏差得尽可能小，而且

- 优选地其它在所述准备阶段（20）中要执行的测试（12）自动被选择（22）。

5.根据权利要求3所述的方法（10），

其特征在于如下特征：

- 所述分类器（18）通过对方程组的求解（23）来被定义，而且

- 所述方程组包括对所述满足量度（13）和误差量度（14）的定义方程。

6.根据权利要求1至5中任一项所述的方法（10），

其特征在于如下特征：

- 所述分析进行为使得所述满足量度（13）当所述系统满足（24）所述要求时为正并且当所述系统不满足（25）所述要求时为负。

7.根据权利要求1至6中任一项所述的方法（10），

其特征在于如下特征：

- 对于所述测试（12）的特定参数（26、27）来说，所述满足量度（13）和误差量度（14）分别在通过所述参数（26、27）所张开的特征空间中被呈现，而且

- 根据所述分析进行所述归类（15）在所述特征空间中的可视化（28）。

8.根据权利要求1至7中任一项所述的方法（10），其特征在于，自动改善所述系统的通过所述检查所识别出的误差。

9.计算机程序，所述计算机程序被设立为实施根据权利要求1至8中任一项所述的方法（10）。

10.机器可读存储介质，在其上存储有根据权利要求9所述的计算机程序。

11.设备（30），所述设备被设立为实施根据权利要求1至8中任一项所述的方法（10）。

Images