CN113722207A - 用于检查技术系统的方法和装置 - Google Patents

Abstract

用于检查技术系统的方法（10），其特征在于下列特征：‑借助于所述系统的模拟（11）来执行测试（12）；‑在对所述系统的定量要求的满足程度（13）和所述模拟（11）的不同的误差程度（14）方面分析所述测试（12）；‑与所述满足程度（13）和所述误差程度（14）中的每个误差程度相关地，根据情况将所述测试（12）分级（15）为要么可靠（16）要么不可靠；以及‑与被分级为可靠（16）的多个测试（12）相关地，在所述误差程度（14）下进行选择（32）。

Description

用于检查技术系统的方法和装置

技术领域

本发明涉及一种用于检查技术系统的方法。此外本发明涉及一种相应的装置、一种相应的计算机程序以及一种相应的存储介质。

背景技术

在软件技术中，上位概念“基于模型的测试”（英文：model-based testing，MBT）概括了用于自动化测试活动的模型以及用于在测试过程中生成测试工件（Testartefakten）的模型的使用。例如，从描述要测试的系统的目标行为的模型中生成测试用例是众所周知的。

尤其是嵌入式系统（英文：embedded systems）依赖于传感器的决定性的（schlüssige）输入信号并又通过到各种不同的执行器上的输出信号来刺激其环境。因此在这种系统的查证和上游研发阶段中，在调节环路中该系统的模型（模型在环，英文：model in theloop，MiL）、软件（软件在环，英文：software in the loop, SiL）、处理器（处理器在环，英文：processor in the loop, PiL）或全部的硬件（硬件在环，英文：hardware in theloop, HiL）与周围环境的模型一起被模拟。在交通工具技术中，相应于该原理的用于检查电子控制设备的模拟器视测试阶段和测试对象而定有时被称作组件检查台、模块检查台或集成检查台。

DE10303489A1公开了一种用于测试交通工具的、电动工具的或机器人系统的控制单元的软件的这类方法，其中，通过测试系统至少部分地模拟由控制单元可控制的调节路径，其方式是，由控制单元产生输出信号并将控制单元的输出信号经由第一连接传输至第一硬件构建块并将第二硬件构建块的信号作为输入信号经由第二连接传输至控制单元，其中，输出信号被提供作为软件中的第一控制值并附加地经由通信接口关于调节路径实时地被传输至测试系统。

这类模拟被推广到不同的技术领域上且例如被使用来对电动工具中的嵌入式系统、用于驱动系统、转向系统和制动系统的马达控制设备、摄像系统、具有人工智能组件的和机器学习组件的系统、机器人系统或自主交通工具在其研发的早期阶段中进行适用性检查。尽管如此，根据现有技术的模拟模型的结果由于在其可靠性上缺少的可信度而仅受限地被纳入到发布决定（Freigabeentscheidungen）中。

发明内容

本发明提供了根据独立权利要求所述的一种用于检查技术系统的方法、一种相应的装置、一种相应的计算机程序以及一种相应的存储介质。

根据本发明的方案基于如下认知，即，模拟模型的品质对于由此可获得的测试结果的准确可预测性是决定性的。在MBT领域，验证的分类方法（Teildisziplin）涉及将实际测量与模拟结果进行比较的任务。为此使用不同的度量（Metriken）、量纲数（Maßzahlen）或另外的比较器，它们使信号彼此关联并且它们在下文中应被归纳性称作信号度量（Signalmetriken，SM）。例如针对这类信号度量，将度量、大小、相移和相关性进行比较。一些信号度量通过有关的标准来定义，例如根据ISO 18571。

一般而言，不确定度量化技术（Unsicherheitsquantifizierungstechniken）支持对模拟品质和模型品质的估计。在引入信号度量情况下或一般性地在使用不确定度量化技术的情况下针对可以涉及参数或场景的特定输入X的模型品质的评估结果下面被称作模拟模型误差度量-简称：误差度量-SMerrorX。为了针对先前未考虑的输入、参数或场景X的SMerrorX的泛化（Verallgemeinerung）（内插和外推），可以例如在所谓的高斯过程的基础上使用机器学习模型。

在查证时，典型地根据要求、规范或能力特征数（Leistungskennzahl）来调查检验物（测试下的系统，英文：system under test, SUT）。要注意的是，布尔形式的要求或规范通常可以使用诸如信号时间逻辑（英文：signal temporal logic, STL）之类的形式（Formalismen）被转换为定量测量。这类形式可以用作定量语义的基础，该定量语义就这点而言被表示为查证的泛化，作为正值指示满足要求以及作为负值指示不满足要求。下文中这种要求、规范或能力程度被归纳性称作“定量要求”（QSpec）。

诸如此类的定量要求可以要么根据真实SUT要么根据其模型-如同“虚拟SUT”-进行查验。为了查证的目的，将目录与SUT必须满足的测试情况相结合，以便决定其是否具有所希望的能力特性和确定度特性（Sicherheitseigenschaften）。这种测试情况可以被参数化并因此覆盖了任意数量的单个测试。

在该背景下，所提出的方案考虑了对可承受的测试结果的需求，以保证SUT的能力特性和确定度特性。根据系统或子组件-而不是真实系统的模拟-执行测试时，确保模拟结果值得信赖是很重要的。

为此目的，使用验证技术来评估模拟模型和真实测量匹配的程度。模拟结果与真实测量之间的比较是在使用验证误差度量SMerrorX的情况下进行的，该验证误差度量通过内插和外推进行泛化，使得无需进行相应的测量就可以针对新的输入X来预测误差程度。但是，SMerrorX的预测与不确定度相关，该不确定度可以建模为间隔或概率分布。

所提出的方法有助于选择合适的模拟和模型品质验证度量SMerrorX。虽然原则上已知不同的验证度量，例如均方误差或已经提到的标准ISO 18571。在实践中在这些度量中进行选择仍然被证明是一个挑战，因为一特定度量的适用性在很大程度上取决于对SUT提出的要求QSpec。为了解决该问题，根据本发明的方案因此追溯到在这些要求QSpec方面已经执行的测试的分析。

该解决方案的一个优势是，与仅基于验证或仅基于查证的理念相比，它以巧妙的方式结合了两种方案。为此，引入了“虚拟测试分类器（virtueller Test-Klassifikator）”，该虚拟测试分类器将模型验证和产品测试的需求进行了组合。这是通过将来自一方面模拟品质和模型品质的验证（SMerrorX）的信息和另一方面测试要求（QSpec）的信息进行关联来实现的。

可以在各种不同的领域中考虑相应测试的应用。例如，可以考虑自动化系统的功能上的确定度，例如那些用于自动化驾驶功能（automated driving）的系统。

通过从属权利要求中列出的措施使得能够对独立权利要求中记载的基本构思进行有利的改进和改善。因此可以设置一个自动化的、计算机实施的测试环境，以在很大程度上自主改善被测试硬件产品或软件产品的品质。

附图说明

在附图中示出并在下面的描述中详细阐释本发明的实施例。其中：

图1示出了虚拟的测试分类器。

图2示出了用于基于数据来产生分类器的决定边界（Entscheidungsgrenze）的第一方案。

图3示出了用于基于形式上的解决方案来产生分类器的决定边界的第二方案。

图4示出了分类器的使用，以选择适当的验证度量SMerrorX。

图5示意性示出了工作站。

具体实施方式

根据本发明，测试X可以作为测试情况从测试目录中提取或作为参数测试的实例（Instanz）获得，在该测试X的范畴内，分析模拟模型误差SMerrorX并基于SUT的模拟来评估定量规范QSpec。虚拟测试分类器使用SMerrorX和QSpec作为输入值，并对基于模拟的测试结果是否可信做出二进制（binäre）决定。

根据在信息学并尤其是模式识别中常用的语言用法，作为分类器在此情况下可以被理解为任何算法或任何数学函数，它们将一特征空间映射到在分类过程中形成并被彼此分离的一定数量的等级上。为了能够决定将对象分级或分类到哪个等级中（通俗地说，也就是：“分等级，klassifizieren”），分类器使用所谓的等级边界或决定边界。如果方法与实例之间的区别不重要，则术语“分类器”在专业语言中并且在下面也部分地与“分级”或“分类”同义地使用。

图1图解了在当前应用示例中的这种分级。在此情况下，每个点相应于一测试，该测试通过模拟的方式来执行并针对该测试计算了要求QSpec的满足程度（Erfüllungsmaß）（13）以及误差程度（Fehlermaß）（14）SMerrorX。在这种情况下，QSpec被定义为，使得在该测试能够推测该系统满足对应的要求时使用正值（附图标记24），而在该系统未满足要求时使用负值（附图标记25）。

如该图示可以识别的那样，分类器（18）的决定边界（19）将空间划分为四个等级A、B、C和D。具有高可靠性的系统将通过等级A的测试。对于等级B和C的测试，模拟仅提供了不可靠的结果；因此，要在真实系统上执行此类测试。等级D的测试将在具有高可靠性的系统上失败。

该虚拟测试分类器（18）基于这样的考虑，即，只有当可假设至多是边际的（marginalen）模型误差（14）时，在模拟中仅勉强满足的要求才能代替对真实系统的试验。另一方面，在定量要求“QSpec”的数值上高的满足程度（13）的情况下，即在已远远超出的或明显错误的预设的情况下，可以容忍模拟结果与相应实验性测量的一定偏差。

由于该考虑方式以了解模拟模型的模型误差SMerrorX为前提，所以可以假设，模拟模型在使用虚拟测试分类器（18）之前已经过查证（Verifikation）和验证（Validierung）。在该验证的范畴内应当-例如基于高斯过程或以其他方式通过机器学习-形成一泛化模型，该泛化模型针对给定的X提供了 SMerrorX。在此要注意的是，模拟的可靠性决定性地取决于该广义模型的准确性。

图2示出了用于基于数据来产生分类器（18）的决定边界（19-图1）的一种可能方案。在最简单的情况下，边界（19）在此情况下沿一原点直线（Ursprungsgeraden）延伸。优选可以这样选择直线的斜率，使得在其中在模拟（11）和真实测量（21）之间的定量要求QSpec的满足程度（13）在符号上不同的所有点-即如同模拟模型失败的所有测试（12 ）-位于区域C和B中并且这些区域此外尽可能小。

还可以考虑一般性的、例如多项式的决定边界（19），其函数曲线借助于线性编程进行适配，以使其满足分类器（18）VTC的标准。在这种情况下，在其中在模拟（11）和真实测量（21）之间的定量要求QSpec的满足程度（13）在符号上不同的所有点-即如同模拟模型失败的所有测试（12 ）-也位于区域C和B中。

图3示出了通过求解（23）方程组的形式来定义分类器（18）的替代方案，满足程度（13）和误差程度（14）的定义方程式基于该方程组。以可选方式可以确定性地或随机地指定合成函数，该合成函数将真实值（Wahrheitswert）配属给由这两个程度所形成的特征向量（13、14）。

针对以下实施方案的目的，

为输入组（Eingabemenge），

为-可能也包括输入的-输出组，以及

，将系统模型和真实系统作为如下的函数，这些函数只能针对有限数量的输入通过模拟（11）或者说实验测量（21）进行观察。此外，令

为模拟模型误差SMerrorX，即两个彼此相应的输出的距离程度或误差程度（14）。最后，令

是所有输入的组，针对该组，误差程度（14）取值ϵ。

从这些定义出发，针对每个输入

的要求的满足程度（13）的偏差可以如下那样通过一个项（Term）向上受到限制，该项与

和

都不相关：

公式1

由此获得至公式2的分类器（18）。

公式2

。

模拟模型在此在

的情况下在如下意义上被分级为可靠，即，

和

在p方面一致。要注意的是，分类器（18）要求q的倒数（Umkehrung）。

该表述的主要优点在于，虚拟测试分类器（18）可以与

和

无关地制定，因为它仅与定量要求的满足程度（13）和误差程度（14）相关。从唯一的误差程度（14）和复数n个定量要求出发，因此可以计算出n个虚拟测试分类器（18），即针对每个定量要求计算一个虚拟测试分类器。因此，该模型仅需关于误差程度（14）进行一次验证，而无需例如针对每个单个的要求进行验证。

对于复数m个误差程度和复数n个定量要求，可以以简单的方式将这种考虑泛化，其中，m通常非常小，而n通常大。在这种情况下，可以计算

个虚拟测试分类器（18）。如果这些分类器（18）之一提供了值W，则模拟结果可以被视为可靠。这实现了更加精确的分级，因为一些误差程度（14）可能比其他误差程度更适合特定要求。

备选地，可以在随机范畴内定义虚拟测试分类器（18），在该随机范畴内，根据一任意概率密度函数假设输入是随机分布的。为此，令

在误差程度（14）取值为ϵ的假设下表示满足程度（13）的偏差的所造成的累积的分布函数。在使用分类器（18）做出正确决定的概率的阈值

-值τ由此通常接近1-的情况下，虚拟测试分类器（18）可以被如下地定义：

公式3

图4在以下假设下从应用角度阐明了根据本发明的方法（10）：

•给出了针对模拟（11）的模型以及一组测试（12）连同定义的输入参数。

•要求QSpec是可定量的且预先给定的，并且在监视系统的范畴内实施，该监视系统在这些要求的满足程度（13）方面分析这些测试（12）。在该图中，两个满足程度（13）都涉及相同的要求QSpec，但是，该要求一次地根据模拟（11）并一次地通过系统上的实验性测量（21）被评估。

•SMerrorX是预先定义的误差程度（14）。对于一些测试输入，因此已经执行了模拟（11）和测量（21），而误差程度（14）将相应的测试（12）泛化为具有一定可靠性的新的先前未执行的实验，该可靠性例如由针对误差程度（14）的上边界和下边界来确定。对于分类器（18-图1至3），仅考虑最不利的、即最高的误差程度（14）。应当注意的是，分类器可以用于进一步细化（Verfeinerung）误差程度（14）。在以下实施方案的范畴内，出于简化的原因，将分类器等同于由该分类器进行的分级（15）。

在这些假设下，方法（10）可以如下地设计：

1. 根据以上给出的阐释，针对每个误差模型（31）定义一分类器。要注意的是，该方法（10）可以一般性地被解释为模拟和模型品质方法。

2. 借助于模拟（11）执行测试（12），其中，产生输出信号。

3. 在要求QSpec的满足程度（13）和针对每个误差模型（31）的误差程度（14）方面分析这些输出信号。

4. 针对每个误差模型（31），基于其的分类器在以下等级（A、B、C、D-图1）之一中进行分级（15）：所述测试（12）在模拟（11）中成功完成并且其结果是可靠的（16）；所述测试在模拟中失败（11）且其结果是可靠的（16）；或模拟（11）的结果是不可靠的。

5. 按照以下标准之一来选择分类器：

a）其结果被分级为可靠（16）的所有测试（12）的最大可能的数量，

b）失败的且其结果被分级为可靠（16）的测试（12）的最大可能的数量，-因此，注意力放在关键的测试上-，或

c）成功的且其结果被分级为可靠（16）的测试（12）的最大可能的数量，-因此，注意力放在已通过的测试上。

6. 返回（zurückgeliefert）（33）所选分类器的误差模型。

如图5中的示意图所示那样，该方法（10）可以例如以软件或硬件或者以软件和硬件的混合形式例如在工作站（30）中实施。

Claims (11)

1.用于检查技术系统的方法（10），所述技术系统尤其是至少部分自主的机器人或交通工具，

其特征在于下列特征：

- 借助于所述系统的模拟（11）来执行测试（12）；

- 在对所述系统的定量要求的满足程度（13）和所述模拟（11）的不同的误差程度（14）方面分析所述测试（12）；

- 与所述满足程度（13）和所述误差程度（14）中的每个误差程度相关地，根据情况将所述测试（12）分级（15）为要么可靠（16）要么不可靠；以及

- 与被分级为可靠（16）的多个测试（12）相关地，在所述误差程度（14）下进行选择（32）。

2.根据权利要求1所述的方法（10），

其特征在于下列特征：

- 针对所述误差程度（14）中的每个误差程度，通过分类器（18）根据特征向量（13、14）来进行所述分级（15）；以及

- 所述满足程度（13）和对应的误差程度（14）形成所述特征向量（13、14）的分量。

3.根据权利要求2所述的方法（10），

其特征在于下列特征：

- 所述分类器（18）将所述特征向量（13、14）映射到多个等级（A、B、C、D）之一上；以及

- 所述分级（15）在所述等级（A、B、C、D）之间的预先给定的决定边界（19）以内进行。

4.根据权利要求3所述的方法（10），

其特征在于下列特征：

- 在准备阶段（20）中，通过在所述系统上的实验性测量（21）来确认所述模拟（11）；

- 以如下方式设置所述决定边界（19），即，一方面在所述模拟（11）中和另一方面在所述测量（21）中采用的满足程度（13）尽可能小地偏离；以及

- 优选地，自主地选择（22）其他的在所述准备阶段（20）中待执行的测试（12）。

5.根据权利要求3所述的方法（10），

其特征在于下列特征：

- 针对对应的误差程度（14）的所述分类器（18）通过对方程组进行求解（23）来定义；以及

- 所述方程组包括所述满足程度（13）和对应的误差程度（14）的定义方程式。

6.根据权利要求1至5中任一项所述的方法（10），

其特征在于下列特征：

- 如下这样进行所述选择，即，当所述系统满足（24）所述要求时，所述满足程度（13）是正的，当所述系统不满足（25）所述要求时，所述满足程度是负的。

7.根据权利要求1至6中任一项所述的方法（10），

其特征在于下列特征：

- 所述选择（32）落在所述误差程度（14）下的如下误差程度上，对于该误差程度，被分级为可靠（16）的测试（12）的数量总计是最大的；

- 所述选择（32）落在所述误差程度（14）下的如下误差程度上，对于该误差程度，被分级为可靠（16）的测试（12）的数量是最大的，根据这些测试，所述系统满足（24）所述要求；或

- 所述选择（32）落在所述误差程度（14）下的如下误差程度上，对于该误差程度，总计被分级为可靠（16）的测试（12）的数量是最大的，根据这些测试，所述系统不满足（25）所述要求。

8.根据权利要求1至7中任一项所述的方法（10），其特征在于，由所述系统的通过所述检查识别出的误差来进行自动的改善。

9.计算机程序，其设置用于实施根据权利要求1至8中任一项所述的方法（10）。

10.机器可读的存储介质，在所述存储介质上存储根据权利要求9所述的计算机程序。

11.设置用于实施根据权利要求1至8中任一项所述的方法（10）的装置（30）。

Images