CN113704084A - 用于检查技术系统的方法和设备 - Google Patents

Abstract

用于检查技术系统的方法（10）和设备，其特征在于以下特征：借助于所述系统的仿真（11）来执行测试（12），在对所述系统的定量要求的满足度量（13）和所述仿真（11）的误差度量（14）方面对所述测试（12）进行评估，根据满足度量（13）和误差度量（14）将所述测试（12）归类为可靠或不可靠，以及从通过用户（33）进行的归类和与此相关的预给定（32）中导出（31）适用于所述误差度量（14）的阈值（34）。

Description

用于检查技术系统的方法和设备

技术领域

本发明涉及一种用于检查技术系统的方法。此外，本发明还涉及一种对应的设备、一种对应的计算机程序以及一种对应的存储介质。

背景技术

在软件技术中，用上位概念“基于模型的测试”（model-based testing，MBT）汇总了将模型用于对测试活动自动化并在测试过程中生成测试假象（Testartefakte）的用途。例如，由描述待测试系统的目标行为的模型生成测试情况是众所周知的。

特别是嵌入式系统（embedded systems）依赖于传感器的确定性输入信号，并且又通过向极为不同的执行器输出的信号来刺激其环境。因此，在这种系统的验证和前期开发阶段的过程中，对该系统的模型（model in the loop，循环中的模型，MiL）、软件（softwarein the loop，循环中的软件，SiL）、处理器（processor in the loop，循环中的处理器，PiL）或整个硬件（hardware in the loop，循环中的硬件，HiL）与环境模型一起在调节回路中进行仿真。在车辆技术中，有时将与该原理相对应的用于根据测试阶段和测试对象检查电子控制设备的仿真器称为组件试验台、模块试验台或集成试验台。

DE10303489A1公开了这种用于测试车辆、电动工具或机器人系统的控制单元的软件的方法，其中通过测试系统至少部分地仿真可由所述控制单元控制的调节段，其方式是从所述控制单元产生输出信号并且将所述控制单元的输出信号经由第一连接传输到第一硬件模块，将第二硬件模块的信号作为输入信号经由第二连接传输到所述控制单元，其中所述输出信号作为软件中的第一控制值提供并且附加地经由通信接口相对于所述调节段实时地传输到所述测试系统。

这种仿真在各种技术领域中得到广泛应用，并且例如用于检查电动工具中的嵌入式系统、用于驱动、转向和制动系统的电机控制设备、相机系统、具有人工智能和机器学习组件的系统、机器人系统或自主车辆在它们的早期开发阶段中的适用性。然而，由于缺乏对根据现有技术的仿真模型结果的可靠性的信任，根据现有技术的仿真模型结果仅有限地被引入释放判定中。

发明内容

本发明提供了根据独立权利要求的用于检查技术系统的方法、对应的设备、对应的计算机程序以及对应的存储介质。

根据本发明的方案基于以下认识：仿真模型的品质对于可以用所述仿真模型实现的测试结果的正确可预测性起决定性作用。在MBT领域，确认（Validierung）的子学科具有将真实测量与仿真结果进行比较的任务。为此使用各种度量、数值或其他比较器，它们应当将信号彼此逻辑关联并且在下文中统称为信号度量（SM）。这种信号度量的示例是将大小、相移和相关性进行比较的度量。一些信号度量通过相关标准定义，例如按照ISO 18571。

一般而言，不确定性量化技术支持对仿真和模型品质的估计。使用信号度量或更一般地使用不确定性量化方法针对特定输入X（所述特定输入可以是参数或场景）来评估模型品质的结果在下面称为仿真模型误差度量（简称：误差度量）SMerrorX。为了针对先前未考察的输入、参数或场景X来一般化（内插和外推）SMerrorX，可以使用机器学习模型，例如基于所谓的高斯过程的机器学习模型。

在验证（Verifizierung）期间，典型地基于要求、规范或性能指标来检查试验物（system under test，SUT，被测系统）。应当注意，布尔形式的要求或规范通常可以被转换为定量测量，其方式是使用诸如信号时序逻辑（signal temporal logic，STL）的形式主义。这种形式主义可以用作定量语义的基础，只要正值指示满足要求，而负值指示违反要求，所述定量语义就表示验证的一般化。在下文中，这样的要求、规范或性能度量统称为“定量要求”（QSpec）。

可以基于真实SUT或真实SUT的模型（即“虚拟SUT”）来检查这种定量要求。为了进行所述验证，将目录与SUT必须满足的测试情况汇编在一起，以判定SUT是否具有期望的性能和安全特性。可以对这样的测试情况进行参数化，从而涵盖任意数量的个体测试。

在这种背景下，所提出的方案考虑了对可靠（belastbar）测试结果的需求，以保证SUT的性能和安全特性。正是在基于所述系统或子组件的仿真（而不是真实系统）来执行测试的情况下，确保了仿真结果是值得信赖的。

确认技术用于估计仿真模型与真实测量一致的程度。仿真结果与真实测量之间的比较是使用确认误差度量SMerrorX进行的，所述确认误差度量通过内插和外推进行一般化，从而无需进行对应的测量就可以预测新输入X的误差度量。但是，SMerrorX的预测与不确定性相关，可以将所述不确定性建模为间隔或概率分布。

确认工程师面临的一个问题在于为误差度量SmerrorX设定适当的阈值。借助于该方法可以导出对确认模型的对应要求。因为经常出现的困难在于以下事实：通常不知道确认度量的哪些值被认为是足够的，从而对确认结果的解释有时是主观进行的。因此，借助于根据本发明的方法可以创建用于确认工程师的指南，该指南捆绑了在发布较早产品的范围内所获得的知识，并且系统地规定了对所述误差度量提出的要求。

该解决方案的优点在于，与仅基于确认或仅基于验证的概念相反，该解决方案巧妙地结合了两种方案。为此引入了“虚拟测试分类器”，该虚拟测试分类器组合了模型确认和产品测试的要求。这是通过将一方面来自仿真和模型品质（SMerrorX）确认的信息与另一方面来自测试要求（QSpec）的信息逻辑关联而实现的。

对应的测试可以在极为不同的领域中应用。例如，应当考虑自动化系统的功能安全性，所述自动化系统例如用于驾驶功能的自动化（automated driving，自主驾驶）。

通过从属权利要求中列出的措施可以对独立权利要求中说明的基本思想进行有利的扩展和改进。从而可以设置自动化的、计算机实现的测试环境，以在很大程度上自动改善被测试硬件产品或软件产品的质量。

附图说明

在附图中示出了本发明的实施例，并且在下面的描述中对这些实施例进行了更详细的解释。

图1示出了虚拟测试分类器。

图2示出了用于基于数据来产生分类器的判定边界的第一方案。

图3示出了用于基于公式解产生分类器的判定边界的第二方案。

图4示出了从应用角度对根据本发明的方法的描述。

图5示意性地示出了工作站。

具体实施方式

根据本发明，在测试X的范围中评估仿真模型误差SMerrorX并且基于SUT的仿真来估计定量规范QSpec，所述测试X可以从测试目录中作为测试情况获得或作为参数化测试的实例获得。虚拟测试分类器使用SMerrorX和QSpec作为输入，并对基于所述仿真的测试结果是否值得信赖做出二进制判定。

根据在信息学并且特别是模式识别中常见的语言使用，分类器在此应理解为将特征空间映射为在分类过程中形成并彼此分界的类别集合的任何算法或任何数学函数。为了能够判定应当将对象归类或分类到哪个类别中（通常也称为“分类”），分类器使用所谓的类别边界或判定边界。如果方法与实例之间的区别不重要，则在技术语言中使用术语“分类器”，并且在下面也部分地与“归类”或“分类”同义。

图1图解了当前应用示例中的这种归类。在此，每个点都对应于通过仿真执行并且被计算了要求QSpec的满足度量13和误差度量14 SMerrorX的测试。在这种情况下，将QSpec定义为，使得其在所述测试表明所述系统满足相应要求时采取正值（附图标记24），而在所述系统未满足该要求时采取负值（附图标记25）。

从图中可以看出，分类器18的判定边界19将空间细分为四个类别A，B，C和D。所述系统将以高可靠性通过类别A的测试。对于类别B和类别C的测试，所述仿真仅提供不可靠的结果；因此必须在真实系统上执行这种测试。类别D的测试将在所述系统上以高可靠性失败。

该虚拟测试分类器18基于以下考虑：只有在假设模型误差14最多为边际误差时，仿真中勉强得到满足的要求才可以代替真实系统的测试。另一方面，在定量要求“QSpec”的满足度量13的绝对值较高（即已远远超出预定值或明显错过预定值）的情况下，可以接受仿真结果与对应实验测量的一定偏差。

由于该考察方式以对所述仿真模型的模型误差SMerrorX的认识为前提，因此假设在使用虚拟测试分类器18之前对所述仿真模型进行了验证和确认。在确认的范围中，例如应当基于高斯过程或以其他方式通过机器学习形成一般化模型，该一般化模型针对给定的X提供SMerrorX。在此应当注意的是，所述仿真的可信度很大程度上取决于该一般化模型的正确性。

图2示出了用于基于数据来产生分类器18的判定边界19（图1）的可能方案。在最简单的情况下，边界19在此沿着穿过原点的直线分布。该直线的斜率优选被选择为，使得所有以下点都位于区域C和B中并且这些区域也尽可能地小，在这些点处定量要求QSpec的满足度量13在仿真11和真实测量21之间在符号方面不同，即相当于所述仿真模型失败的所有测试12。

此外考察更一般的例如多项式的判定边界19，借助于线性编程对该判定边界的函数曲线进行适配，使得该函数曲线满足分类器18 VTC的标准。在这种情况下，所有以下点也位于区域C和B中，在这些点处定量要求QSpec的满足度量13在仿真11与真实测量21之间在符号方面不同，即相当于所述仿真模型失败的所有测试12。

图3示出了通过求解23公式形式的方程组来定义分类器18的替代方案，满足度量13和误差度量14的定义方程式基于该方程组。可以选择确定性地或随机地说明所得到的函数，该函数将真值分配给由这两个度量形成的特征向量13、14。

为了下面的执行，假定I为输入集合，O为输出集合（可能还包括输入），以及

是作为函数的系统模型和真实系统，仅对有限数量的输入才可以通过仿真11或实验测量21观察所述函数。此外，假定

是仿真模型误差SMerrorX，即两个彼此对应的输出之间的距离或误差度量14。最后，假定

是所有以下输入的集合，针对这些输入误差度量14采取值ϵ。

从这些定义出发，对于每个输入i∈I_ϵ，可以如下通过项来向上限制要求的满足度量13的偏差，所述项既不取决于m₁也不取决于m₂：

公式1

。

因此，分类器18得出

公式2

。

在此，在

的情况下，在m₁和m₂关于p一致的意义上将所述仿真模型归类为可靠。应当注意，分类器18要求q的倒数。

该表示的主要优点在于，可以与m₁和m₂无关地制定虚拟测试分类器18，因为该虚拟测试分类器仅取决于定量要求的满足度量13和误差度量14。因此，从单个误差度量14和复数n个定量要求出发，可以计算n个虚拟测试分类器18，即每个要求一个。因此，该模型仅需针对误差度量14进行一次确认，而无需例如针对每个单独的要求进行确认。

对于复数m个误差度量和复数n个定量要求，可以通过简单的方式将这种考察一般化，其中m典型地非常小而n大。在这种情况下，可以计算n·m个虚拟测试分类器18。如果这些分类器18之一提供值W，则仿真结果可以被认为是可靠的。这使得可以进行更精确的归类，因为一些误差度量14可能比另一些误差度量更适合特定要求。

替代地，可以在随机范围中定义虚拟测试分类器18，在该随机范围中根据任意概率密度函数假设输入是随机分布的。为此

表示在误差度量14采取值ϵ的假设下，满足度量13的偏差的有条件的累积分布函数。在分类器18做出正确判定的概率的阈值为τ∈（0.1）的情况下—值τ因此典型地接近1，虚拟测试分类器18可以定义如下：

公式3

。

图4在以下假设下从应用角度阐明了根据本发明的方法10：

· 给定了用于仿真11的模型以及测试12的集合以及定义的输入参数。

· 要求QSpec是可量化和预给定的，并且在监视系统的范围中实现，所述监视系统针对这些要求的满足度量13来评估测试12。在该图中，两个满足度量13都涉及相同的要求QSpec，但是一次基于仿真11和一次通过在系统上的实验测量21对所述要求QSpec进行估计。

· SMerrorX是预先定义的误差度量14。因此针对一些测试输入已经执行了仿真11和测量21，而误差度量14将对应的测试12一般化为具有一定可靠性的新的先前未执行的实验，所述可靠性例如通过误差度量14的上限和下限确定。对于分类器18（参见下面），仅使用最不利的、即最高的误差度量14。应当注意，分类器18可以用于进一步改善误差度量14。

在这些假设下，方法10可以被如下设计：

1. 借助于仿真11来执行测试12，其中产生输出信号。

2. 根据以上解释来定义初步分类器18。

3. 用户33基于相同的数据点来预给定32期望的分类器，该期望的分类器允许首先违反通常对分类器提出的正确性条件。

4. 根据SMerrorX误差模型，分别在要求QSpec的满足度量13和仿真11的误差度量14方面来评估所述输出信号。例如，如果将均方误差用作误差度量14并且结果为1.5，则方法10向用户33发布用于实现与预给定32相对应的目标值的建议。

5. 典型地，根据预给定32，判定边界19沿着更陡峭的直线延伸，从而更多的测试12被归类为可靠。如果根据预给定32应将已通过目前使用的分类器18归类为不可靠的测试12归类为可靠，则确定31误差度量14的阈值34，该阈值重新放置分类器18的判定边界19，使得所考虑的测试12取而代之地落入图1中边界19上方所示的类别B或C中。确认工程师使用该值作为判定所确定的误差度量应被认为是“好”还是“坏”36的准则35或标准。

如图5中的示意图所示，该方法10可以例如以软件或硬件或者以软件和硬件的混合形式例如在工作站30中实现。

Claims (11)

1.一种用于检查技术系统、特别是至少部分自主的机器人或车辆的方法（10），

其特征在于以下特征：

借助于所述系统的仿真（11）来执行测试（12），

在对所述系统的定量要求的满足度量（13）和所述仿真（11）的误差度量（14）方面对所述测试（12）进行评估，

根据满足度量（13）和误差度量（14）将所述测试（12）归类为可靠或不可靠，以及

从通过用户（33）进行的归类和与此相关的预给定（32）中导出（31）适用于所述误差度量（14）的阈值（34）。

2.根据权利要求1所述的方法（10），

其特征在于以下特征：

通过分类器（18）基于特征向量（13、14）进行所述归类，以及

满足度量（13）和误差度量（14）形成所述特征向量（13、14）的组成部分。

3.根据权利要求2所述的方法（10），

其特征在于以下特征：

所述分类器（18）将所述特征向量（13、14）映射为多个类别（A，B，C，D）中的一个，以及

所述归类在所述类别（A，B，C，D）之间的预给定判定边界（19）内进行。

4.根据权利要求3所述的方法（10），

其特征在于以下特征：

在准备阶段（20）中通过在所述系统上的实验测量（21）确认所述仿真（11），

所述判定边界（19）被绘制为，使得一方面在所述仿真（11）中而另一方面在所述测量（21）中取得的满足度量（13）尽可能小地偏离，以及

优选自动选择（22）要在所述准备阶段（20）中执行的其他测试（12）。

5.根据权利要求3所述的方法（10），

其特征在于以下特征：

通过求解（23）方程组来定义所述分类器（18），以及

所述方程组包括满足度量（13）和误差度量（14）的定义方程。

6.根据权利要求1至5中任一项所述的方法（10），

其特征在于以下特征：

所述评估以如下方式进行：如果所述系统满足（24）所述要求，则所述满足度量（13）为正，并且如果所述系统不满足（25）所述要求，则所述满足度量（13）为负。

7.根据权利要求1至6中任一项所述的方法（10），

其特征在于以下特征：

将所述阈值（34）添加到用于确认所述仿真（11）的准则（36）中。

8.根据权利要求1至7中任一项所述的方法（10），其特征在于，自动改善所述系统的通过所述检查识别的误差。

9.一种计算机程序，其被设置为执行根据权利要求1至8中任一项所述的方法（10）。

10.一种机器可读存储介质，其上存储有根据权利要求9所述的计算机程序。

11.一种设备（30），其被设置为执行根据权利要求1至8中任一项所述的方法（10）。

Images