CN114840397A - 用于检验技术系统的方法和装置 - Google Patents

Abstract

用于检验技术系统的方法（10），其特征在于下列特征：‑借助给定的分布（33）计算系统的不确定性参数（34）的值分配或变化，‑借助系统的仿真（11）在所述不确定性参数（34）的变化中执行测试（12），‑就对系统的定量要求的满足量度（13）和所述仿真（11）的误差量度（14）而言评估所述测试（12），‑根据满足量度（13）和误差量度（14）在考虑到在所述仿真（11）中或系统处观察到的不确定性参数（34）的情况下，将所述测试（12）要么归类为可靠的，要么归类为不可靠的。

Description

用于检验技术系统的方法和装置

技术领域

本发明涉及一种用于检验技术系统的方法。此外，本发明还涉及一种相应的装置、一种相应的计算机程序以及一种相应的存储介质。

背景技术

在软件技术中，将利用模型在测试过程中自动化测试活动和生成测试制品（Testartefakt）概括在上位概念“基于模型的测试”（英文：model-based testing，简写为MBT）下。十分熟悉的例如是由描述了有待测试的系统的额定行为的模型生成测试用例。

嵌入式系统（英文：embedded system）尤其依赖于传感器的有说服力的输入信号并且又通过到最为不同的执行机构的输出信号刺激它们的环境。因此在这种系统的验证和前置的研发阶段的过程中，在调节回路中，将所述系统的模型（模型在环，英文：Model inthe Loop，简写为MiL）、软件（软件在环，英文：software in the loop，简写为SiL）、处理器（处理器在环，英文：processor in the loop，简写为PiL）或整个硬件（硬件在环，英文：hardware in the loop，简写为HiL）和环境的模型一起进行仿真。在车辆技术中，用于检验电子控制器的符合这个原理的仿真器视测试阶段和测试对象而定有时称为部件试验台、模块试验台或集成试验台。

DE10303489A1公开了这种用于测试车辆的、电动工具的或机器人制造技术系统的控制单元的软件的方法，在该方法中，通过测试系统以如下方式至少部分对能由控制单元控制的调节段（Regelstrecke）进行仿真，即，由控制单元产生输出信号并且将控制单元的这些输出信号通过第一连接传输给第一硬件组件并且将第二硬件组件的信号作为输入信号通过第二连接传输给控制单元，其中，提供输出信号作为软件中的第一控制值并且附加地通过通信接口实时地与调节段关连地将输出信号传输给测试系统。

这种仿真在不同的技术领域中推广并且例如用于在嵌入式系统的研发的早期阶段中对嵌入式系统在电动工具中、在用于驱动、转向和制动系统、相机系统、带有人工智能的和机器学习的部件的系统、机器人制造技术系统或自动车辆的马达控制器中的适应性进行检验。不过按照现有技术的仿真模型的结果由于无法信赖它们的可靠性而仅有限地包含到释放决策（Freigabeentscheidung）中。

发明内容

本发明提供了按照独立权利要求所述的一种用于检验技术系统的方法、一种相应的装置、一种相应的计算机程序以及一种相应的存储介质。

按本发明的实践方案基于这样的认知，即，仿真模型的质量对能用其达到的测试结果的正确的可预测性十分重要。在MBT的领域中，确认的分类方法所处理的任务是，将真实的测量与仿真结果相比较。为此使用不同的度量（Metrik）、量度值或其它比较器，它们将信号彼此结合并且在下文中应当概括性地称为信号度量（SM）。针对这种信号度量的例子是比较大小、相移和相关性的度量。一些信号度量由有关的标准定义，例如根据ISO 18571。

更笼统而言，不确定性量化技术支持对仿真质量和模型质量的估计。在利用信号度量的情况下或更为普遍地在使用针对特定的输入X（特定的输入可能涉及参数或场景）的不确定性量化方法的情况下评估模型质量的结果，在下文中被称为仿真模型误差度量SMerrorX，简称为误差度量。为了普遍化（内插和外插）针对目前为止未被观察到的输入、参数或场景X的SMerrorX，可以使用例如基于所谓的高斯过程的机器学习模型。

在验证时，典型地借助要求、规范或性能指标检查试样（被测系统，英文：systemunder test，简称为SUT）。要注意的是，布尔要求或规范通常能以如下方式转换成定量测量，即，人们使用诸如信号时态逻辑（英文：signal temporal logic,简写为STL）之类的形式（Formalismus）。这类形式可以用作定量的符号语义的基础，该定量的符号离散语义表示验证的普遍化，正值表明满足要求并且负值表明违背要求。下文中，这种要求、规范或性能量度概括性地称为“定量要求”（QSpec）。

这类定量要求可以要么借助真实的SUT要么借助真实的SUT（等同于“虚拟SUT”）的模型进行检查。为了这种验证的目的，汇编带有测试用例的目录，SUT必须满足这些测试用例，以便决定其是否具有期望的性能特性和安全特性。这种测试用例可以被参数化并因此覆盖任意数量的单个测试。

在此背景下，所建议的实践方案考虑到了对牢靠的测试结果的需求，以便确保SUT的性能特性和安全特性。恰巧是在取代真实的系统借助对系统或子部件的仿真执行测试时，应当保证仿真结果是可靠的。

因此这种实践方案的目的在于，基于仿真这样来获得可靠的测试结果，使得这些测试结果可以用作针对真实的测试用例的替代。由此应当能通过减少实际试验的次数降低测试的成本。

这里给出了一系列测试，例如测试目录或参数的测试，SUT应当满足所述测试。当前的解决方案规定了将测试集合（Testmenge）分成两个测试组（Testsatz）：一方面是必须在真实的系统上执行的测试，并且另一方面时也能基于仿真进行的测试。

针对这个任务的按本发明的解决方案的优势在于，与仅基于确认（Validierung）或仅基于验证（Verifizierung）的设计方案相比，该解决方案巧妙地将两种实践方案统一起来。为此，以一种用于对针对真实的和虚拟的测试的测试用例进行分类或分区的“虚拟的测试分类器”为基础，所述“虚拟的测试分类器”将对模型确认和产品测试的要求组合起来。这通过将一方面来自仿真质量和模型质量（SMerrorX）的确认的信息以及另一方面将测试要求（QSpec）结合起来达到。接下来所说明的扩展方案在此考虑到了每个物理系统强制性存在的固有的不确定性。

考虑最为不同的领域中经相应扩展后的测试的应用。可以想到的例如是那些比如用于将行驶功能（自动驾驶，英文：automated driving）和其它机动车技术系统自动化的自动化系统的功能安全性，在所述自动化系统中，重复的测量表明了方差。

此外还支持将不确定性模型化的仿真模型。用这些模型可以比用没有考虑到不确定性的模型更好地映射现实。新的信息在这种相互关系下尤其向用户提供对模型不确定性的计算、仿真模型的起始条件、环境参数或参数不确定性。由此获得了相比传统的分类器改进的结论质量和决策质量。取代传统的每次测试的真假决策的是，所建议的办法例如提供了有关相应的测试的可靠性的统计学结论。此外，通过借助置信度可视化测试用例来支持用户。

通过在从属权利要求中提及的措施，对独立权利要求中说明的基本思想的有利扩展设计方案和改进方案也是可能的。因此可以设置一种自动化的、计算机实现的测试环境，以便尽可能自动改进被测试的硬件产品或软件产品的质量。

附图说明

本发明的实施例在附图中示出并且在接下来的说明中加以更为详细地阐释。图中：

图1示出了虚拟的测试分类器；

图2表明基于数据产生了分类器的决策边界（Entscheidungsgrenze）；

图3表明分类器的伴随不确定性的预测的应用或计算；

图4和图5是对在对应图1的坐标系的第一象限中的分类结果的两种可视化；

图6是对在通过测试参数撑开的特征空间内的分类结果的可视化；

图7示意性地示出了按照第二种实施方式的控制器。

具体实施方式

按照本发明，在可以作为测试用例从测试目录提取的或者作为参数测试的示例获取的测试X的框架内，评估不确定性参数的离散（Streuung）（在训练中从区间并且在预测中从分布）、仿真模型误差SMerrorX并且基于SUT的仿真来评估定量规范QSpec。虚拟的测试分类器使用SMerrorX、QSpec、不确定性参数的离散和阈值（英文：threshold）作为输入并且对基于仿真的测试结果是否可靠（英文：trustworthy）做出二元决策。

在此，按照在信息学以及特别是模式识别中常见的语言使用，任何算法或任何数学函数都能理解为分类器，该算法或数学函数将特征空间映射到类别的集合上，所述类别在分类过程中形成且彼此隔开。为了能够决定将一个对象归类或分类（klassieren，通俗用法也为“klassifizieren”）到哪个类别中，分类器使用所谓的类别边界或决策边界。倘若方法与示例之间的区别不重要，则使用专业术语中的概念“分类器”，并且分类器在下文中也部分地与“归类”或“分类”同义地被使用。

图1示出了在当前的应用例中的这种归类。在此，每个点对应于一个测试，该测试在仿真的过程中执行并且针对该测试计算出了要求QSpec的满足量度（13）以及误差量度（14）SMerrorX 。QSpec在这种情况下被这样定义，使其在所述测试可以推测出系统满足相应的要求（附图标记24）时取正值并且在系统不满足该要求（附图标记25）时为负。

如图所示，分类器（18）的决策边界（19）将空间分成四个类别A、B、C和D。具有高可靠性的系统会通过类别A的测试。对类别B和C的测试而言，仿真仅仅提供不可靠的结果；因而这样的测试要在真实的系统上执行。类别D的测试会在具有高可靠性的系统上失败。

这种虚拟的测试分类器（18）基于如下思考，即，只有在以必要时边缘的模型误差（14）为出发点时，在仿真中仅勉强满足的要求才能替代对真实系统的测试检验。另一方面，在定量要求QSpec的数值上很高的满足量度（13）下、即在远远过度满足或明显不满足的规定下，可以容忍仿真结果与相对应的实验测量的一定的偏差。

因为这种观察方式的前提是知道仿真模型的模型误差SMerrorX，所以以此为出发点，即，后者在使用虚拟的测试分类器（18）的准备阶段中经受了验证和确认。在这种确认的框架内，应当例如基于高斯过程或者另外通过机器学习形成普遍化的模型，其为给定的X提供SMerrorX。在此要注意的是，仿真的可靠性主要取决于这种普遍化的模型的正确性。

图2阐明了用于基于数据得出分类器（18）的决策边界（19，图1）的可能的实践方案。在最为简单的情况下，边界（19）在此沿着原点直线延伸。优选这样来选择直线的斜率，使得所有的点（在这些点中，仿真（11）和真实的测量（21）之间的定量要求QSpec的满足量度（13）在符号上有所不同），即犹如所有的测试（12）（此时仿真模型失效）处在区域C和B中并且这些区域此外还尽可能小。

此外还需要考虑更为普遍的、例如多项式的决策边界（19），所述决策边界的函数曲线借助线性编程这样进行适应，使得该函数曲线满足分类器（18）VTC的标准。在这种情况下，所有的点（在这些点中，仿真（11）和真实的测量（21）之间的定量要求QSpec的满足量度（13）在符号上有所不同），即犹如所有的测试（12）（此时仿真模型失效）处在区域C和B中。

在仿真（11）中被模型化的不确定性，作为附加的参数加以模型化（31），所述附加的参数与测试（12）的输入参数相关或不相关地驱控仿真。不确定性参数（31）在由用户定义的区间或区域范围内有离散。不确定性参数（31）在此可以承受任意分布、优选均匀分布，但必须确保，仅产生似然值，因为VTC（18）的决策边界（19）由最为不利的所能观察到的情况（最坏情况，英文：worst case）确定。对似然值的限制可以例如用区间或区域模型化。以如下方式考虑到测量中的不确定性，即，在每一次测试（12）中重复（32）一次或多次真实的测量（21）。

这种办法基于这样的认知，即，开放式分布在训练中不是目标明确的。训练在此不是随机的办法，而是对鉴于所观察到的样本最为不利的情况的计算。VTC在此形成了确认（统计学）和验证（关键的或最为不利的情况）之间的桥梁。具体而言，理论上唯一一个样本足以用于训练，倘若该唯一一个样本正确的话，并且仅合理的样本是允许的，因为与在随机模型中不同的是，按照本发明，并未取平均。

若人们例如假设，不确定性参数（31）涉及车辆速度的离散。在物理分布中，在光速之下的每个值在理论上均是可能的，尽管极为不可能。在观察最坏情况时，必须如和所有其它速度一样地考虑到接近光速的速度，因为对决策边界（19）而言，仅最坏情况是重要的。VTC基于这种极端情况不会将任何模型分类成可靠的。在预测中的统计学计算中情况有所不同：若在此测量到了接近光速的车辆速度，那么这种情况非常罕见，它几乎不会影响整个结果。此外还注意到的是，不确定性参数（31）的以及重复测量（32）的离散分别仅须存在一次，即可以取消不确定性参数或测量的方差。

算法可以通过下列伪码进一步精确化，其中仿真（11）称为“Sim”，满足量度（13）称为“Qspec”，分类器（18）称为“VTC”，不确定性参数（31）的离散称为“Real_u_Set”并且其似然区间称为“A_interval”（30）：

图3阐明了分类器的伴随不确定性的预测的应用或计算。在此给出了：带有所属的仿真模型（11）、测试（12）、QSpec（13）和SMerrorX（14）的经训练的VTC（18）；阈值（38），其说明了，测试有多少个数据点或变量必须至少分类成正的，因而测试总体上被分类成正的；以及针对不确定性参数的分布（33），所述分布可以通过用户手动地定义或者用其它办法自动地求取。

借助这种分布（33）计算不确定性参数的值（34）。针对每个测试（12），执行仿真（11）和分别针对不确定性参数的值的集合的分类（18）。因此针对每个测试产生了VTC空间中的经分类的数据点的集合。当在测试的框架内分类为正的点的数量或份额处在定义的阈值（38）之上时，那么所述测试被评估为是可靠的，即是正的（39），否则的话就是负的（40）。用户在每一个测试时都被通知这种统计（37）；在任意测试时的统计值和点的具体的分布被可视化（36）。

要注意的是，当在计算（34）的框架内仅产生了一个示例时，也仅实施回路（35）一次。

算法可以通过下列伪码进一步精确化，其中分布（33）还称为“f_A”，计算（34）称为“f_A.get_samples()”，统计（37）称为“statistics”，阈值（38）称为“threshold”并且所产生的可靠性评估（39、40）称为“trust”：

图4和5示出了在测量或仿真的离散下对测试用例的预测的第一次可视化（36）。在此，仅示出了右边的象限；但左边的象限也能以相应的方式可视化。点的每一组（41、42、43）对应测试（12）。在组（41、42、43）内的点由不确定性参数（34）的离散产生。当组（在此为42）内的点部分预测为正并且部分预测为负时，那么当如在图4中那样超过阈值时，整个组（42）都被评估为是正的，或者在如在图5中那样低于阈值时被评估为负的。

图6示出了在测量或仿真的离散下在通过两个测试参数（26、27）撑开的测试参数特征空间（下文中称为“参数空间”）内的测试用例的第二次可视化。所述可视化表明了不同的子空间：不可靠的区域（15），没有观察到不确定性被分类为可靠的区域（16）和按照本发明带有不确定性参数的离散的被分类为可靠的区域（17）。由图可以明确看到，两个分类器（18）的分类区域（16、17）可以有所不同。

在设置有附图标记23的面中的点表示测试用例，其不应基于仿真而释放。这些测试用例应当被真实地测量。这些点备选可以解释为是提示，即模型应当针对哪些区域进行改进。在模型改进后应当重新进行分类。

这种方法（10）可以例如以软件或硬件或者以由软件和硬件构成的混合形式在工作站（50）中实施，如图7的示意图所阐明的那样。

Claims (9)

1.用于检验技术系统、特别是至少半自动的机器人或车辆的方法（10），其特征在于下列特征：

- 借助给定的分布（33）计算系统的不确定性参数（34）的值分配或变化，

- 借助系统的仿真（11）在所述不确定性参数（34）的变化中执行测试（12），

- 就对系统的定量要求的满足量度（13）和所述仿真（11）的误差量度（14）而言评估所述测试（12），

- 根据满足量度（13）和误差量度（14），在考虑到在所述仿真（11）中或通过系统处所述测试（12）的重复而观察到的不确定性参数（34）的情况下，将所述测试（12）要么归类为可靠的，要么归类为不可靠的。

2. 按照权利要求1所述的方法（10），其特征在于下列特征：

- 借助特征向量（13、14）通过分类器（18）进行归类，并且

- 所述满足量度（13）和误差量度（14）形成了所述特征向量（13、14）的分量。

3. 按照权利要求2所述的方法（10），其特征在于下列特征：

- 所述分类器（18）将所述特征向量（13、14）按具体情况映射到带有在所述仿真（11）中和系统处的测试（12）中正的满足量度（13）的第一类别（A）、带有在所述仿真（11）中的正的满足量度（13）和在系统处的测试（12）中的负的满足量度（13）的第二类别（B）、带有在所述仿真（11）中的负的满足量度（13）和在系统处的测试（12）中的正的满足量度（13）的第三类别（C）或带有在所述仿真（11）和在系统处的测试（12）中的负的满足量度（13）的第四类别（D）上，并且

- 在类别（A、B、C、D）之间的预定的决策边界（19）内进行归类。

4.按照权利要求3所述的方法（10），其特征在于下列特征：

- 在准备阶段（20）中通过在系统处的实验性的、优选重复的测量（21）校验所述仿真（11），

- 这样来提取所述决策边界（19），使得一方面在所述仿真（11）中的并且另一方面在所述测量（21）中采用的满足量度（13）最小可能地发生偏离，并且

- 优选自动选择（22）有待在所述准备阶段（20）中执行的另外的测试（12）。

5.按照权利要求1至4中任一项所述的方法（10），其特征在于下列特征：

- 这样来进行评估，使得当系统满足（24）所述要求时，所述满足量度（13）是正的，并且当系统不满足（25）所述要求时，所述满足量度是负的。

6.按照权利要求1至5中任一项所述的方法（10），其特征在于，自动改进系统的通过所述检验识别到的误差。

7.计算机程序，其设置用于实施按照权利要求1至6中任一项所述的方法（10）。

8.能机读的存储介质，其上存储有按照权利要求7所述的计算机程序。

9.装置（50），其设置用于实施按照权利要求1至6中任一项所述的方法（10）。

Images