CN112146890A

CN112146890A - 用于评价和选择信号比较度量的方法和设备

Info

Publication number: CN112146890A
Application number: CN202010586398.7A
Authority: CN
Inventors: J.佐恩斯; C.格拉迪施; T.海因茨
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-28
Filing date: 2020-06-24
Publication date: 2020-12-29
Also published as: US11416371B2; DE102019209536A1; EP3757698A1; FR3097961A1; US20200409817A1

Abstract

本发明涉及用于评价和选择信号比较度量的方法和设备。用于评价仿真模型（22）的方法（20）的特征在于下列特征：‑针对所选择的测试情况（21），在仿真模型（22）中计算第一性能指标（24），‑针对相同的测试情况（21），在真实测试环境（23）中求得第二性能指标（24），‑针对所述测试情况（21）中的每个测试情况，形成在第一性能指标（24）和第二性能指标（24）之间的差（25）并且确定信号度量（26），‑针对所述信号度量（26）中的每个信号度量，检查在所述差（25）和相应的信号度量（26）之间的相互关系（27），和‑选择（28）与所述差（25）具有最紧密的相互关系（27）的那个信号度量（26）。

Description

用于评价和选择信号比较度量的方法和设备

技术领域

本发明涉及一种用于评价（Bewerten）仿真模型的方法。除此以外，本发明涉及一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。

背景技术

在软件技术中，将模型用于使测试活动自动化且用于在测试过程中生成测试工件被概括为上位概念“基于模型的测试（model-based testing，MBT）”。十分熟悉的是，例如从描述要测试的系统的目标特性（Sollverhalten）的模型中生成测试情况。

尤其是，嵌入式系统（embedded systems）依赖于传感器的决定性的输入信号，并且又通过给极其不同的执行器的输出信号对其环境进行仿真。在这种系统的验证和前置开发阶段的进程中，因而在调节回路（Regelschleife）中，所述系统的模型（模型在环（modelin the loop），MiL）、软件（软件在环（software in the loop），SiL）、处理器（处理器在环（processor in the loop），PiL）或者整个硬件（硬件在环（hardware in the loop），HiL）与环境的模型一起被仿真。在车辆技术中，视测试阶段和测试对象而定，与该原理相对应的用于检验电子控制设备的仿真器有时被称作部件检验台、模块检验台或者集成检验台（Integrationspruefstaende）。

DE10303489A1公开了一种这样的用于测试车辆的控制单元的软件的方法，其中通过测试系统至少部分地仿真由控制单元可控制的调节段（Regelstrecke），其方式是：由控制单元产生输出信号，并且控制单元的这些输出信号经由第一连接被传输至第一硬件组件，而且第二硬件组件的信号作为输入信号经由第二连接被传输至控制单元，其中输出信号作为第一控制值在软件中被提供，并且附加地经由通信接口相对于调节段实时地被传输至测试系统。

这样的仿真在不同技术领域是流行的，并且例如得到采用，以便检验嵌入式系统在其开发的早期阶段在电动工具中、在驱动系统、转向系统和制动系统的发动机控制设备中或者在完全自主的车辆中的适用性。尽管如此，按照现有技术的仿真模型的结果由于对其可靠性缺乏信任而只有限地被包括在批准决定（Freigabeentscheidungen）中。

发明内容

本发明提供根据独立权利要求所述的一种用于评价仿真模型的方法、一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。

根据本发明的方案立足于如下认知：仿真模型的质量对于由此可实现的测试结果的正确的可预测性而言是十分重要的。在MBT的领域中，确认的子主题专注于将真实测量与仿真结果进行比较的任务。为此，使用不同的度量（Metriken）、度量值或者另外的比较器，它们将信号彼此联结（verknuepfen）并且它们在下文中概括而言应被称作信号度量（SM）。对于这样的信号度量的实例是对大小、相移和相关性进行比较的度量。通过标准（例如ISO18571）定义了数个信号度量。

在验证时，典型地依据要求、规范或者性能特征参数，检查要测试的系统（在测系统（system under test），SUT），所述要求、规范或者性能特征参数随后被概括为：关键性能指标（key performance index，KPI）。要注意的是，布尔型要求或者规范常常可以被转换成定量测量，其方式是：使用如信号时序逻辑（signal temporal logic，STL）之类的形式。KPI可以要么按照真实物理实施要么按照仿真来评估。

在KPI与信号度量之间的区别在图1中示出。在真实测试环境中测量的信号（S1）和在仿真过程中所求得（ermittelt）的信号（S2）这里相似。因而，相关的信号度量是小的，但是这两个信号的性能指标（KPI）在预先给定的阈值（10）之上，所述阈值将有利的指标值（11）与不利的指标值（12）分开。该性能指标（KPI）因而在本发明要被评价为不利的（12）。用附图标记13标明的绝对偏移在这种情况下并不应归因于信号度量的错误陈述，而是应归因于性能指标（KPI）的错误陈述。

进一步的阐述基于下文中所说明的概念性。

信号度量是针对两个信号之间的相似性的量度，并且典型地将来自真实试验的信号与来自仿真的信号进行比较。标志（Signatur）是

，其中S标明可能的信号的基本量。

KPI是如下度量：以对于人们可理解的并且以计算机方式可评估的方式，所述度量定义，（通过信号示出的）系统性能多好：

。

对信号s的要求基于针对KPI的阈值t

，定义了，通过信号实体化的系统特性是否是可接受的，并且因此能够实现二元判定：

。

信号度量和KPI因此具有不同的标志。相对应地，信号度量和KPI处理不同的内容。如在图1中所示出的那样，在真实的输出信号（S1）和被仿真的输出信号（S2）之间的信号度量可以是小的，但是这两个信号（S1，S2）可能未达到系统要求，并且因而具有小的或者负的KPI。

所建议的方法此外还考虑如下情形，有时不清楚的是，在依据测量确认仿真模型时，应使用众多信号度量中的哪个信号度量。如果整个目标SUT的要求或者性能指示器在确认时还没有定下来，那么这尤其是发生。所描述的方法着手研究该问题，并且帮助选择（基于确定的KPI）分别最合适的信号度量。

在KPI和要求之间的区别解决如下问题：人们常常可能没有说明明确的阈值。即阈值的规定可能要求，收集试验中的经验并且找到合适的折衷。在KPI和要求之间的分开能够实现推迟关于可接受的阈值的判定。

也存在如下情况：在所述情况中，在KPI和信号度量之间存在无意义的关系。如果KPI包含参考信号并且依据信号度量来定义，则情况如此。在该情况下，所建议的方法的应用只有限地是有意义的，因为结果无关紧要。

根据本发明的解决方案的优点概述而言在于，为选择信号度量提供在数学上有积极性的标准。

通过在从属权利要求中举出的措施，可能有利地改进和改善在独立权利要求中所说明的基本构思。

附图说明

本发明的实施例在附图中示出，并且在随后的描述中更详细地予以阐述。其中：

图1示出了在信号度量和KPI之间的差的可视化。

图2示出了根据代表不同算法实施形式的实施形式的方法的数据流图。

图3至7示出了具有在ΔKPI和SM之间的不同比例的情况和最终得到的相互关系。

图8和图9示出了根据可能的实施形式的方法（图2）的计算的示例性图解，其中被仿真的信号S被保持并且仅测量信号mi改变。

图10示意性地示出了根据本发明的第二实施形式的工作站。

具体实施方式

根据本发明的计算通过图2来阐明，并且遵循如下基本想法：针对所选择的测试情况（21，29），通过来自对不同真实测量的仿真（22）和观察（23）的输出信号的变化，一方面计算改变的值

，而另一方面计算改变的信号度量（26）。根据本发明的方案此外设置，计算在针对

算出的值与信号度量之间的相互关系（27）。与

具有最紧密的相互关系的那个信号度量被选择（28）。值

在这种情况下标明在仿真模型（22）中计算的和另一方面为在真实测量环境（23）中求得的性能指标（24）的差（25）。

仿真输出的变化通过数个仿真参数（例如输入变量）的变化实现。测量的变化可以通过重复试验或者通过在（比方说具有不同的参数的）不同条件下多次尝试来实现。

如已经提及的那样，信号度量

将两个信号映射到实值上

；与此相反，KPI将信号（和可选地最初的SUT输入X）映射到实值上

。因此，函数SM和KPI具有不同的标志，因而计算在

和

之间的相互关系。

可是，相关性的常用定义是不适合的，因为（不同于在图3中所示的理想情况）可能的是，尽管仿真信号不同和测量不同，但是

或者SM是恒定的。在该情况下，方差

或

等于零，使得相对应的相关系数是未定义的。考虑到如在图4至图7中示出的这样的情况和数值不稳定性，修改后的相关性证明为是权宜的：

等式1

其中

是异或运算符。

应察觉到的是，等式1也可以使用另外的函数，例如具有所描述的修改的协方差。

例如以软件或者硬件，或者以由软件和硬件构成的混合形式，该方法（20）可以例如在控制设备中实施，如图10的示意图所解释清楚的那样。

Claims

1.一种用于评价尤其是至少部分自主的机器人或者车辆的仿真模型（22）的方法（20），

其特征在于下列特征：

- 针对所选择的测试情况（21），在所述仿真模型（22）中计算第一性能指标（24），

- 针对相同的测试情况（21），在真实测试环境（23）中求得第二性能指标（24），

- 针对所述测试情况（21）中的每个测试情况，形成在所述第一性能指标（24）和所述第二性能指标（24）之间的差（25），并且确定信号度量（26），

- 针对所述信号度量（26）中的每个信号度量，检查在所述差（25）和相应的信号度量（26）之间的相互关系（27），和

- 选择（28）与所述差（25）具有最紧密的相互关系（27）的那个信号度量（26）。

2.根据权利要求1所述的方法（20），

其特征在于，

所述信号度量（26）涉及下列项中的至少一项：

- 信号强度，

- 相移，或者

- 相关性。

3.根据权利要求1或者2所述的方法（20），

其特征在于，

按照下列方法（20）之一选择所述测试情况（21）：

- 随机方法，

- 不确定性量化，或者

- 基于搜索的测试方法。

4.根据权利要求1至3中任一项所述的方法（20），

其特征在于下列特征：

- 通过更改所述仿真模型（22）的参数，所述第一性能指标（24）改变。

5.根据权利要求1至4中任一项所述的方法（20），

其特征在于下列特征：

- 通过重复所述测试情况（21），所述第二性能指标（24）改变。

6.根据权利要求1至5中任一项所述的方法（20），

其特征在于下列特征：

- 如果不仅所述差（25）而且所述信号度量（26）是恒定的，则所述相互关系（27）被定义为一，

- 否则，如果所述差（25）或者所述信号度量（26）是恒定的，则所述相互关系（27）被定义为零，和

- 否则，所述相互关系（27）通过所述差（25）和所述信号度量（26）的关联程度来定义。

7.根据权利要求6所述的方法（20），

其特征在于下列特征：

- 所述关联程度是相关系数。

8.根据权利要求1至7中任一项所述的方法（20），其特征在于，根据所选择的信号度量（26），自动地改善依据所述信号度量（26）识别出的通过所述仿真模型（22）来建模的系统的误差。

9.一种计算机程序，所述计算机程序设立为，实施根据权利要求1至8中任一项所述的方法（20）。

10.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求9所述的计算机程序。

11.一种设备，所述设备设立为，实施根据权利要求1至8中任一项所述的方法（20）。