CN114580139A

CN114580139A - 用于自动评估仿真模型的方法

Info

Publication number: CN114580139A
Application number: CN202111443126.2A
Authority: CN
Inventors: J·范科勒; M·施密特; P·霍夫曼; R·扎普夫; S·罗德
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-01
Filing date: 2021-11-30
Publication date: 2022-06-03
Also published as: DE102020215136A1; US20220171901A1

Abstract

本发明涉及一种用于自动评估、尤其验证仿真模型的方法，所述仿真模型用于仿真通过固定参数（Y）和变化参数（t）定义的变量的测量值，其中借助于仿真模型求出变量的多个仿真值（F），其中求出变量的多个所属的参考值（S_n），其中对于变化参数（t）的多个值（t₀）中的每个值分别确定模型形状误差（d，d+，d‑）作为变化参数（t）的所述值的仿真值和变化参数（t）的所述值的参考值之间的偏差，并且其中根据模型形状误差，对于变化参数（t）的多个值确定与变化参数（t）相关的模型形状误差的函数，并且将其用于评估、尤其验证仿真模型。

Description

用于自动评估仿真模型的方法

技术领域

本发明涉及一种用于自动评估、尤其验证仿真模型的方法以及一种用于执行所述方法的计算单元和一种用于执行所述方法的计算机程序。

背景技术

为了确定仿真模型是否可以足够良好地表示建模的系统，或者例如为了评价仿真模型的当前质量，对这种仿真模型进行评估或验证。在此，参考值、例如实际测量通常与仿真模型的结果进行比较，并检查偏差。

发明内容

根据本发明，提出具有独立权利要求的特征的用于自动地评估仿真模型的方法以及用于执行所述方法的计算单元和用于执行所述方法的计算机程序。有利的设计方案是从属权利要求和以下描述的主题。

本发明涉及自动评估、特别是还有验证仿真模型。在此，这种仿真模型特别用于仿真通过（至少）一个固定参数和（至少）一个变化参数定义的变量的测量值。在此，尤其将时间视作为变化参数，使得该变量可以为例如信号的时间曲线。对此的一个示例是例如在车辆转弯时的车辆偏航率的时间曲线。通过仿真测量值，不必执行实际测量。但是，在此一个重要的点是：用于仿真的仿真模型——所述仿真模型例如也描述车辆的物理特性——足够好。为此，必须评估或验证仿真模型。

在标量变量（仅一个固定的、但不可变的参数）的情况下、例如特定部件在特定情况下的温度，可以借助于所谓的面积验证度量（英文“Area Validation Metric”）进行评估或验证。这可以用于比较两个累积的分布函数（CDF）或概率框（p-boxes，在此其是一族CDF的表示选项）。所述累积的分布函数或概率框可以在考虑认知和偶然参数的情况下从变量（例如温度或压力）的仿真或测量中形成。

仿真模型具有模型参数（例如电阻、机械摩擦系数或切换时间点）。所述参数是固定的或者是变化的。变化参数尤其划分成偶然参数和认知参数。对此还有载荷工况（或载荷集合）或仿真输入。例如，所述变化参数可以是期望的车辆轨迹的结果或力和力矩曲线。所述输入可以随时间变化或改变。

然而，通常感兴趣的不是单个（标量）值，而是随时间变化的曲线（例如，压力如何在随时间的温度变化方面来表现）或不同点彼此间的位置（包括不确定性），例如在作为向量存在的雷达传感器建模的上下文中。因此，通常，可以谈及通过固定参数和变化参数定义的变量。变化参数例如可以是时间，使得得到上述时间曲线。不言而喻，变量还可以通过其他固定参数和/或变化参数来定义。

在此背景下提出：借助于仿真模型（所述仿真模型适用于评估或验证）求出变量的多个仿真值，并且求出变量的多个所属的参考值。在此，参考值尤其借助于实际测量来求出。不仅经仿真的数据、即仿真值，而且参考值通常不作为离散值存在，而是作为统计分布存在，因为必须考虑各种不确定性。例如，可以执行多次等效测量以获得特定的参考值，使得可以形成具有相应限制的测量不确定性的参考值作为结果，所述参考值可以表示为分布函数。同样地，在仿真值时，各种不确定性也会并入所得的仿真值中，所述不确定性例如从输入值中得出。但是，特别地，仿真例如也应有针对性地描述如在实际测量中会形成的这种不确定性。

对于变量的时间曲线的示例，因此参考值例如可以通过相关变量的时间曲线的多次测量来求出。但是，例如，在此，不仅重复测量会是相关的，而且例如来自不同批次的试样也是相关的。在此，曲线或多或少彼此偏差，这最终可以视为具有不确定性的参考值（或具有不确定性的参考曲线）。借此等义于例如在特定值附近累积的测量的曲线的族。同样地，仿真值可以视作为曲线族，因为在仿真中还考虑了认知和偶然的不确定性。

对于变化参数的多个值中的每个值——即例如对于多个时间点中的每个时间点——然后分别确定模型形状误差作为变化参数（例如在该时间点）的该值的仿真值和变化参数的该值的参考值之间的偏差。特别地，用不确定性建模的仿真值与带有测量不确定性（或其他误差）的参考值的偏差可以称为模型形状误差（或模型误差）。

因此，对于变化参数的每个单独值、即例如在每个时间点的每个单独值，可以确定模型形状误差，如这例如针对标量变量是这种情况。模型形状误差（对于变化参数的每个值）在此尤其借助于已经提到的面积验证度量来确定，其中仿真值和参考值之间的偏差包括正偏差和负偏差。但是，同样可以使用所谓的修改的面积验证度量，其中仿真值和参考值之间的偏差针单独地针对正偏差和负偏差来确定。

对仿真是低估还是高估参考数据的了解改进了模型（形状）误差的计算。在验证后，为模型给出呈不确定性形式的模型形状误差。具体地，这意味着：仿真的结论变得更模糊。修改的面积验证度量相较于“经典”面积验证度量趋向于提供更小的模糊性。

因此，在使用仿真（例如仿真车辆转弯）时，该仿真与“经典”面积验证度量中的情况相比提供不那么保守的结果。这在纯虚拟设计的情况下引起小的构件超尺寸设计或也引起在设计调节器时所需的安全储备较小。

关于面积验证度量和修改的面积验证度量的更详细说明，在此也参阅“Roy, C Jand Oberkampf, W. L.（2011），A Comprehensive Framework for Verification,Validation, and Uncertainty Quantification in Scientific Computing, ComputerMethods in Applied Mechanics and Engineering，第200卷，第2131-2144页”以及“Voyles，Ian T.和Christopher J. Roy，Model Validation Techniques in thePresence of Epistemic and Aleatory Uncer-tainties, ASME V&V Conference, 2014五月, Las Vegas, NV”。

然后，根据变化参数的多个值的模型形状误差（或在相关的时间点的模型形状误差），确定与变化参数相关的模型形状误差的函数，并且将其用于评估仿真模型。在时间作为变化参数的具体情况下，模型形状误差的所述函数因此表示模型形状误差的时间曲线。

然后，可以评估模型形状误差的所述时间曲线——或者评估通常作为函数表示的模型形状误差——（例如，关于最大值、平均值或在特殊事件下的值，例如根据应用情况而定，等），以确定特定的模型形状误差。替选地，例如也可以考虑在概率框（所述概率框通过仿真值定义）中包围的面积作为用于后续处理仿真值或通常通过仿真模型获得的数据的灵敏度指标。例如，因此可以根据模型灵敏度来评估模型形状误差。

通常，借助所提出的方法，因此可以确定仿真值与参考值或测量值的偏差并用于评估仿真模型。例如可以考虑的是：在特定范围内的偏差的情况下，可以将仿真模型视为已验证，或者可以将所求出的模型形状误差作为模糊性或不确定性附加给仿真。不言而喻，但是这也会与其他因素、例如包含到参考值中的实际测量的数量相关。

所提出的做法借此例如实现改进的且加速的产品开发（例如，更安全的产品），因为可以借助可以仿真产品表现的良好的仿真模型（已经成验证或相应评估的仿真模型）来补充实际测量或测试（因此例如可以执行实际的测试测量并且同时执行仿真），或者可以减少或有时甚至完全避免实际测量或测试。但是，同样例如可以改进仿真或适当的仿真的选择例如以验证模型。在该上下文中也可以谈及“虚拟发布”或“virtualized release虚拟化发布”。

因此，所提出的做法尤其实现在考虑制造公差和运行中的变化的情况下对系统表现——例如锤钻的冲击能量、洗碗机中餐具的干燥持续时间、转向装置的怠速转矩、车辆偏航率的时间曲线或雷达传感器的测量变量——的仿真。可以预测构件的故障，同样可以鲁棒地设计调节器，并且可以确定软件时序对系统表现的影响。

根据本发明的计算单元、例如计算机或PC尤其在程序技术方面设计用于执行根据本发明的方法。

根据本发明的方法呈具有用于执行所有方法步骤的程序代码的计算机程序或计算机程序产品的形式的实施方案也是有利的，因为特别是如果进行执行的控制设备还用于其他任务进而总归都存在，则这产生特别低的成本。用于提供计算机程序的合适的数据载体尤其是磁、光和电存储器，例如硬盘、闪存、EEPROM、DVD等。程序也可以经由计算机网络（因特网、内联网等）下载。

本发明的其他优点和设计方案从说明书和附图中得出。

附图说明

本发明根据实施例在附图中示意地示出并且在下文中参考附图进行描述。

图1a示例性地示出标量变量的面积验证度量的结构。

图1b示例性地示出标量变量的修改的面积验证度量。

图2a示例性地示出如可在本发明范围中使用的测量和仿真的时间相关的信号。

图2b示出图2a中的测量和仿真的信号的面积验证度量的时间曲线。

图2c示例性地示出如可以在本发明的范围中使用的仿真值作为向量变量的确定。

图2d示例性地示出如可以在本发明的范围中使用的测量值作为向量变量的确定。

图3示例性地示出一个优选的实施方式的根据本发明的方法的流程。

具体实施方式

在图1a中示例性且图形地示出标量变量或一般标量应用的面积验证度量（英文“Area Validation Metric”，AVM）的结构，所述结构实现对模型结果和参考数据之间的偏差进行定量评估。在此，示出经验累积分布函数（Cumulative Distribution Function累积分布函数，CDF）S_n=S_n（Y）。这例如从实验测量数据的多个样本中得出，进而形成带有不确定性的参考值。由于离散数量的测量值，所示出的累积分布函数也可以被视为累积频率分布。但是，参考值同样也可以来自其他来源，例如来自其他的仿真。

附加地，变量或目标变量Y——在此为借助于仿真模型输出的或应针对测量值仿真的标量变量——通过仿真模型计算。在存在混合的不确定性的情况下，即存在偶然输入不确定性和区间表征的认知输入不确定性的情况下，通过仿真模型对不确定性的传播产生仿真目标变量的概率框（或“p-框”，英文“probability box”），所述概率框通过下限和上限给定，并且基本上描述累积分布函数的族。这在图1a中用F＝F（Y）表示。

虽然区间表征的认知输入不确定性确定F的两个极限之间的水平间距，但两条曲线的斜率与偶然不确定性相关。变量Y原则上可以是任何的标量变量。例如，在图1a中，其是温度，但也可以考虑例如压力或任何其他的标量变量。

这两个结构之间的最小面积、即分布函数S_n或参考值与仿真目标变量的概率框F之间的最小面积于是可以被视为分布差异的量度，并被称为面积验证度量d（或闵可夫斯基-L1范数），并且也可以被视为或称为模型形状误差。

如所提及的那样，F（Y）说明目标变量Y的仿真的概率框，并且S_n（Y）说明目标变量Y的经验测量的分布函数。

如此获得的面积验证度量d与目标变量（也称为“System Response Quantity系统响应量”，SRQ）具有相同的单位，进而提供仿真和参考之间的不一致性的量度。因此，在评估仿真模型时，面积验证度量d也可以解释为模型形状误差d，即除了已传播的输入不确定性之外在建模结果中通过建模产生的误差。

在图1a的视图中，两个分布之间的相关面积用阴影示出，其中面积的一部分位于概率框上方，并且面积的一部分位于概率框下方。因此，总面积基本上通过参考数据与概率框的极限曲线的交点定义。

在图1b中示例性且图形地示出标量变量或标量应用的修改的面积验证度量，其中除了仿真值F和参考值S_n之间的面积外附加地还考虑曲线彼此间的相对位置。在此，在此示例中，重新示出参考值的阶梯式经验分布函数。相反，仿真的目标变量F（Y）在此同样作为简单的分布函数示出，即对应于宽度为0的概率框示出。这可以对应于没有认知不确定性的目标变量的仿真。但是，该示例同样可以转用于如图1a中的概率框。

对于所述修改的面积验证度量（“Modified Area Validation Metric”，MAVM），根据其是否为参考数据与仿真的向上偏差（即朝着Y值更大的方向）或向下偏差（即朝Y值更小的方向），再次将面积验证度量的总面积细分。因此，考虑了仿真和参考之间的两个单独的面积。因此，得到参考结果（例如出自实验中）大于仿真值（即位于所属的分布函数或仿真值的p框之上）的区域中的面积d+，和参考结果小于仿真值（即位于所属的分布函数或仿真值的p框之下）的区域中的第二面积d-。因此，在该情况下的总模型形状误差从向上的偏差d+和向下的偏差d-中得出。特别地，d-被添加到CDF（或概率框）的左侧并且d+被添加到右侧，因此，它们将框扩宽。因此，在使用仿真时，模型误差被接受为进一步的认知不确定性。

所述度量的其他变型同样是可行的，例如附加地考虑实验参考数据的置信区间，使得参考数据也以概率框的形式存在。

在图2a中示例性地示出如可在本发明的范围内使用的测量的和仿真的时间相关的信号。在此，此处应该仿真的变量具有固定参数Y和变化参数t。在所示示例中，变化参数t是时间（以s（秒）绘制），固定参数是偏航率（以rad/s绘制），如其例如在汽车领域中的行驶动态测试中（作为车辆偏航率）是令人感兴趣的。以该方式，作为变量得到信号的时间曲线。不言而喻，另一变量、诸如图1a、1b中的温度也可以被视为固定参数。

显示偏航率与时间关系的图形表示所谓的SRQ（系统响应量System ResponseQuantity），例如随时间变化的方向盘角度（作为仿真输入）可用作输入。然后，通过在变化仿真参数的情况下多次仿真输入形成曲线族。所述参数在仿真期间是恒定的（不随时间变化）。

仿真值F和参考值S_n分别表示为曲线族，如其在放大示出的部分中可见。借此可以表示已经提到的不确定性。

现在，为了在本发明的范围中计算扩展的面积验证度量可以考虑所述信号曲线的每个时间点（或在每个特定的、所选择的时间点或通常对于变化参数的多个值考虑），这示例性地应借助时间点t0（所述时间点大约处于t=16s）示出。在所述时间点中的每个时间点可以形成如图1a或图1b中所示的仿真值和参考值的表示。即因此，评估的一个想法是：为每个时间步构建一个p框（用于仿真）和一个CDF（用于参考数据），并计算模型形状误差d。由于这针对每个时间点进行，所以获得d（t），即作为时间t的函数的模型形状误差d。

为此，参考放大的部分，其中可识别：仿真值F和参考值S_n分别作为曲线族表示。借此，可以表示已经提到的不确定性。例如，曲线的密度因此可以解释为概率或频率分布。在实际测量值中例如是如下情况：大量测量值集中在平均值附近，但也会存在个别向上和向下的进一步的偏差。这同样适用于曲线，如标量变量的曲线。

于是，连同该时间点测量的偏航率Y（以及所属的不确定性），可以使用下式

。

以该方式，可以对于仿真信号的每个时间点形成说明模型形状误差d的面积验证度量。然后，可以从模型形状误差的如此找到的各个时间相关值d中形成与作为变化参数的时间相关的模型形状误差的函数d（t），如这在图2a中示出。

在此，可以将用于评估面积验证度量的点例如确定为具有预设的或变化的间距的离散点，使得例如以每1秒（或其他值，例如0.5秒或0.1秒）的间距对点进行评估。显而易见：合适的支持点的选择还可能与目标变量的类型相关。然后，可以找到时间相关的面积验证度量的结果函数例如作为面积验证度量的离散值的插值。替选地，也可以考虑：不形成插值函数，而是改变地评估离散值。

以类似的方式，可以评估仿真值，所述仿真值例如作为向量表示。这在图2c和2d中以示例的方式表示。在此，也可以与（至少）一个固定参数和（至少）一个变化参数相关地考虑所考虑的如下数据点的组，应当针对所述数据点使用验证度量。例如，数据点的目标变量可以说明为三维向量，使得所述三维向量由至少三个不同的单独值组成。

为此，在图2c中示出三个维度N、M和O的仿真值。维度O中的每个矩阵由N行和M列组成，所述N行和M列共同形成概率框或p框。在此，为了清楚起见，条目仅用三个维度中的相应的位置表示。在此，每行形成累积分布函数（CDF）。因此，维度M说明偶然值或不确定性，而维度N说明认知值。维度O又表示例如关于地点或时间或另一维度的变化。

在图2d中示出相应的测量值或参考值，所述测量值或参考值在维度O中也如在图2c中所示的那样表示例如关于地点或时间的变化。而维度K说明一个批次中的测量重复或值。因此，列在此分别形成测量的累积分布函数（CDF）。

如之前在信号的时间曲线的示例中那样，现在可以针对变化参数的每个值形成自身的模型形状误差，即针对三维向量的示例例如形成三个单独的模型形状误差。

一旦以这种或类似的方式找到与变化参数相关的模型形状误差、即例如已经确定模型形状误差的时间曲线，就可以进一步评估所述结果，以从中获得关于仿真值的结论。例如可以检查：模型形状误差函数的局部或全局最大值或最小值处在预设的区间中出现在哪里。以此为基础，随后例如可以得出关于仿真或其应用的进一步的决定，例如模型或模型输入参数的所需的改进。

同样可以预设特定的感兴趣的参数，例如特定的时间点或时间段，并且可以在所述范围内评估模型形状误差。模型形状误差函数的斜率或平均值也可用于各种应用。

整体上，仿真的模型形状误差和其他不确定性（输入不确定性、参数不确定性、数值不确定性）例如可用于：评估模型的使用可行性，或者决定虚拟发布决定。

在图3中示例性示出按照优选的实施方式的根据本发明的方法的流程。在步骤300中，借助于要评估的仿真模型M求出仿真值、诸如图2a或图2c中所示的仿真值。这例如可以在多个仿真的范围内进行，所述仿真的结果分别是曲线（所述曲线例如表示信号的时间曲线）。例如，在图2c的示例中，执行具有各O个数据点的N×M仿真。

同样地，在步骤330中可以形成参考值，所述参考值可以例如通过在实际实验中对目标变量进行单次或多次测量形成。可以预设样本的变量或通过合适的方法来确定，其中例如可以考虑统计考量和测量成本。只要其如图2a的示例中那样是时间曲线，因此就可以测量多个时间点，其中可以预设时间点或其间距。对于每个单独的时间点尤其可以执行多次测量，以便表示测量的不确定性。例如，可以多次遍历时间相关的实验，并且分别在相同的时间点执行测量，使得对于每个时间点于是存在目标变量的多个测量值。例如，在图2d的示例中，可以执行具有各O个数据点的K个测量。

显而易见：在此为了简单起见并行地示出的步骤300和330可以基本上同时发生或在时间上彼此独立地发生。例如源自一次或多次测量的参考值通常独立于仿真来检测。特别地，合适的参考值也可以用来验证多个不同的仿真模型，并且不必强制性地针对每个模型重新形成。

从步骤300和/或330获得的数据也可以在可选步骤310或340中经受预处理，例如通过重采样或样本重复、缩放等。显而易见：关于此点可以使用任何合适的处理步骤。

然后在步骤320中，在通常情况下从如此建模（步骤300）并可选地预处理的仿真数据中对于每个数据点或变化参数的每个值（在图2a的示例中：在每个时间点；在图2c的示例中：对于维度O的每个值）形成单独的概率框，所述概率框描述仿真值与其混合的不确定性。同样地，在步骤350中，为所述值（或时间点）中的每个确定参考值的相应累积的分布函数。

根据步骤360，首先考虑多个变化参数中的第一变化参数。在那里，于是，根据步骤370，针对每个值（或时间点）可以如参考图1a描述的那样确定模型形状误差d，或者可以如参考图1b描述的那样确定模型形状误差d+、d-。只要存在，这就针对所有其他的变化参数执行。随后——或对于在第一次遍历之后立即只有一个变化参数的情况（如在图2a的示例中那样）——，根据步骤380确定模型形状误差作为多个变化参数或可能地这一个变化参数的函数。随后，在步骤390中，仿真模型的评估或验证可以根据模型形状误差进行。

Claims

1.一种用于自动评估（390）、尤其验证仿真模型（M）的方法，所述仿真模型用于仿真通过固定参数（Y）和变化参数（t）定义的变量的测量值，

其中借助于所述仿真模型（M）求出所述变量的多个仿真值（F），

其中求出所述变量的多个所属的参考值（S_n），

其中对于所述变化参数（t）的多个值（t₀）中的每个值分别确定模型形状误差（d，d+，d-）作为所述变化参数（t）的所述值的仿真值和所述变化参数（t）的所述值的参考值之间的偏差，并且

其中根据所述变化参数（t）的多个值的所述模型形状误差（d，d+，d-），确定与所述变化参数（t）相关的所述模型形状误差的函数，并且将其用于评估（390）、尤其验证所述仿真模型（M）。

2.根据权利要求1所述的方法，其中所述变化参数（t）为时间，使得所述变量是所述固定参数（Y）的时间曲线。

3.根据权利要求2所述的方法，其中所述固定参数（Y）通过信号预设，使得所述变量是所述信号的时间曲线。

4.根据前述权利要求中任一项所述的方法，其中所述参考值（S_n）通过实际测量或通过以比在所述仿真值中更高的细节度进行仿真来求出。

5. 根据前述权利要求中任一项所述的方法，其中所述仿真模型具有至少一个固定模型参数和至少一个变化模型参数，并且其中所述仿真值（F）具有概率分布形式的不确定性，并且所述参考值（S_n）具有频率分布形式的不确定性，其中所述概率分布描绘所述变化模型参数。

6.根据前述权利要求中任一项所述的方法，其中所述模型形状误差（d）借助于面积验证度量来确定，其中所述仿真值和所述参考值之间的偏差包括正偏差和负偏差，或者

其中所述模型形状误差（d+，d-）借助于修改的面积验证度量来确定，其中所述仿真值和所述参考值之间的偏差单独地针对正偏差和负偏差确定。

7.根据前述权利要求中任一项所述的方法，其中所述变量包括车辆偏航率的时间曲线、锤钻的冲击能量的变化、在洗碗机中的餐具干燥持续时间、转向装置的怠速转矩的变化或雷达传感器的测量变量。

8.根据前述权利要求中任一项所述的方法，其中借助于评估的、尤其验证的仿真模型（M）来虚拟化或发布软件产品或调节器。

9.一种计算单元，所述计算单元设计用于：执行根据前述权利要求中任一项所述的方法的所有方法步骤。

10.一种计算机程序，所述计算机程序当其在所述计算单元上执行时促使所述计算单元执行根据权利要求1至8中任一项所述的方法的所有方法步骤。

11.一种机器可读存储介质，所述机器可读存储介质具有存储在其上的根据权利要求10所述的计算机程序。