CN114580140A - 用于确定模拟模型的评估度量的方法 - Google Patents

Abstract

本发明涉及用于确定模拟模型（M）的评估度量（B）的方法，该模拟模型用于模拟参量的测量值，对于预先给定的测试用例，其中对于针对测试用例所执行的参考测试（R），利用参量（Y）的结果值确定参考测试（R）的至少一个不确定性(ΔY₁)，其中借助于模拟模型（M）利用参量（Y）的模拟结果值执行模拟测试（S），在所述模拟测试情况下复制参考测试（R）的至少一个不确定性(ΔY₁)，其中根据模拟测试（S）的模拟结果值和参考测试（R）的结果值来确定用于预先给定的测试用例的模拟模型的评估度量（B），其中所述模拟测试（S）的模拟结果值和参考测试（R）的结果值满足或不满足预先给定的测试标准(Y_T)。

Description

用于确定模拟模型的评估度量的方法

技术领域

本发明涉及用于确定模拟模型的评估度量的方法以及用于执行该方法的计算单元和计算机程序。

背景技术

在不同自动化系统的领域中，建模和模拟发挥着越来越重要的作用。尤其是在汽车领域中，例如在用于车辆元件的控制设备情况下或在来自自动化——尤其是高度自动化——驾驶领域的许多应用情况下，模拟模型现在属于标准。然而，不同系统元件的自动化程度和联网越高，建模就变得越复杂。

发明内容

根据本发明，提出了具有独立专利权利要求的特征的用于确定模拟模型的评估度量的方法以及用于执行该方法的计算单元和计算机程序。有利的构型是从属权利要求以及以下描述的主题。

本发明采用模拟模型，所述模拟模型用于模拟参量的测量值并且尤其是确定这种模拟模型的评估度量，至少对于预先给定的测试用例。由于组件的真实测试（如开头所述）通常耗时且昂贵或者在某些情况下甚至不可能，因此在此可以越来越多地应用虚拟开通（Freigabe）或虚拟测试的概念。在此，要检查的系统、例如软件产品、控制装置或调节器不能被测试，或者不能仅在真实情况下、而是虚拟地根据模拟的测试用例被测试，所述模拟的测试用例借助于模拟模型来获得。不言而喻，这样的测试的说服力和安全性在很大程度上取决于所使用的模拟模型的质量。在这里做出错误陈述的不安全模型可能会对于以这种方式设计和检查的组件产生极大的危险。

模拟模型的质量又通过验证来确保，也就是说通过将模型结果、即借助于模拟模型执行的模拟测试的结果相对于现有数据、即借助于参考测试获得的结果进行平衡，所述现有数据的准确性是已知的（例如来自真实实验的数据）或被假设。如果模型尚未显示出与预期值（例如实际测量值）的充分一致性，则可以进一步改进所述模型，通常通过对模型进行适当的改变。同样可以适配和改进输入参量、参数、边界条件或建模假设。然后可以再次通过验证来检查模型是否具有足够的质量。

许多不同的方案可用于模型验证。然而，还需要一种方法，该方法使得能够以计算方式确定和量化在模拟情况下由不安全模型造成的风险并且明确或评估模拟模型的验证目标。在没有这样的基础情况下，就很难事后评估验证。在此背景下，在本发明的范围内提出了对模拟模型的评估度量的所提及的确定，这将在下面更详细地解释。

原则上，可以针对至少一个特定的测试用例执行参考测试，尤其是借助于实际测量。例如，可以在真实车辆、测试台（HIL、SIL、VIL、XIL 模拟）处执行参考测试，但也还可以设想更详细的或已经被评估为良好的另一模拟。此外，可以借助于模拟模型来执行模拟测试，然后将所述模拟测试的结果或结果值与参考测试的结果或结果值进行比较。测试用例在此被理解为模拟模型的具体应用或其中应确定参量的具体情况。

如果在参考测试中以及在模拟测试中结果值满足预先给定的测试标准的频率或概率为 100%，则可以将模拟模型评估为良好并例如用于验证。如果这些频率不是 100%，但对于参考测试和模拟测试仍然相同——或者至少在可接受的范围内相同，则同样可以毫不费力地相对应地使用所述模拟模型。然而，如果这些频率彼此（强烈）不同，也即例如参考测试得出满足测试标准的频率为95%，而模拟测试例如仅为 80%，则是有问题的。这里可以假设，模拟模型没有充分描绘现实，即要模拟的产品。那么问题就出现在这里，模拟模型是否可以或应该例如被改进。这是本发明发挥作用的地方。

在针对测试用例所执行的具有其结果值（如上所提及的，在此情况下尤其可以是实际测量值）的参考测试中，在参考测试中确定至少一个不确定性。例如，这种不确定性可以是随机性，其主要、但不总是与测试现实（照明条件、震动、温度、车道）中的随机性有关。因此，这种不确定性也可测量地存在于相对应的参考测试中。因此，所述不确定性的影响在每次重复时都会在模拟中有目的性地重现。因此于是借助于模拟模型执行具有参量的模拟结果值的模拟测试，其中复制了参考测试的至少一个不确定性。例如，可以在上限和下限内对其中仅一个区域已知的不确定性（例如车辆的补充充电）进行栅格扫描（rastern）；相对应地在模拟和参考尝试时。其他不确定性（例如生产参数）可以在参考中或在参考测试中测量，并在模拟中进行相对应地设置。因此，可以为每次模拟有目的性地生成预先规定。

在该上下文中还应该提到至少一个另外的不确定性仅存在于模拟中，但是或者现有的不确定性（来自参考测试）具有未描述的另外的不确定性成分，这些不确定性成分只会使模拟附加地不精确。这种另外的不确定性至少被包括在内，并且主要但不总是与模拟和模拟模型有关，例如可以考虑任意的、认知的、时间的、参数的不确定性、系统输入的不确定性、数值不确定性、模型形式误差或离散化误差是可能的。

换句话说，现实中可能出现在实践中导致测量值的波动的不确定性，这些波动一方面可被认为是给定的，并且另一方面在模拟中或在模拟模型中被复制或可以被复制。然而，模拟导致了另外的不确定性，无论是由于模型中真实不确定性的实现不足，还是由于模型相关的不确定性。

根据模拟测试的模拟结果值和参考测试的结果值满足或不满足测试标准，然后针对预先给定的测试确定模拟模型的已经提及的评估度量。然后，基于评估度量，尤其是确定是否使用测试用例的模拟模型来评估或验证模拟模型所基于的产品。如果在此确定了测试用例的模拟模型不用于评估或验证产品，则优选地适配模拟模型。这例如可以通过参数化中的改变、不同的模拟环境或利用不同的数值精度设定来进行。也有可能的是，使用已经利用不同数据进行了测试的另一模型变体，或者这是同一模型的不同开发状态。

如果模拟模型已被改进或更改，使得该模拟模型具有较低的不确定性，则该模拟模型的评估度量发生变化。如果该评估度量对于测试用例来说足够了，则可以使用该模型并且不必对其进一步开发。

尤其是，在所提出的模拟测试方式的情况下（其中复制参考测试的至少一个不确定性），在参考测试的满足测试标准的结果值的第一模拟测试组中并且在参考测试的不满足测试标准的结果值的第二模拟测试组中单独地执行。换句话说，模拟测试的分别导致结果值（或模拟测量值）的各个模拟，根据基础参考测试及其测量以及它们是否满足测试标准来被分类。

为此，例如可以针对参考测试中的每个测量过程执行具有相对应的不确定性的特有模拟，例如具有环境温度中的具体偏差的模拟，所述偏差在参考测量时导致不通过，并且相对应地反之亦然。对于测量中所有已知的不确定性（具有已知结果），附加地可以完全模拟仅在模拟中出现的不确定性。例如，如果测量通过，则可以以与恰好该测量作为预先规定的具体偏差执行100次模拟，其中于是仅在模拟中出现随机不确定性，从而只有一定比例的模拟通过测试。

然后尤其是根据模拟测试的灵敏性和特异性形成评估度量。灵敏性在此说明第一模拟测试组的模拟结果值（这里只考虑那些满足测试标准的参考测试的结果值）满足测试标准的频率。而特异性说明第二模拟测试组的模拟结果值（这里只考虑那些不符合测试标准的参考测试的结果值）不符合测试标准的频率。这样就可以检查在模拟测试情况下的假阳性率和假阴性率如何。这些比率或相对应地真阳性率和真阴性率最终用作评估度量。但一般来说，也可以简单地基于第一模拟测试组的模拟结果值满足测试标准的频率和第二模拟测试组的模拟结果值不满足测试标准的频率来确定评估度量，以便能够实现相对应的评判。然后，在此也可以使用显着性水平或类似的。

在该上下文中还应该注意的是，模拟模型虽然可能特别良好地适用于某个测试用例，但不适用于其他测试用例。在这方面可能的是，模拟模型于是稍后也仅用于该测试用例，而不用于另一个测试用例——无需使模型更进一步适应于该测试用例。

本发明在此利用了几种机制：模拟模型可以在一些测试用例中提供（特别）精确的陈述，尽管该模拟模型在其他测试用例中或在一般情况下仍然具有不确定性。因此也就是该模型可用于具有精陈述的测试用例。例如，该模型也可以逐步用于越来越多的单个测试或单个的测试用例，而无需对所有测试任务做出普遍正确的陈述。基于模拟的测试可以在整个开通中履行不同的角色。因此在有些情况下，允许对假阴性和假阳性测试结果有不同的容限。例如，具有带 10% 假阳性率的虚拟搜索测试的策略可以与下游的实际测试的排除测试程序相结合。

因此，所提出的方式使得模拟模型能够在早期用在项目中，即使所属模拟模型在虚拟开通中仍然具有不确定性。同样可以选择性地对某些测试用例使用各个模拟。虚拟和真实测试方法的更简单的组合和关联也是可能的。还可以导出用于模拟模型验证的停止标准，即可用于决定模拟模型是否还须改进或改变的标准。

模拟模型的应用情况及其建议的评估、尤其是开通和伴随开发的性能评估，尤其是在自动化驾驶、尤其是所谓的高度自动化驾驶（HAD）的领域中找到。新的验证方法对“3+级（Level 3+）”系统（即具有相对应地高度自动化的系统）特别适宜。这方面的示例是也已经开发的“（2级Level 2）”系统，例如公路助手 (Highway Assistant（HWA)） 和车道保持助手(Lane Keep Assistant，LKA)。在“2+级”系统中，可以想象允许短暂释放方向盘的助手。然后从“3级”到“5级”可以考虑具有自主程度3至5的全面的交通拥堵、高速公路、乡村和城市导航。

另一个应用是，例如，模拟自动驾驶中的驶入机动动作，其中已知干扰、例如与传感器的前方行驶的对象的距离识别的噪声留下印记。附加的不确定性、例如制动模型中的形式误差仅存在于模拟中，并且仅在那里留下印记。作为测试标准，然后可以在典型的制动指标“制动威胁数”（Brake-Threat-Number，BTN，必要减速度和最大可能减速度之比）中计算与阈值的距离。

另一个应用例如是模拟自动驾驶时的车道误差作为横向车道引导的稳健性测试。从耐力跑中得知，分布式地缺乏在一定距离上的车道信息可以在模拟中留下印记。转向模型中的形式误差仅在模拟中留下印记。然后可以计算与转向威胁数（Steer-Threat-Number，STN，必要的（横向）加速度与最大可能加速度之比；防止车道偏离的典型指标）中的阈值的距离作为测试标准。

然而，所提出的方法也可以用于其他产品或模拟模型，其中例如相对应的测量技术和/或模拟基础设施是经济的（自主船舶、飞机、机器人），或者一般用在如下产品上，在所述产品情况下出于成本原因虚拟开通应当剥离现有方法或者在所述产品情况下验证是极其耗费的。

根据本发明的计算单元、例如PC尤其是在编程方面被设置来执行根据本发明的方法。

以具有用于执行所有方法步骤的程序代码的计算机程序或计算机程序产品的形式实现根据本发明的方法也是有利的，因为这导致特别低的成本，尤其是如果执行的控制设备还用于其他任务并且因此无论如何都存在时。用于提供计算机程序的合适的数据载体尤其是磁、光和电存储器，例如硬盘、闪存、EEPROM、DVD等。通过计算机网络（互联网、内联网等等）下载程序也是可能的。

本发明的另外的优点和构型从描述和附图中得出。

本发明依据实施例在附图中示意性地示出并且在下面参照附图进行描述。

附图说明

图1示意性地示出了优选实施方式中的根据本发明方法的流程。

图2示意性地示出了在用于解释本发明的参考测试和模拟测试情况下具有累积概率的图表。

图3示意性地示出了在参考测试和模拟测试情况下具有累积概率的图表，所述参考测试和模拟测试如在本发明的优选实施方式的范围中使用的。

图4示意性地示出了在参考测试和模拟测试情况下具有累积概率的图表，所述参考测试和模拟测试如在本发明的优选实施方式的范围中使用的。

图5示意性地示出了用于表示如在本发明的优选实施方式的范围中使用的评估度量的图表。

具体实施方式

在图1中，在优选实施方式中示意性地示出了根据本发明的方法的流程。在此应当参考图1至5中的图表更详细地解释该流程。

首先要提及的是，针对例如某个产品的模型或模拟模型不可能具有绝对的有效性，也不可能在每个方面完全准确地塑造建模的系统或产品。因此尤其感兴趣的是，从哪一点和直到哪一点，相应模型可以合理地用于所规定的任务，例如特定测试的模拟。这尤其包括已经提及的虚拟开通，其中在虚拟测试用例中检查系统或产品。在此，性能与消极以及积极情景相关，即例如可靠地识别危险以及避免不必要的干预。

因此期望的是，合理地评估或量化模型或模拟模型的质量，并使得能够估计对于模拟模型来说应当实现何种验证目标。

在此可能出现不同的情况。例如，构造到某个点的模拟模型已经可以对某些测试用例或测试做出精确的陈述，而该模拟模型在其他测试用例或一般情况下仍然具有不确定性。同样，模拟模型可能会逐渐用于更多的单个测试，而在此无需对所有使用的测试任务做出真实的陈述。还可以规定关于假阴性和假阳性测试陈述的不同容限，以便基于模拟的测试可以满足不同的作用。例如，可以针对某个测试用例规定，为了避免危险（排除测试），只允许非常小份额的假阳性测试。在另一种情况下，在中等假阳性率情况下非常低的比率可能例如就足够了（用于后续测试方法的第一搜索测试）。这是两种常见的表达。

例如，下面描述的实施方式可用于评估与预先给定的测试用例相关的模拟模型。

首先，在步骤100中，可以执行参考测试R，在此范围中，借助于实际测量来确定在系统或产品的情况下在特定测试用例中对于特定参量的测量值或测量结果。例如，在这样的测试用例中，可以针对特定情况测量制动器（例如在制动片处）的温度。为此，可以在例如道路或测试路段上的真实车辆处进行测量。但是，如所提及的那样，这样的参考测试例如也可以在测试台处或借助于已经被评估为足够好的模拟模型来执行。

在步骤102中，于是可以针对相同的测试用例例如在构造为计算机或PC的计算单元150上而且在使用带评估的测试模型M的情况下执行（在前的）模拟测试S_V。

为此，在图2中示例性地示出了在这种参考测试和这种模拟测试的情况下具有累积概率p的图表以用于解释。参量 Y 绘制在横轴（Rechtswertachse）上（在此上下文中也可以称为系统响应或“system response quantity（系统响应量）”）。在此利用 Y_T 说明测试标准（或通过标准），所述测试标准是参量 Y 的值（在阈值的意义上），测量值例如不允许超过该值，以便可以认为满足测试标准。因此，在提到的具有制动器的示例中，温度例如不允许超过某个温度值，因为否则——在实际产品中和以后在使用情况下——可能会发生损坏等。

不言而喻，根据情况，测量值例如也不允许低于这样的阈值，以便假设满足测试标准。同样可以设想多个这样的阈值，例如两个，测量值必须位于所述阈值之间，以便假设满足测试标准。

利用Y_R说明参考测试R中测量值的最大值，即所有测量值都位于该值Y_R 以下。相对应地，累积概率——其在这种情况下可以等同于频率——得出为 100% 或 1.0。

如上已经提及的，现在针对模拟测试示出了两个不同的不确定性 ∆Y₁ 和 ∆Y₂。不确定性∆Y₁ 例如可以是随机性，其主要、但不总是与测试现实（照明条件、震动、温度、车道）中的随机性有关。这种不确定性在相对应的参考测试中可测量地存在，但在模拟模型中或在模拟测试中也被考虑。不确定性 ∆Y₂ 例如是另一种仅存在于模拟中的不确定性。在此情况下例如考虑任意的、认知的、时间的、参数的不确定性、系统输入的不确定性、数值不确定性、模型形式误差或离散化误差。

换句话说，现实中可能出现不确定性，所述不确定性在实践中导致测量值的波动，这些波动一方面被认为是给定的，而另一方面在模拟中或在模拟模型中被复制或可以被复制。然而，模拟导致另外的不确定性，无论是由于模型中的真实不确定性的实现不足，还是由于模型引起的不确定性。

这两种不确定性 ∆Y₁ 和 ∆Y₂ 相加并得出一种概率盒（或 p 盒），其表示模拟测量值的分布。对此应该注意的是，不确定性 ∆Y₂ 在此出于表示原因被划分；其如所提到的那样被添加给不确定性 ∆Y₁。在这方面，两条外线（左和右）说明模拟测试的模拟测量值位于其内的限制，所述线分别具有略微阶梯式的上升。

利用Y_S说明模拟测试S_V情况下的最大结果值。根据上面的解释，这得出为位于右上角的结果值。因此在图2中所示的示例中，所有的模拟结果值都位于测试标准Y_T 以下或满足该测试标准。因此在这种情况下，所使用的模拟模型将会提供良好的结果，并且可能会被例如直接用于验证。

然而，在实践中现在可能发生：在参考测试的情况下，参考测试的结果值或测量值满足测试标准的频率不是100%，而是例如只有95%。于是同样发生：在相关的模拟测试情况下，模拟结果值满足测试标准，不是100%，而是例如只有80%。尤其是，在参考测试和模拟测试情况下出现这些频率的这种差异，因为在模拟中存在所提到的不确定性 ΔY₂。

如果存在这种情况，至少可以假设所使用的模拟模型不是最优的，并且可以进行下面描述的评估，以找出模拟模型是否尽管如此仍可以被使用，或者是否应该在必要时对该模拟模型进行适配。

在步骤104中，为此确定在参考测试中出现的至少一个不确定性。然后在步骤106中，以该不确定性执行（另一）模拟测试S，而且在参考测试R的满足测试标准Y_T的这种结果值或测量值的第一模拟测试组S₁中并且在参考测试R的不满足测试标准Y_T 的这种结果值或测量值的第二模拟测试组S₂中分开地执行。为此，例如将来自步骤104的不确定性组合（稍后用于模拟的输入向量/参量）分类为“通过”和“未通过”。两组输入向量构成了组 S₁ 和 S₂的基础，但为每个值组合还模拟了附加的不确定性。因此，例如组 S 中的 100 个组合乘以100 个模拟内部的不确定性组合得出 10000 个模拟作为“通过”p盒的基础。这在组 S₂ 中以类似方式执行。

为此，在图3中示意性地示出了在参考测试和模拟测试情况下具有累积概率p的图表，而且仅针对该第一模拟测试组S₁。在参考测试情况下测量值的最大值 Y'_R 位于测试标准 Y_T 以下，因为只考虑满足测试标准的情况。对于模拟测试S或第一模拟测试组S₁——如图2中所示——示出了不确定性ΔY₁和ΔY₂。在此，在参考测试 R 中确定的不确定性包含在不确定性ΔY₁ 中，而不确定性ΔY₂ 包含所提及的另外的不确定性。

在此现在可以看出，第一模拟测试组S₁ 的累积频率分布的右侧限制伸展到直至测试标准 Y_T 之上。这意味着，模拟测试 S 表明，并非所有模拟结果值都满足测试标准。这仅适用于直至对应于测试标准 Y_T 的最大值 Y'_S。因此在所示示例中，只有 80% 或 0.8 的模拟测量值满足测试标准。相对应地，根据模拟测试S或第一模拟测试组S₁，20%的模拟结果值不满足测试标准。但是由于参考测试的基础测量值全部满足测试标准（这里只考虑这些基础测量值），测试具有20%的假阴性率（也称为“false negative（假阴性）”，FN），即在20%的模拟结果值情况下作为模拟测试的结果获得不满足测试标准，尽管这些模拟结果值本来应该满足测试标准（根据真实系统）。然而，相对应地，该测试具有80%的真阳性率（也称为“true positive（真阳性）”，TP）。这对应于已经提及的所谓的灵敏性 SE。

在图4中示意性地示出了在参考测试和模拟测试情况下具有累积概率p的图表，而且仅针对第二模拟测试组S₂。在参考测试情况下测量值的最大值 Y''_R 位于测试标准 Y_T之上，因为只考虑不满足测试标准的情况。对于模拟测试S或第二模拟测试组S₂——如图2中所示——示出了不确定性ΔY₁和ΔY₂。在此，在参考测试 R 中确定的不确定性包含在不确定性 ΔY₁ 中，而不确定性 ΔY₂ 包含所提及的另外的不确定性。

在此现在可以看出，第二模拟测试组S₂ 的累积频率分布的左侧限制伸展到直至测试标准 Y_T 之下。这意味着，模拟测试 S 表明，模拟结果值的部分满足测试标准（即只要所述模拟结果值的部分在 Y_T 的左侧或下方）。这适用于直至对应于测试标准 Y_T 的最大值Y''_S。

因此在所示示例中，只有10% 或0.1 的模拟测量值满足测试标准。相对应地，根据模拟测试S或第二模拟测试组S₂，90%的模拟结果值不满足测试标准。但是由于参考测试的基础测量值不满足测试标准（这里只考虑所述基础测量值），测试具有10%的假阳性率（也称为“false positive（假阳性）”，FP），即在10%的模拟结果值情况下作为模拟测试的结果获得满足测试标准，尽管所述模拟结果是本来不允许满足测试标准（根据真实系统）。然而，相对应地，该测试具有90%的真阴性率（也称为“true negative（真阴性）”，TN）。这对应于已经提到的所谓的特异性SP。

在步骤108中，现在由灵敏性SE和特异性SP形成评估标准B。示例性的，为此使用由特异性SP的补值、即1-SP和灵敏性SE的组合。根据评估，可以在步骤 110 中适配模拟模型。然后可以从步骤 104 起重复评估过程。

为此，在图5中示意性地示出了用于表示评估度量B（如刚刚提到的）的图表。在此，每个点（其中一个用 B 标明）说明模拟模型的评估过程的评估度量，如前面所解释的。图5中用B标明的评估过程具有大约SE = 80%和SP≈92%。

评估度量中的大多数在这里得出所谓的 ROC 曲线（Receiver OperatingCharacteristic（接收器操作特性））。例如，现在可以预先给定特异性 SP 的最小值，模拟模型的评估度量应满足该最小值。如果现在已经为满足该标准的模拟模型获得了评估度量，则可以尝试通过（有针对性地）适配模拟模型在进一步的评估过程中获得总是仍然满足该标准但具有更高灵敏性的评估度量。

如果例如在多次这样的评估和适配过程的范围中获得图 5 中所示的曲线（带有点），则将会选择用 B 标明的评估过程所基于的模型用于特异性应至少为 90% 的标准。

Claims (14)

1.用于确定模拟模型（M）的评估度量（B）的方法，该模拟模型用于模拟参量（Y）的测量值，对于预先给定的测试用例，

其中对于针对测试用例所执行的参考测试（R），利用参量（Y）的结果值确定参考测试（R）中的至少一个不确定性 (ΔY₁)，

其中借助于模拟模型（M）利用参量（Y）的模拟结果值执行模拟测试（S），在所述模拟测试情况下复制参考测试（R）的至少一个不确定性 (ΔY₁)，

其中根据模拟测试（S）的模拟结果值和参考测试（R）的结果值来确定用于预先给定的测试用例的模拟模型的评估度量（B），其中所述模拟测试（S）的模拟结果值和参考测试（R）的结果值满足或不满足预先给定的测试标准 (Y_T)。

2.根据权利要求1所述的方法，其中根据评估度量（B）来确定用于测试用例的模拟模型（M）是否被用于评估或验证模拟模型（M）所基于的产品。

3.根据权利要求2所述的方法，其中如果确定用于测试用例的模拟模型（M）未被用于评估或验证产品，则适配所述模拟模型（M）。

4.根据前述权利要求中任一项所述的方法，其中在参考测试（R）的满足测试标准（Y_T）的结果值的第一模拟测试组（S₁）中并且在参考测试（R）的不满足测试标准（Y_T）的结果值的第二模拟测试组（S₂）中单独地执行所述模拟测试（S），在所述模拟测试情况下复制参考测试（R）的至少一个不确定性(ΔY₁)。

5.根据权利要求4所述的方法，其中基于第一模拟测试组（S₁）的模拟结果值满足测试标准（Y_T）的频率以及第二模拟测试组（S₂）的模拟结果值满足测试标准（Y_T）的频率来确定所述评估度量（B）。

6.根据权利要求4或5所述的方法，其中评估度量（B）由模拟测试（S）的灵敏性（SE）和特异性（SP）形成，

其中灵敏性（SE）说明第一模拟测试组（S₁）的模拟结果值满足测试标准（Y_T）的频率，以及

其中特异性（SP）说明第二模拟测试组（S2）的模拟结果值不满足测试标准（Y_T）的频率。

7.根据前述权利要求中任一项所述的方法，其中在借助于所述模拟模型（M）所执行的模拟测试（S）情况下，复制参考测试（R）的至少一个不确定性（ΔY₁）并且在此模拟测试（S）包括至少一个另外的不确定性 (ΔY₂)。

8.根据前述权利要求中任一项所述的方法，其中所述测试用例的参考测试（R）借助于实际测量并且利用所述参量（Y）的作为结果的实际测量值来执行。

9.根据前述权利要求中任一项所述的方法，其中首先借助模拟模型（M）来执行先前的模拟测试（S_V），并且仅当先前的模拟测试的模拟结果值和参考测试的结果值满足测试标准（Y_T）的频率彼此不同时，才在参考测试中确定所述至少一个不确定性（ΔY₁）。

10.根据前述权利要求中任一项所述的方法，其中所述参量（Y）包括到行驶在前或位于前方的对象的距离或车道信息。

11.根据前述权利要求中任一项所述的方法，其中所述模拟模型（M）被用在自动驾驶的领域中。

12.计算单元（150），所述计算单元被设置为执行根据前述权利要求中任一项所述的方法的所有方法步骤。

13.计算机程序，当所述计算机程序在计算单元（150）上实施时，所述计算机程序促使计算单元（15）执行根据权利要求1至11中任一项所述的方法的所有方法步骤。

14.机器可读存储介质，具有在其上存储的根据权利要求13所述的计算机程序。

Images