CN112146890A - 用于评价和选择信号比较度量的方法和设备 - Google Patents

用于评价和选择信号比较度量的方法和设备 Download PDF

Info

Publication number
CN112146890A
CN112146890A CN202010586398.7A CN202010586398A CN112146890A CN 112146890 A CN112146890 A CN 112146890A CN 202010586398 A CN202010586398 A CN 202010586398A CN 112146890 A CN112146890 A CN 112146890A
Authority
CN
China
Prior art keywords
correlation
signal
performance indicator
difference
signal metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010586398.7A
Other languages
English (en)
Inventor
J.佐恩斯
C.格拉迪施
T.海因茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112146890A publication Critical patent/CN112146890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23456—Model machine for simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3308—Design verification, e.g. functional simulation or model checking using simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及用于评价和选择信号比较度量的方法和设备。用于评价仿真模型（22）的方法（20）的特征在于下列特征：‑针对所选择的测试情况（21），在仿真模型（22）中计算第一性能指标（24），‑针对相同的测试情况（21），在真实测试环境（23）中求得第二性能指标（24），‑针对所述测试情况（21）中的每个测试情况，形成在第一性能指标（24）和第二性能指标（24）之间的差（25）并且确定信号度量（26），‑针对所述信号度量（26）中的每个信号度量，检查在所述差（25）和相应的信号度量（26）之间的相互关系（27），和‑选择（28）与所述差（25）具有最紧密的相互关系（27）的那个信号度量（26）。

Description

用于评价和选择信号比较度量的方法和设备
技术领域
本发明涉及一种用于评价（Bewerten）仿真模型的方法。除此以外，本发明涉及一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。
背景技术
在软件技术中，将模型用于使测试活动自动化且用于在测试过程中生成测试工件被概括为上位概念“基于模型的测试（model-based testing，MBT）”。十分熟悉的是，例如从描述要测试的系统的目标特性（Sollverhalten）的模型中生成测试情况。
尤其是，嵌入式系统（embedded systems）依赖于传感器的决定性的输入信号，并且又通过给极其不同的执行器的输出信号对其环境进行仿真。在这种系统的验证和前置开发阶段的进程中，因而在调节回路（Regelschleife）中，所述系统的模型（模型在环（modelin the loop），MiL）、软件（软件在环（software in the loop），SiL）、处理器（处理器在环（processor in the loop），PiL）或者整个硬件（硬件在环（hardware in the loop），HiL）与环境的模型一起被仿真。在车辆技术中，视测试阶段和测试对象而定，与该原理相对应的用于检验电子控制设备的仿真器有时被称作部件检验台、模块检验台或者集成检验台（Integrationspruefstaende）。
DE10303489A1公开了一种这样的用于测试车辆的控制单元的软件的方法，其中通过测试系统至少部分地仿真由控制单元可控制的调节段（Regelstrecke），其方式是：由控制单元产生输出信号，并且控制单元的这些输出信号经由第一连接被传输至第一硬件组件，而且第二硬件组件的信号作为输入信号经由第二连接被传输至控制单元，其中输出信号作为第一控制值在软件中被提供，并且附加地经由通信接口相对于调节段实时地被传输至测试系统。
这样的仿真在不同技术领域是流行的，并且例如得到采用，以便检验嵌入式系统在其开发的早期阶段在电动工具中、在驱动系统、转向系统和制动系统的发动机控制设备中或者在完全自主的车辆中的适用性。尽管如此，按照现有技术的仿真模型的结果由于对其可靠性缺乏信任而只有限地被包括在批准决定（Freigabeentscheidungen）中。
发明内容
本发明提供根据独立权利要求所述的一种用于评价仿真模型的方法、一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。
根据本发明的方案立足于如下认知：仿真模型的质量对于由此可实现的测试结果的正确的可预测性而言是十分重要的。在MBT的领域中，确认的子主题专注于将真实测量与仿真结果进行比较的任务。为此，使用不同的度量（Metriken）、度量值或者另外的比较器，它们将信号彼此联结（verknuepfen）并且它们在下文中概括而言应被称作信号度量（SM）。对于这样的信号度量的实例是对大小、相移和相关性进行比较的度量。通过标准（例如ISO18571）定义了数个信号度量。
在验证时，典型地依据要求、规范或者性能特征参数，检查要测试的系统（在测系统（system under test），SUT），所述要求、规范或者性能特征参数随后被概括为：关键性能指标（key performance index，KPI）。要注意的是，布尔型要求或者规范常常可以被转换成定量测量，其方式是：使用如信号时序逻辑（signal temporal logic，STL）之类的形式。KPI可以要么按照真实物理实施要么按照仿真来评估。
在KPI与信号度量之间的区别在图1中示出。在真实测试环境中测量的信号（S1）和在仿真过程中所求得（ermittelt）的信号（S2）这里相似。因而，相关的信号度量是小的，但是这两个信号的性能指标（KPI）在预先给定的阈值（10）之上，所述阈值将有利的指标值（11）与不利的指标值（12）分开。该性能指标（KPI）因而在本发明要被评价为不利的（12）。用附图标记13标明的绝对偏移在这种情况下并不应归因于信号度量的错误陈述，而是应归因于性能指标（KPI）的错误陈述。
进一步的阐述基于下文中所说明的概念性。
信号度量是针对两个信号之间的相似性的量度，并且典型地将来自真实试验的信号与来自仿真的信号进行比较。标志（Signatur）是
Figure 734249DEST_PATH_IMAGE001
，其中S标明可能的信号的基本量。
KPI是如下度量：以对于人们可理解的并且以计算机方式可评估的方式，所述度量定义，（通过信号示出的）系统性能多好：
Figure 323494DEST_PATH_IMAGE002
。
对信号s的要求基于针对KPI的阈值t
Figure 899968DEST_PATH_IMAGE003
，定义了，通过信号实体化的系统特性是否是可接受的，并且因此能够实现二元判定：
Figure 436123DEST_PATH_IMAGE004
。
信号度量和KPI因此具有不同的标志。相对应地，信号度量和KPI处理不同的内容。如在图1中所示出的那样，在真实的输出信号（S1）和被仿真的输出信号（S2）之间的信号度量可以是小的，但是这两个信号（S1，S2）可能未达到系统要求，并且因而具有小的或者负的KPI。
所建议的方法此外还考虑如下情形，有时不清楚的是，在依据测量确认仿真模型时，应使用众多信号度量中的哪个信号度量。如果整个目标SUT的要求或者性能指示器在确认时还没有定下来，那么这尤其是发生。所描述的方法着手研究该问题，并且帮助选择（基于确定的KPI）分别最合适的信号度量。
在KPI和要求之间的区别解决如下问题：人们常常可能没有说明明确的阈值。即阈值的规定可能要求，收集试验中的经验并且找到合适的折衷。在KPI和要求之间的分开能够实现推迟关于可接受的阈值的判定。
也存在如下情况：在所述情况中，在KPI和信号度量之间存在无意义的关系。如果KPI包含参考信号并且依据信号度量来定义，则情况如此。在该情况下，所建议的方法的应用只有限地是有意义的，因为结果无关紧要。
根据本发明的解决方案的优点概述而言在于，为选择信号度量提供在数学上有积极性的标准。
通过在从属权利要求中举出的措施，可能有利地改进和改善在独立权利要求中所说明的基本构思。
附图说明
本发明的实施例在附图中示出，并且在随后的描述中更详细地予以阐述。其中：
图1示出了在信号度量和KPI之间的差的可视化。
图2示出了根据代表不同算法实施形式的实施形式的方法的数据流图。
图3至7示出了具有在ΔKPI和SM之间的不同比例的情况和最终得到的相互关系。
图8和图9示出了根据可能的实施形式的方法（图2）的计算的示例性图解，其中被仿真的信号S被保持并且仅测量信号mi改变。
图10示意性地示出了根据本发明的第二实施形式的工作站。
具体实施方式
根据本发明的计算通过图2来阐明，并且遵循如下基本想法：针对所选择的测试情况（21，29），通过来自对不同真实测量的仿真（22）和观察（23）的输出信号的变化，一方面计算改变的值
Figure 516075DEST_PATH_IMAGE005
，而另一方面计算改变的信号度量（26）。根据本发明的方案此外设置，计算在针对
Figure 869696DEST_PATH_IMAGE005
算出的值与信号度量之间的相互关系（27）。与
Figure 277674DEST_PATH_IMAGE005
具有最紧密的相互关系的那个信号度量被选择（28）。值
Figure 7733DEST_PATH_IMAGE005
在这种情况下标明在仿真模型（22）中计算的和另一方面为在真实测量环境（23）中求得的性能指标（24）的差（25）。
仿真输出的变化通过数个仿真参数（例如输入变量）的变化实现。测量的变化可以通过重复试验或者通过在（比方说具有不同的参数的）不同条件下多次尝试来实现。
如已经提及的那样，信号度量
Figure 942191DEST_PATH_IMAGE006
将两个信号映射到实值上
Figure 70641DEST_PATH_IMAGE007
；与此相反，KPI将信号（和可选地最初的SUT输入X）映射到实值上
Figure 90549DEST_PATH_IMAGE008
。因此，函数SM和KPI具有不同的标志，因而计算在
Figure 93140DEST_PATH_IMAGE009
和
Figure 882105DEST_PATH_IMAGE010
之间的相互关系。
可是，相关性的常用定义是不适合的，因为（不同于在图3中所示的理想情况）可能的是，尽管仿真信号不同和测量不同，但是
Figure 452895DEST_PATH_IMAGE005
或者SM是恒定的。在该情况下，方差
Figure 960099DEST_PATH_IMAGE011
或
Figure 500802DEST_PATH_IMAGE012
等于零，使得相对应的相关系数是未定义的。考虑到如在图4至图7中示出的这样的情况和数值不稳定性，修改后的相关性证明为是权宜的：
Figure 409852DEST_PATH_IMAGE013
等式1
其中
Figure 885964DEST_PATH_IMAGE014
是异或运算符。
应察觉到的是，等式1也可以使用另外的函数，例如具有所描述的修改的协方差。
例如以软件或者硬件，或者以由软件和硬件构成的混合形式，该方法（20）可以例如在控制设备中实施，如图10的示意图所解释清楚的那样。

Claims (11)

1.一种用于评价尤其是至少部分自主的机器人或者车辆的仿真模型（22）的方法（20），
其特征在于下列特征：
- 针对所选择的测试情况（21），在所述仿真模型（22）中计算第一性能指标（24），
- 针对相同的测试情况（21），在真实测试环境（23）中求得第二性能指标（24），
- 针对所述测试情况（21）中的每个测试情况，形成在所述第一性能指标（24）和所述第二性能指标（24）之间的差（25），并且确定信号度量（26），
- 针对所述信号度量（26）中的每个信号度量，检查在所述差（25）和相应的信号度量（26）之间的相互关系（27），和
- 选择（28）与所述差（25）具有最紧密的相互关系（27）的那个信号度量（26）。
2.根据权利要求1所述的方法（20），
其特征在于，
所述信号度量（26）涉及下列项中的至少一项：
- 信号强度，
- 相移，或者
- 相关性。
3.根据权利要求1或者2所述的方法（20），
其特征在于，
按照下列方法（20）之一选择所述测试情况（21）：
- 随机方法，
- 不确定性量化，或者
- 基于搜索的测试方法。
4.根据权利要求1至3中任一项所述的方法（20），
其特征在于下列特征：
- 通过更改所述仿真模型（22）的参数，所述第一性能指标（24）改变。
5.根据权利要求1至4中任一项所述的方法（20），
其特征在于下列特征：
- 通过重复所述测试情况（21），所述第二性能指标（24）改变。
6.根据权利要求1至5中任一项所述的方法（20），
其特征在于下列特征：
- 如果不仅所述差（25）而且所述信号度量（26）是恒定的，则所述相互关系（27）被定义为一，
- 否则，如果所述差（25）或者所述信号度量（26）是恒定的，则所述相互关系（27）被定义为零，和
- 否则，所述相互关系（27）通过所述差（25）和所述信号度量（26）的关联程度来定义。
7.根据权利要求6所述的方法（20），
其特征在于下列特征：
- 所述关联程度是相关系数。
8.根据权利要求1至7中任一项所述的方法（20），其特征在于，根据所选择的信号度量（26），自动地改善依据所述信号度量（26）识别出的通过所述仿真模型（22）来建模的系统的误差。
9.一种计算机程序，所述计算机程序设立为，实施根据权利要求1至8中任一项所述的方法（20）。
10.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求9所述的计算机程序。
11.一种设备，所述设备设立为，实施根据权利要求1至8中任一项所述的方法（20）。
CN202010586398.7A 2019-06-28 2020-06-24 用于评价和选择信号比较度量的方法和设备 Pending CN112146890A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019209536.4 2019-06-28
DE102019209536.4A DE102019209536A1 (de) 2019-06-28 2019-06-28 Verfahren und Vorrichtung zur Bewertung und Auswahl von Signal-Vergleichsmetriken

Publications (1)

Publication Number Publication Date
CN112146890A true CN112146890A (zh) 2020-12-29

Family

ID=70918350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586398.7A Pending CN112146890A (zh) 2019-06-28 2020-06-24 用于评价和选择信号比较度量的方法和设备

Country Status (5)

Country Link
US (1) US11416371B2 (zh)
EP (1) EP3757698A1 (zh)
CN (1) CN112146890A (zh)
DE (1) DE102019209536A1 (zh)
FR (1) FR3097961A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187034B (zh) * 2023-01-12 2024-03-12 中国航空发动机研究院 基于不确定度量化的压气机仿真可信度评估方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10303489A1 (de) 2003-01-30 2004-08-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Testen von Software einer Steuereinheit eines Fahrzeugs
FR2939924B1 (fr) * 2008-12-15 2012-10-12 Snecma Identification de defaillances dans un moteur d'aeronef
US8990778B1 (en) 2012-09-14 2015-03-24 Amazon Technologies, Inc. Shadow test replay service
US11194940B2 (en) * 2018-04-22 2021-12-07 Sas Institute Inc. Optimization under disallowed combinations
US11579600B2 (en) * 2018-12-28 2023-02-14 Nec Corporation Estimation apparatus, estimation method, and computer-readable storage medium

Also Published As

Publication number Publication date
FR3097961A1 (fr) 2021-01-01
US20200409817A1 (en) 2020-12-31
DE102019209536A1 (de) 2020-12-31
US11416371B2 (en) 2022-08-16
EP3757698A1 (de) 2020-12-30

Similar Documents

Publication Publication Date Title
CN113590456A (zh) 用于检查技术系统的方法和设备
US20200409823A1 (en) Method and apparatus for optimal distribution of test cases among different testing platforms
US20050223295A1 (en) Method for the creation of sequences for testing software
CN112147973A (zh) 检验系统、选择真实测试和测试系统的方法和设备
Matinnejad et al. Automated model-in-the-loop testing of continuous controllers using search
CN112146890A (zh) 用于评价和选择信号比较度量的方法和设备
US20070180411A1 (en) Method and apparatus for comparing semiconductor-related technical systems characterized by statistical data
CN106529061A (zh) 一种飞行器的评测方法及评测系统
US20220327042A1 (en) Method for testing a product
US20210334435A1 (en) Method and device for simulating a technical system
US20230204549A1 (en) Apparatus and automated method for evaluating sensor measured values, and use of the apparatus
CN113722207A (zh) 用于检查技术系统的方法和装置
CN113590458A (zh) 用于检查技术系统的方法和设备
Braden et al. A prognostic and data fusion based approach to validating automotive electronics
Tao et al. Probabilistic inference of fault condition of cyber-physical systems under uncertainty
KR101601499B1 (ko) 사인 온 랜덤 진동 시험 설정 방법 및 장치
Marcos et al. Fault detection and isolation for a rocket engine valve
CN112416748A (zh) 用于遵照要求对系统进行测试的方法
US20210026999A1 (en) Method and device for validating a simulation of a technical system
CN114840397A (zh) 用于检验技术系统的方法和装置
CN113704086A (zh) 用于检查技术系统的方法和设备
CN114580140A (zh) 用于确定模拟模型的评估度量的方法
CN113704084A (zh) 用于检查技术系统的方法和设备
US11720722B2 (en) Signal flow-based computer program with direct feedthrough loops
Wittel et al. Automatic Test Evaluation for Driving Scenarios Using Abstraction Level Constraints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination