CN115292152A - 用于自动提供用于测试过程的指示的计算机实现的方法 - Google Patents
用于自动提供用于测试过程的指示的计算机实现的方法 Download PDFInfo
- Publication number
- CN115292152A CN115292152A CN202210448162.6A CN202210448162A CN115292152A CN 115292152 A CN115292152 A CN 115292152A CN 202210448162 A CN202210448162 A CN 202210448162A CN 115292152 A CN115292152 A CN 115292152A
- Authority
- CN
- China
- Prior art keywords
- indication
- test
- provider
- computer
- indication provider
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000010998 test method Methods 0.000 title claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 173
- 230000007246 mechanism Effects 0.000 claims abstract description 40
- 238000004088 simulation Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 17
- SPBWHPXCWJLQRU-FITJORAGSA-N 4-amino-8-[(2r,3r,4s,5r)-3,4-dihydroxy-5-(hydroxymethyl)oxolan-2-yl]-5-oxopyrido[2,3-d]pyrimidine-6-carboxamide Chemical compound C12=NC=NC(N)=C2C(=O)C(C(=O)N)=CN1[C@@H]1O[C@H](CO)[C@@H](O)[C@H]1O SPBWHPXCWJLQRU-FITJORAGSA-N 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 101000959883 Solanum tuberosum Aspartic protease inhibitor 3 Proteins 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3457—Performance evaluation by simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
用于自动提供用于测试过程的指示的计算机实现的方法，其中，所述指示通过至少一个指示提供器确定，并且手动地和/或自动地选择用于测试和/或模拟的指示提供器，其中，指示提供器观测至少两个测试执行，从而识别在测试执行中的至少一个事件，并且导出至少一个指示，其中，所述指示提供器通过指示提供器机制自动地在测试执行期间执行，并且将通过指示提供器查明的指示提供给测试系统和/或用户。
Description
技术领域
本发明涉及一种用于自动提供用于测试过程的指示的计算机实现的方法，其中，所述指示通过至少一个指示提供器确定，并且手动地和/或自动地选择用于测试和/或模拟的指示提供器。在此，指示提供器观测多个测试执行、但是至少两个测试执行，从而识别在测试执行中的至少一个事件，并且导出至少一个指示。指示提供器通过指示提供器机制自动地在测试执行期间执行，并且随后将通过指示提供器查明的指示提供给测试系统和/或用户。
本发明此外涉及一种用于自动提供用于测试过程的指示的测试单元。本发明还涉及一种计算机程序和一种计算机可读的数据载体。
背景技术
驾驶员辅助系统、例如自适应的速度调节器和/或用于高度自动化或自主的行驶的功能可以借助于各种检查方法检验或验证。在此特别是可以应用硬件在环方法、软件在环方法、模拟和/或测试行驶。
耗费、特别是用于在使用上述检测方法的情况下测试这样的车辆功能的时间和/或成本耗费在此典型地是非常高的，因为必须测试大量潜在可能的行驶情况。
仅仅在具有超过数十亿千米的行驶路程的道路上测试至少部分自主的交通工具出于时间和成本原因是不可能的。再者多个冗余的测试里程产生，而关键和不寻常的情况不出现，但这些关键和不寻常的情况对于至少部分自主的车辆的能力是重要的。
这特别是可能导致不仅用于测试行驶而且用于模拟的高耗费。DE 10 2017 200180 A1给出一种用于检验和/或验证车辆功能的方法，该方法设置为用于沿纵向方向和/或横向方向自主地引导车辆。
该方法包括：基于关于车辆的周围环境的周围环境数据查明给车辆的执行器的车辆功能的测试控制指令，其中，所述测试控制指令未通过执行器实施。
该方法此外还包括：基于周围环境数据并且在使用关于在车辆的周围环境中的至少一个交通参与者的交通参与者模型的情况下模拟虚构的交通情况，如果要实施测试控制指令，则将存在该虚构的交通情况。
该方法此外还包括：提供关于虚构的交通情况的测试数据。在此被动地在车辆中运行车辆功能，以用于查明测试控制指令。
对于该方法不利的是，为了检验和/或验证车辆功能需要车辆的实际的运行来查明必需的数据。
至少部分自主的交通工具的制造方需要并行化的、基于模拟的解决方案。测试方法“基于情景的测试”在此出现。为此需要智能的测试调整(Testnachsteuerung)，其进行模拟结果和/或测试数据的评估并且必要时例如实施改变的参数化。
发明内容
因此，本发明的任务在于，给出一种方法、一种测试单元、一种计算机程序以及一种计算机可读的数据载体，其自动提供用于测试过程的指示。按照本发明，根据用于自动提供用于测试过程的指示的计算机实现的方法，通过至少一个指示提供器确定所述指示。在本发明的一个有利的实施方案中，用于测试和/或模拟的指示提供器可以手动地和/或自动地选择。指示提供器在此观测多个测试执行，从而识别在测试执行中的至少一个事件，并且导出至少一个指示。在一个有利的实施方案中，所述指示提供器通过指示提供器机制自动地在测试执行期间执行，并且随后将通过指示提供器查明的指示提供给测试系统和/或用户。
按照本发明，该任务通过根据权利要求1的用于自动提供用于测试过程的指示的计算机实现的方法、根据权利要求13的测试单元、根据权利要求14的计算机程序以及根据权利要求15的计算机可读的数据载体来解决。
自主的车辆包含多个控制器。每个单个的控制器及其组合必须在研发中和在认可中被尽量多地测试。为了确保在每个交通情况下控制器的无故障的功能方式，基于场景进行测试。在基于情景的测试中，在尽可能接近现实的交通情况下分析车辆的行驶方式。交通情况的要分析的各方面及其评估取决于要测试的系统。为此在对用于自主引导的机动车的系统和系统组件进行基于场景的测试时定义如下场景，这些场景可称为交通情况的抽象。对于每个场景，于是又可以执行测试用例。逻辑场景在此是具有道路、行驶行为和周围交通的交通情况的抽象，而无需确定具体的参数值。通过选择具体的参数值从逻辑情景查明具体的情景。这样的具体的情景分别相应于单个的交通情况。
为了在基于情景的测试中原则上按照本发明地区分交通情景或情景，不仅考虑静态参数、但例如并非仅仅考虑周围环境、建筑或行车道宽度，而且特别是也考虑各个交通参与者的行驶行为。交通参与者的运动和因此行驶行为通过轨迹描述。轨迹不仅在空间方向而且在时间方向上描述路径。通过参数、例如速度可以区分交通参与者的运动。
自主的行驶功能通过系统、例如控制器实现。所述控制器按照传统在真实的车辆中在真实的交通情况下被测试、通过硬件在环测试或备选地通过完全虚拟的测试来验证。
为此也可以利用模拟。
要考虑的情景例如是所谓的插队情景(Cut-In-Szenario)。插队情景可以涉及如下交通情况，其中高度自动化或自主的车辆行驶在预定行车道中，而另外的车辆以相对于本车辆降低的速度由另外的行车道间隔开确定的间距驶入到本车辆的行车道中。本车辆在此表示要测试的车辆(SUT)。
本车辆和另外的车辆——也称为伙伴车辆——的速度在此恒定。因为本车辆的速度高于伙伴车辆的速度，所以必须将本车辆制动，以便避免这两车的碰撞。
但是插队情景也可能以不同的表达形式存在，例如通过在交通参与者的速度中的区分。
此外可能的是另外的情景、如绕行情景，其方式为本车辆是进行超车的车辆，从而本车辆在预定的行车道中行驶，而另外的车辆以相比于本车辆降低的速度超车。此时，本车辆变换/拐出到另外的行车道上且以更高的速度在伙伴车辆旁边行驶通过。本车辆的速度在该情景下不必是恒定的。在本车辆在伙伴车辆旁边行驶通过之后，本车辆又拐入到之前的行车道上。
这样的情景可以以不同的参数值模拟。为了获得关于测试过程的尽可能高的认识获取，必须监控测试过程并且在测试调整中对其进行反应。目标必须是在整个参数空间中以尽可能低的资源耗费获得“待测试的对象”或“待测试的系统(SUT)”的评估。亦即应节省资源地应用模拟和运算时间且达到高的测试覆盖和认可。在测试过程的范围中，由此以具有偏差的参数化实施多个可比较的模拟/测试。为了可以关于整个测试过程尽可能好地实现资源充分利用并且特别是能够确保具有说服力的测试条件以及在参数空间中具有说服力的参数值，必须观测多个测试执行。经常地，在一个或多个测试执行中单个地或组合地出现如下事件，用户想要尽可能迅速地对这些事件做出反应。
这样的相关的事件可以由测试结果的关系产生和/或也可以通过例如要写入测试结果的硬盘的容量限制产生。
这样的事件可以通过用户手动探测，其方法是用户观测测试过程。这是非常昂贵的并且必要时在非常高的测试次数的情况下是不可能的。
如果手动分析测试结果，那么不可以及时对相关事件做出反应，从而测试可能太长地运行和/或引起不必要的成本和/或错误地中断。
由此本发明的需求和目的变得明显，从而通过用户的支持在分析和对相关事件的反应中使得测试过程并特别是多个测试执行的观测自动化，并且对于用户和/或测试系统通过自动产生的指示能实现有效的测试设计。
本发明为此在一个有利实施方案中设有指示提供器机制。在另外的个有利实施方案中指示提供器实现为指示提供器插件，并且指示提供器机制实现为指示提供器插件机制。其他实现方案应被按照本发明的方法所包括。
指示提供器插件机制、备选地还有顾问插件机制提供(vorhalten)指示提供器插件、备选地还有顾问插件(Advisor-Plug-In)。如此，在另外的实施方案中，例如指示提供器插件可以通过拖放(Drag&Drop)配设给指示提供器插件机制。按照本发明，配设也可以通过其他手动步骤进行，此外也可以根据测试/模拟进行指示提供器插件的自动配设。再者，特别是可以将目前不应用的指示提供器插件保持在指示提供器插件池中并且进行管理。
指示提供器插件由脚本和配置文件组成。除了指示提供器插件的一般的数据、如指示值的名称、单位等之外，通过配置文件可以规定指示值的界限，根据所述界限执行相应的动作(指示、警告或中断)。所述脚本根据预定义的接口描述为指示提供器插件并且由指示提供器插件机制根据指示提供器的选择来保持。
指示提供器插件在数据库中保持为指示提供器插件池并且在加载测试/模拟的情况下分配给指示提供器插件机制。在测试执行期间，指示提供器插件机制观测产生的结果。如果存在新的结果，那么收集并且必要时编辑该结果。紧接着单个地执行每个指示提供器插件。在每个指示提供器插件执行中，将新的结果转移给指示提供器插件。指示提供器插件脚本由结果计算指示值。根据指示值，借助在配置中的界限值来选择并且自动执行动作。在测试结果中不仅保存指示值而且还有动作。
可能的动作例如是给用户指示或警告。除了消息之外，指示提供器插件也可以促使测试过程的终止。在此可以停止所有运行的模拟或者将其执行至结束。另外的计划的执行由执行例程得知。指示提供器插件也可以不促使动作。在该情况下，仅仅将指示值保存在测试结果中。
假定应以三个碰撞情景测试紧急制动辅助。每个情景应以100个不同的具体的表达形式(具体的情景、参数组)测试。在测试定义中，例如选择两个各具有一个配置文件和一个脚本的指示提供器插件(API-1和API-3)。第一指示提供器插件(API-1)包含如下点：
-如果至少10(N)个测试行驶完成，那么检查关于模拟行驶的测试里程的碰撞率。
--在1000千米上至少平均2(X)次碰撞的情况下给用户指示提高的碰撞发生。
--在1000千米上至少3(Y)次碰撞的情况下给用户警告提高的碰撞发生。
--在1000千米上至少4(Z)次碰撞的情况下中断以该情景的测试过程，并且开始以下一测试情景的分析。
-假如以第一情景模拟执行了所有测试行驶并且未出现(0、A)碰撞，那么跳到后续测试情景的分析。
在所述指示提供器插件(API-1)的情况下，在配置文件中例如此外可选择参量N、X、Y、Z和A。
第二指示提供器插件(API-2)应包含如下点：
-在所有测试行驶中收集执行持续时间，并且对于每个情景形成平均值。
-因为各个情景的最大测试行驶的数量是已知的，所以可以利用相应的执行持续时间的平均值单个地计算相应的情景的测试的执行时间以及计算其总和。
-如果将一个情景的执行的长度估计为长于最大总时间(G)的1/3，那么给用户发送警告。
-如果各个情景的执行长度的总和超过最大总时间(必要时加上不精确性系数)，那么警告用户，并且中断全部测试(终止且再优先化(Umpriorisierung))。
通过指示提供器插件(API-1和API-2)可以节省资源地关断测试过程，并且可以及时识别不必要的延长的测试且相应地对其做出反应。
在测试过程期间，逐个模拟各个具体的情景。指示提供器插件机制观测产生的结果并且将该结果提供给指示提供器插件。所述指示提供器插件分别单个地计算指示值并且通过指示提供器插件机制促使执行所查明的指示或者备选地所查明的建议。
本发明的其他实施形式是其他从属权利要求以及参照附图的如下说明的技术方案。
测试单元包括用于自动提供用于测试过程的指示的器件。
按照本发明的另外的方面还规定一种计算机程序，所述计算机程序包括程序代码，以便当所述计算机程序在计算机上执行时实施按照本发明的方法。按照本发明的另外的方面规定一种数据载体，所述数据载体包括程序代码的计算机程序，以便当计算机程序在计算机上执行时实施按照本发明的方法。
计算机实现的方法的在此所述的特征可用于自动提供用于测试过程的指示。同样地，按照本发明的测试单元适用于，通过例如对于不同情景或行驶情况的模拟结果和/或模拟步骤的指示实施例如汽车、货车和/或商用车、船舶或飞机的多个不同的装置或控制器的测试调整。
附图说明
为了更好理解本发明及其优点现在参照结合所属附图的如下说明。在下文中借助示例性实施形式进一步阐明本发明，这些实施形式在各附图的示意图中给出。图中：
图1示出用于按照本发明地区分情景的示意图；
图2示出给出在关键与非关键的测试结果之间的界限的示意图；
图3示出指示提供器插件的按照本发明的视图；
图4示出用于按照本发明地描述指示提供器插件机制和指示提供器插件的示意图；
图5示出用于按照本发明地描述指示提供器插件的应用的示意图；
图6示出用于按照本发明地描述指示提供器插件的应用的示意图；
图7示出指示提供器插件机制和指示提供器插件的按照本发明的应用的流程；
图8示出按照本发明的指示的可能的表达。
具体实施方式
图1描述两个不同情景S1和S2。分别示出一个交叉路口。在两个情景S1和S2中示出本车辆(Ego)。在S1中本车辆(Ego)实施转弯操作。本车辆也是“待测试的对象”或“待测试的系统”(SUT)。在此四个伙伴车辆(F1至F4)参与。在S2中本车辆一直向前地而没有伙伴车辆参与地遵循行驶过程。因此在情景参数以及行驶情况参数中方面存在区别。在情景中的目的例如可以是车距调节速度控制器(Abstandsregeltempomat)的测试和模拟。
这样的车距调节速度控制器的测试和模拟必要时需要多次测试调整，以便获得有效的测试结果。通过大量测试实施产生多个测试结果，从而通过结果的变化过程可以显示相关的事件。相关的事件可以通过指示提供器插件(API-1)识别，如其已经介绍的那样。提及的指示提供器插件(API-1)可以识别在碰撞率中的关系，如：
-如果至少10(N)个测试行驶完成，那么检查关于模拟行驶的测试里程的碰撞率。
--在1000千米上至少平均2(X)次碰撞的情况下给用户指示提高的碰撞发生。
--在1000千米上至少3(Y)次碰撞的情况下给用户警告提高的碰撞发生。
--在1000千米上至少4(Z)次碰撞的情况下中断以该情景的测试过程，并且开始以下一测试情景的分析。
-假如以第一情景模拟执行所有测试行驶并且未出现(0、A)碰撞，那么跳到后续测试情景的分析。
在所述指示提供器插件(API-1)的情况下，在配置文件中例如此外可选择参量N、X、Y、Z和A。因此可以对于情景S1应用于不同于在情景S2中的参量，但是对于两个情景可以识别和处理相关的关系。
图2示出一个函数，该函数说明在关键与非关键的测试结果之间的界限。示出的点是模拟的测试结果。备选地也可以是近似的测试结果。
示出的函数涉及安全目标函数，所述安全目标函数具有数值，该数值在本车辆(Ego)与另外的机动车、即伙伴车辆之间的安全间隔≥VFELLLOW×0.55的情况下具有最小值；在本车辆(Ego)与另外的机动车之间碰撞的情况下具有最大值；而在本机动车与另外的机动车之间的安全间隔≤VFELLOW×0.55的情况下具有大于最小值的数值。关于安全目标函数的结果可以通过指示提供器(亦即也通过指示提供器插件(API))跨越多个测试执行地被观测到，并且可以探测到事件。为此，所述指示提供器、亦即还有指示提供器插件(API)通过指示提供器机制(亦即也通过指示提供器插件机制)自动地在测试执行期间执行。
备选于安全目标函数例如可以模拟和/或近似舒适目标函数或效率目标函数，所述舒适目标函数或效率目标函数具有数值，该数值在机动车的加速度没有变化的情况下具有最小值；在本车辆(Ego)与另外的机动车之间碰撞的情况下具有最大值；而在本车辆(Ego)的加速度变化的情况下根据加速度变化的数值而具有在最小值与最大值之间的数值。多个行驶情况参数、特别是本车辆(Ego)的速度VEGO和另外的机动车、即伙伴车辆的速度VFELLOW在预定的限定范围内例如通过模拟产生。
为了评估，可以在指示提供器插件的配置文件中确定参量以及同样还有阈值，自从该阈值应触发指示。因此例如可以在跨越多个测试执行目标函数具有高值的情况下促使指示。指示的实施方案也是可配置的且由此为了测试执行是可自动执行的。
图3示出指示提供器插件(API)的按照本发明的视图。指示提供器插件(API)具有至指示提供器插件机制的接口。此外，指示提供器插件(API)由配置文件(C)和可执行的脚本(S)组成。
配置文件(C)描述用于监控在测试执行的结果和/或测试数据中的不同参量的信息。
附加地，通过配置文件(C)规定：在何种指示值的情况下应触发指示，以及如何设计指示。例如可以在超过定义的界限的情况下输出警告给用户和/或输出指示给测试系统，终止当前的测试过程和/或优化存储空间，以便不丢失测试数据。该列举不应理解为封闭式的，而是仅仅用于阐明指示提供器插件(API-1)和指示的可能。
可执行的脚本(S)包含用于确定指示值的信息，所述指示值于是又确定：是否应提供以及应提供何种指示给用户和/或测试系统。
图4示出用于按照本发明地描述指示提供器插件机制(API-M)的示意图。
所述指示提供器插件机制(API-M)控制所选择的指示提供器插件(API)的自动执行。
所有指示提供器插件(API)具有至指示提供器插件机制(API-M)的定义的接口。由此可以在一个优选实施形式中对于用户能实现：在开始测试和/或模拟之前简单地对于测试选择指示提供器插件(API)，无需再配置接口。通过接口同样实现简单地将测试结果和/或另外的测试数据由相应的测试执行传输给指示提供器插件机制(API-M)并且随后传输给所选择的指示提供器插件(API)。
由此可以确保指示提供器插件(API)的可再用性，并且指示提供器插件(API)的自动执行是时间和资源的极大的节省。附加地，可以通过及早识别在测试结果和/或另外的测试数据中相关的事件以及提供相应的指示来优化测试过程。
图5示出对于具体的情景以及因此在定义的模拟/定义的测试中用于按照本发明地描述指示提供器插件(API)的应用的示意图。
为此，在图5中示出包括两个指示提供器插件(API)API-1和API-3的指示提供器插件机制(API-M)。指示提供器插件机制(API-M)与在情景S1中的测试T1相结合地示出。
在此，指示提供器插件(API)API-1和API-3未直接与情景或测试相联系。通过其类属的和动态的定义，指示提供器插件(API)可再用于不同的情景和测试。因此不对于每个新的情景或变化的测试用例和/或模拟创建新的指示提供器插件机制(API-M)或者不创建新的指示提供器插件(API)。
图6也示出对于具体的情景以及以此在定义的模拟/测试中用于按照本发明地描述指示提供器插件(API)的应用的另外的示意图。
在此指示提供器插件机制(API-M)与在情景S1中的测试T2相结合地示出。在图6中示出包括指示提供器插件(API)API-2和API-3的指示提供器插件机制(API-M)。指示提供器插件(API)未直接与情景或测试相联系。由此应明确的是，指示提供器插件(API)API-3不仅可用于情景S1和测试T1中——如通过图5所示——而且可用于情景S2并因此测试T2中，如通过图6所示。该再应用在没有匹配相应的指示提供器插件(API)和指示提供器插件(API)的所属的脚本(S)的情况下进行。
例如可能的是，通过指示提供器插件(API)API-3不仅在图5中示出的测试用例中而且在图6中示出的测试用例中观测测试框架条件、如记录测试数据的存储介质的存储容量，以便必要时将指示提供给测试系统，从而测试系统能实现存储容量的进一步释放。指示提供器插件(API)API-1例如可以在测试结果中识别在碰撞率中的关系，如上所给出的那样。此外，指示提供器插件(API)API-2可以观测测试行驶的执行持续时间，以便必要时可以确定成本估计作为用于用户的指示。
图7示出指示提供器插件机制和指示提供器插件的按照本发明的应用的流程。
指示提供器插件机制(API-M)例如对于测试T1——其对于情景S1执行——获得测试执行(E-J)的测试结果。附加地，指示提供器插件机制(API-M)可以从至少一个测试用例获得另外的测试数据(T-D)。由此，数据也可以由多个测试用例提供给指示提供器插件(API)。所有可用的信息被收集并且必要时被编辑并且根据其相应的配置自动被传送给指示提供器插件(API)。指示提供器插件机制(API-M)和指示提供器插件(API)具有定义的接口。指示提供器插件(API)被自动执行且确定指示值。按照指示值和指示提供器插件(API)的相应的配置来确定指示。所述指示由指示提供器插件机制(API-M)实施，例如对于未来的测试执行对配置(C-J)的改变。
图8示出按照本发明的指示的可能的表达。通过指示提供器插件(API)的可执行的脚本(S)确定指示值。在指示提供器插件(API)的配置文件(C)中不仅确定指示的阈值而且确定指示的表达。
所述指示提供器插件机制(API-M)控制指示提供器插件(API)、例如在图8中示出的指示提供器插件API-1和API-3的自动执行。此外，指示提供器插件机制(API-M)承担所查明的指示的执行。
指示的表达可以是警告或输出给测试系统(TS)的用户(A)。例如指示提供器插件API-3可以观测测试过程的执行持续时间和因此成本，并且在超过在指示提供器插件(API)的配置文件(C)中规定的界限时输出警告。
此外，指示的表达可以影响新的测试执行的配置(C-J)。因此可以基于在之前的测试执行中的事件来优化用于未来的测试执行的参数配置。而且运行的测试过程的终止可以作为指示通过指示提供器插件机制(API-M)传送，从而不进行测试执行的另外的配置(C-J)。
除了对于当前测试过程的指示，指示也可以涉及未来的测试过程。由在从测试过程通过指示提供器插件如API-1查明的测试结果中的相关的事件例如可以对于基于情景的测试来查明用于未来要测试的情景的选择，并且要么将其输出给测试系统(TS)以用于自动执行或者输出给用户(A)以便手动确认。指示也可以影响情景(S-C)的配置。
指示的表达的实施方式不是封闭式的，并且按照本发明的方法其他表达是可能的。
Claims (15)
1.用于自动提供用于测试过程的指示的计算机实现的方法，其中，所述指示通过至少一个指示提供器确定，并且手动地和/或自动地选择用于测试和/或模拟的指示提供器，其中，所述指示提供器观测至少两个测试执行，从而识别在所述测试执行中的至少一个事件，并且导出至少一个指示，其中，所述指示提供器通过指示提供器机制自动地在测试执行期间执行，并且将通过指示提供器查明的指示提供给测试系统和/或用户。
2.根据权利要求1所述的计算机实现的方法，其特征在于，用于测试过程的指示至少应用于基于情景的测试和/或认可和/或另外的测试方法、特别是基于需求的测试和/或基于信号的测试中。
3.根据权利要求2所述的计算机实现的方法，其特征在于，在所述基于情景的测试中的情景包括对用于至少部分自主引导的交通工具和/或交通参与者的装置的至少一个测试。
4.根据上述权利要求之一所述的计算机实现的方法，其特征在于，至少一个测试和/或模拟通过至少一个参数确定，其中所述参数特别是包含：
-情景参数，其包括如下特征中至少之一：车道的数量和/或宽度和/或转弯和/或道路限制和/或环境温度；
-描述在情景中可动的对象的数量和特性的行驶情况参数，其包括如下特征中至少之一：交通参与者的数量和/或在交通情况下变道的次数和/或交通参与者和/或交通工具的速度。
5.根据上述权利要求之一所述的计算机实现的方法，其特征在于，交通工具和/或交通参与者至少包括本车辆和/或伙伴车辆，其中，本车辆是具有要测试的系统(SUT)的车辆，而伙伴车辆是任意其他车辆。
6.根据权利要求1所述的计算机实现的方法，其特征在于，指示提供器构成为指示提供器插件，并且指示提供器插件具有至指示提供器插件机制的定义的接口，并且指示提供器插件包括配置描述和通过计算机可执行的脚本。
7.根据权利要求6所述的计算机实现的方法，其特征在于，能够对于测试和/或模拟而动态且可再应用地选择指示提供器插件。
8.根据上述权利要求之一所述的计算机实现的方法，其特征在于，所述指示提供器机制通过指示提供器插件机制构成且包含至少一个指示提供器插件，并且自动执行所有在指示提供器插件机制中选择的指示提供器插件用于测试执行。
9.根据上述权利要求之一所述的计算机实现的方法，其特征在于，指示提供器插件跨越至少一个测试用例的至少两个测试执行地观测测试结果和/或测试数据和/或探测在测试结果和/或测试数据中的事件和/或确定指示值。
10.根据上述权利要求之一所述的计算机实现的方法，其特征在于，指示提供器插件确定指示值，并且如果在指示提供器插件的配置描述中给出用于指示值的阈值且如果指示值超过所述阈值，那么触发指示的产生。
11.根据上述权利要求之一所述的计算机实现的方法，其特征在于，按照指示值给出的指示包括给用户的通知和/或测试过程的终止和/或通过测试系统、特别是通过模拟和/或测试的至少一个参数的变化对测试过程的匹配。
12.根据上述权利要求之一所述的计算机实现的方法，其特征在于，识别在至少两个测试执行的测试结果中和/或在至少一个测试执行的测试数据中通过指示提供器插件探测的事件。
13.用于自动提供用于测试过程的指示的测试单元，其中，所述指示通过至少一个指示提供器确定，并且手动地和/或自动地选择用于测试和/或模拟的指示提供器，其中，所述指示提供器观测至少两个测试执行，从而识别在所述测试执行中的至少一个事件，并且导出至少一个指示，其中，所述指示提供器通过指示提供器机制自动地在测试执行期间执行，并且将通过指示提供器查明的指示提供给测试系统和/或用户。
14.计算机程序，包括程序代码，以便当所述计算机程序在计算机上执行时实施根据权利要求1至12中之一所述的方法。
15.计算机可读的数据载体，包括计算机程序的程序代码，以便当计算机程序在计算机上执行时实施根据权利要求1至12中之一所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021111463.2A DE102021111463A1 (de) | 2021-05-04 | 2021-05-04 | Computerimplementiertes Verfahren zum automatischen Bereitstellen eines Hinweises für Testprozesse |
| DE102021111463.2 | 2021-05-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115292152A true CN115292152A (zh) | 2022-11-04 |
Family
ID=80930357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210448162.6A Pending CN115292152A (zh) | 2021-05-04 | 2022-04-26 | 用于自动提供用于测试过程的指示的计算机实现的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220358032A1 (zh) |
| EP (1) | EP4086773A1 (zh) |
| CN (1) | CN115292152A (zh) |
| DE (1) | DE102021111463A1 (zh) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8291268B2 (en) * | 2009-04-02 | 2012-10-16 | International Business Machines Corporation | Apparatus, system, and method to provide alert notification with reconcile actions |
| DE102017200180A1 (de) | 2017-01-09 | 2018-07-12 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Testeinheit zur Bewegungsprognose von Verkehrsteilnehmern bei einer passiv betriebenen Fahrzeugfunktion |
| US20180322035A1 (en) * | 2017-05-04 | 2018-11-08 | Hcl Technologies Limited | Automation testing platform for facilitating automatic testing of an information technology (it) enabled application |
| US10466705B1 (en) * | 2017-07-12 | 2019-11-05 | Uber Technologies, Inc. | Systems and methods for automated testing of autonomous vehicles |
| US11927502B2 (en) * | 2019-04-29 | 2024-03-12 | Nvidia Corporation | Simulating realistic test data from transformed real-world sensor data for autonomous machine applications |
| US11565711B2 (en) * | 2019-07-08 | 2023-01-31 | Morgan State University | System and method for generating vehicle speed alerts |
| US11415484B2 (en) * | 2019-07-11 | 2022-08-16 | Horiba Instruments Incorporated | Apparatus and method for testing automated vehicles via movable target body or electronic target simulator |
| DE102019124018A1 (de) * | 2019-09-06 | 2021-03-11 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme |
| US12014126B2 (en) * | 2020-12-23 | 2024-06-18 | Woven By Toyota, U.S., Inc. | Generating accurate and diverse simulations for evaluation of autonomous-driving systems |
-
2021
- 2021-05-04 DE DE102021111463.2A patent/DE102021111463A1/de active Pending
-
2022
- 2022-03-22 EP EP22163414.0A patent/EP4086773A1/de active Pending
- 2022-04-26 CN CN202210448162.6A patent/CN115292152A/zh active Pending
- 2022-05-03 US US17/735,219 patent/US20220358032A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4086773A1 (de) | 2022-11-09 |
| US20220358032A1 (en) | 2022-11-10 |
| DE102021111463A1 (de) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111006879B (zh) | 一种面向港口环境的人机混驾自动驾驶的测试方法及其测试平台 | |
| CN111123735B (zh) | 自动驾驶仿真运行方法和装置 | |
| Furda et al. | Enabling safe autonomous driving in real-world city traffic using multiple criteria decision making | |
| CN109991987B (zh) | 自动驾驶决策方法及装置 | |
| JP2018113015A (ja) | オートノマスシステムの検証法 | |
| Gambi et al. | Asfault: Testing self-driving car software using search-based procedural content generation | |
| CN112654933B (zh) | 计算机实现的用于测试控制设备的模拟方法和装置 | |
| CN114077541A (zh) | 验证用于自动驾驶车辆的自动控制软件的方法和系统 | |
| CN110686906B (zh) | 车辆自动驾驶测试方法及装置 | |
| CN109910880B (zh) | 车辆行为规划的方法、装置、存储介质和终端设备 | |
| Hekmatnejad et al. | Search-based test-case generation by monitoring responsibility safety rules | |
| CN114091223A (zh) | 一种仿真交通流的构建方法及仿真设备 | |
| CN112835790A (zh) | 自动驾驶软件的测试方法、装置、设备及介质 | |
| KR20230150350A (ko) | 차량의 운전자 보조 시스템을 시험하기 위한 방법 | |
| US20200074375A1 (en) | Product maturity determination in a technical system and in particular in an autonomously driving vehicle | |
| US20230394896A1 (en) | Method and a system for testing a driver assistance system for a vehicle | |
| US20220358024A1 (en) | Computer-implemented method for scenario-based testing and / or homologation of at least partially autonomous driving functions to be tested by means of key performance indicators (kpi) | |
| CN115292152A (zh) | 用于自动提供用于测试过程的指示的计算机实现的方法 | |
| JP2024507997A (ja) | 乗物の運転者支援システムを試験するためのシナリオデータを生成する方法およびシステム | |
| CN115129027A (zh) | 一种用于智能驾驶的自动化评估方法及装置 | |
| CN115358415A (zh) | 自动驾驶学习模型的分布式训练方法及自动驾驶方法 | |
| CN117413257A (zh) | 用于测试车辆用司机辅助系统的方法和系统 | |
| CN116639150A (zh) | 用于评估自动驾驶系统的方法、装置、设备和存储介质 | |
| CN114207533A (zh) | 用于自主系统的开发和实时应用的形式化验证 | |
| Costa et al. | Cooperative Autonomous Driving in Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |