CN111273633A - 测量、模拟、标记和评估车辆的部件和系统的设备和方法 - Google Patents
测量、模拟、标记和评估车辆的部件和系统的设备和方法 Download PDFInfo
- Publication number
- CN111273633A CN111273633A CN201911226743.XA CN201911226743A CN111273633A CN 111273633 A CN111273633 A CN 111273633A CN 201911226743 A CN201911226743 A CN 201911226743A CN 111273633 A CN111273633 A CN 111273633A
- Authority
- CN
- China
- Prior art keywords
- metric
- control system
- test
- sensor
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 88
- 238000011156 evaluation Methods 0.000 claims abstract description 37
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 4
- 238000011158 quantitative evaluation Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 29
- 238000004088 simulation Methods 0.000 description 25
- 238000000691 measurement method Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 239000011295 pitch Substances 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000036962 time dependent Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0256—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults injecting test signals and analyzing monitored process response, e.g. injecting the test signal while interrupting the normal operation of the monitored system; superimposing the test signal onto a control signal during normal operation of the monitored system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及用于对控制系统进行功能检验和评估的一种方法和一种设备。用于对至少部分自动化地受控制的控制系统(200)的传感器(300)、执行器(500)和/或控制逻辑单元(400)进行功能检验的方法具有以下步骤：向控制系统(200)的传感器(300)、执行器(500)和/或控制逻辑单元(400)发送至少一个激励；从传感器(300)、执行器(500)、控制逻辑单元(400)和/或从这些部件之间的连接来读取控制系统(200)的至少一个反应(212)；借助度量模块(630)将反应(212)与所存储的预期反应(211)进行比较，其中，度量模块(630)确定一个度量，根据所述度量在控制系统(200)的预期功能的方面来评估所读取的反应与所预期反应(211)的偏差。
Description
技术领域
本发明涉及用于对控制系统进行功能检验和评估的一种方法和一种设备。控制系统可以包括车辆的或其他移动设备的部件。此外，本发明涉及一种应用、一种程序单元和一种计算机可读的介质。
背景技术
新的车辆、尤其至少部分自动化地行驶的车辆具有一系列的控制系统(例如辅助系统)，所述控制系统在许多情况下在功能上相互关联。这提高车辆的复杂性，并且因此显著地提高对功能检验和/或评估系统的要求。此外，在这样的控制系统中和/或在包含这些控制系统的车辆中需要高的测试覆盖。为此目的，多次使用行驶试验，其中行驶功能的性能——和因此控制系统的性能——通过测试驾驶员进行评估或根据所记录的测量数据进行检查。在此，根据要求或指标来评估系统性能，即控制系统的至少一部分的性能。然而，在许多情况下借助常规测试不再能够满足例如关于测试覆盖的提高的要求。
发明内容
本发明的一方面涉及一种用于对至少部分自动化地受控的控制系统的传感器、执行器和/或控制逻辑单元进行功能检验的方法，该方法具有以下步骤：
-向控制系统的传感器、执行器和/或控制逻辑单元发送至少一个激励(Stimulus)；
-从传感器、执行器、控制逻辑单元和/或这些部件之间的连接来读取控制系统的至少一个反应；
-借助度量模块将该反应与所存储的预期反应进行比较，其中，度量模块确定度量，其中，根据所述度量在所述控制系统的预期功能的方面来评估所读取的反应与预期反应的偏差。
控制系统可以是用于机器人和/或用于至少部分自动化地行驶的车辆的控制系统。机器人可以是例如宇宙飞船、割草机、农业设备。车辆可以是陆地车辆、尤其可以是私人机动车、载货车、载重卡车、与陆地相关的特种车辆或水陆两用车辆。
经检验或待检验的控制系统例如具有传感器、控制设备和执行器。控制系统例如可以接收到传感器的信号，对所述信号做出反应，并且对信号作出反应地操控执行器。传感器可以是单个传感器或多个传感器，该传感器例如可以包括一个或多个摄像机、激光雷达、雷达或其他的传感器。传感器的至少一部分可以实现为子系统。在具有一个或多个辅助系统的车辆中，传感器也可以充当对于驾驶员期望的传感器，即例如检测油门踏板的位置和/或制动踏板的位置。一个或多个传感器发送传感器信号，即在多个传感器的情况下发送多个传感器信号。传感器对真实世界的一个或多个对象作出反应地发送一个或多个传感器信号。因此，传感器的测量可以检测周围环境中的、即例如在真实世界中的对象并且根据该对象输出传感器信号。周围环境中的对象可以表示真实世界中的静态的或动态的对象，例如房屋、人、车辆或测试图像(例如用于摄像机)或测试对象(例如用于激光雷达系统或雷达系统)。传感器可以根据该对象输出传感器信号，例如可以在摄像机中输出未经处理的图像(英语“raw image”，原始图像)，在测试图像的情况下例如可以输出——至少在区域中——精确定义的文件(Datei)。其他目标导致其他的传感器信号，其例如可以借助模式识别被识别为相似的。例如可以使用所谓的“地面实况”数据作为传感器数据的参考，这些数据例如由高精度的参考传感器提供。
除了传感器信号之外，测量技术、模拟和标记(Label)系统还可以处理其他输入、尤其多个其他输入，所述其他输入在一些实施方式中可以由多个其他传感器或由其他系统——例如导航系统——接收。控制系统具有内部状态；将这些内部状态的子集引导到接口，从而可以访问这些内部状态。在此，“访问”意味着内部状态的该子集可以被读取并且也可以被设置。这尤其对于至少部分自动化地行驶的车辆开启如下可能性：在一定程度上居中地跳到场景中并且由此完全有针对性地在没有预先运行或仅仅具有小的预先运行的情况下再现(reproduzieren)确定的情况(例如特别关键的情况)。这也可以用于借助新的待测试的程序或者程序的新版本在目标硬件上重现(英语“Replay”，重放)该情况。在这种情况下，以更长或完整的预先运行来再现情况可能是有意义的或必要的。在此，可以如此设计该新的程序，使得至少可以访问与该情况相关的内部状态。也可以以如下方式来再现该情况：不将预先记录的数据发送到控制系统，而是使得借助新程序或新程序版本的处理直接在为此设置的系统上(例如在测量技术、模拟和标记系统上)在模拟中运行。在这种情况下，可以取消信号的发送和接收(英语“Resimulation”，再模拟)。
传感器的“对象”也可以包含上述的驾驶员要求。控制设备接收到信号并且基于这些信号执行计算，尤其用以对信号做出反应并且因此例如操控至少一个执行器。执行器输出可以涉及物理信号；制动系统的操控例如可能导致车辆的负加速度。控制信号——或者更普遍地控制数据——例如除了制动系统之外还可以影响驱动系(Antriebsstrang)和/或转向装置。例如可以由辅助系统或驾驶员对减速期望作出反应地对制动执行器和/或制动子系统进行操控，该制动子系统例如操控ABS系统(ABS：Antiblockiersystem，防抱死制动系统)。
例如在驾驶测试时可以向控制系统的传感器、执行器和/或控制逻辑单元发送激励。也可以例如在行驶试验或测试行驶期间记录激励；在此，传感器在一定程度上检测“自然数据”，即在真实世界中的对象。在一种实施方式中，为此可以使用参考传感器，即例如非常精确的传感器或经校准的传感器系统。可以基于确定的要求(“Requirements-basiert”，基于需求)执行测试行驶。然后，数据可以应用于整个车辆和/或应用于车辆的一个或多个部件。该激励可以包括来自输入端、输出端的信号和/或车辆部件(即例如传感器、执行器和/或控制逻辑单元)的内部状态。激励可以包括一个或多个测试序列。激励可以重现整个场景，或者例如在特别紧急的情况下开始作为子场景进行发送。发送哪些信号作为激励取决于要观察控制系统的哪个部分——或者是否要观察整个控制系统。借助所提及的信号例如能够实现控制系统的回归测试。因此，控制系统变成测试对象(英语“Device UnderTest”，受测设备)。
该激励导致控制系统或其部件的反应。从传感器、执行器、控制逻辑单元和/或从这些部件之间的连接读取控制系统的该反应。这可以通过上述接口来执行。
借助度量模块将控制系统的反应与所存储的预期反应进行比较。在此，度量模块确定如下度量：根据该度量在控制系统的预期功能的方面来评估所读取的反应与预期反应的偏差。该度量可以包括例如控制设备的内部控制状态的比较。简单的度量可以例如基于比较度量，也就是说，该度量可以例如包括“相等/不相等”评估并且可以是指示实际的或所读取的反应与预期反应或示出反应的信号之间的差别。为了列举简单的示例，这种差别可能由控制系统的功能性故障和/或控制系统的部件中的一个的功能性故障引起。在识别系统在模式识别、例如周围环境侦查的意义内进行分析的情况下，这样的差别尤其也可能通过如下方式引起：这些识别算法的结果可能仅以确定的精度或仅以确定的错误概率与理想的、实际的状态(“地面实况”)一致。出于这个原因，在这些情况下优选地考虑统计度量。对于这种统计度量，首先确定要评估的识别系统的输出(在这种情况下称为测试标记)与所分配的参考标记(即地面实况或者地面实况的至少一个近似估算)之间的偏差。由这些偏差的集合来确定统计特征，例如平均偏差或该偏差的平均值和方差或超过确定阈值的偏差的相对频率。这些数量的偏差的统计特征中的每个表示统计度量。识别系统例如可以涉及周围环境侦查装置，该周围环境侦查装置获得传感器数据作为输入并且确定动态对象的属性、尤其在本车辆的周围环境中的其他车辆的属性。属性例如可以涉及动态对象的位置、尺寸和速度。在这种情况下的偏差的示例是由周围环境侦查装置所确定的位置(测试标记)与参考位置(参考标记或者地面实况估算)之间的数值差。参考标记例如可以通过离线感知(Offline-Perception)来求取，其是(图1中的)测量技术、模拟和标记系统600的一部分。在这种情况下，统计度量的示例是位置的量值差的平均值。
例如，可以借助输出模块来显示度量、统计度量或由度量或统计度量所计算出的结果。
本发明的另一方面涉及一种用于对分类器进行功能检验的方法，该分类器给控制系统的物理检测到的观察分配至少一个标记，所述至少一个标记涉及可以由观察求取出的至少一个属性，其中，所述标记在技术系统的运行中用于对控制系统至少部分自动地进行控制，所述方法具有以下步骤：
-根据与在分类器中使用的规则相同的规则，将表示观察的至少一个数据组分配给至少一个测试标记；
-借助参考识别方法——例如参考分类器——将相同的数据组分配给至少一个参考标记；
-借助度量模块将一个或多个测试标记与一个或多个参考标记进行比较，其中，度量模块确定度量，其中，根据所述度量在控制系统的预期功能或控制系统的部件的预期功能的方面来评估至少一个测试标记与至少一个参考标记的偏差。
该实施方式尤其涉及一种识别方法，例如一种在模式识别意义内产生传感器数据的符号表示的分类器。
以下，“控制系统的部件”可以理解为与在以上阐述的用于对传感器、执行器和/或控制逻辑单元进行功能检验的方法的情况下相同。
分类器给控制系统的物理检测到的观察分配至少一个标记。标记包括对车辆的周围环境中的对象的符号的、尤其时间相关的描述。例如可以区分静态对象和动态对象。在此，例如动态对象的标记描述具有其属性的动态对象，其中，属性例如可以包括位置、速度、加速度、取向等。可以使用与用于对控制系统和/或控制系统的部件进行功能检验相同的信号用于标记。也可以使用附加的信号。
控制系统或其部件的信号的预定义的子集可以表示为数据组。数据组分别表示观察。更确切地说，根据与在分类器中使用的规则相同的规则，将至少一个数据组分配给至少一个测试标记。因此，例如可以对测试控制系统或其部件进行测试的回归测试。例如可以在新的部件的情况下和/或在更换时执行回归测试。部件可以包括硬件、包含固件在内的软件。
借助参考分类器将相同的数据组分配给至少一个参考标记。参考标记例如可以是如下标记：该标记例如在控制系统的参考流程中产生和/或由人工操作者分配为正确的标记。参考分类器可以通过人工操作者来模拟，或者例如通过分类器来模拟，该分类器至少关于该参考标记被识别为无错误的。
借助度量模块将测试标记与一个或多个参考标记进行比较。在此，度量模块确定如下度量：根据该度量在控制系统的预期功能或控制系统的部分部件的预期功能的方面来评估所读取的反应与预期反应的偏差。
对于类别精度度量和完整性度量的度量标准的示例。
简单度量例如可以包括“相等/不相等”评估。度量也可以定义测试标记与参考标记之间的偏差。因此，度量可以由间距大小给定。在这种情况下，度量也可以称为间距度量。所使用的度量不一定需要涉及数学意义中的度量。例如不一定需要满足三角不等式。差的量值例如可以表示对于连续属性的间距度量、即对于通过有理数或其表示作为浮点数来表示的属性的间距度量。间距度量的另一示例是差的平方。附加地，可以计算对于数据组的集合或序列以及所属的测试标记和参考标记的统计度量。该集合也称为样本，并且由数据组和标记构成的组合也称为经标记的样本。在使用间距度量的情况下，由经标记的样本、即由数据组的集合连同所属的测试标记和参考标记得出间距的集合。对于确定所述间距的集合的统计特性的统计度量的上位概念或类别也可以使用术语“精度度量(英语“accuracymetrics”)”。
表示精度度量的统计度量的示例是RMSE(英语square root of the mean ofsquared errors，平方误差均值的平方根)，即测试标记与所分配的参考标记之间的平方误差的平均值的平方根。对于表示精度度量的统计度量的另一示例是MAE(英语meanabsolute error，平方绝对误差)，即测试标记与参考标记之间的差的数值的平均值。统计度量的另一示例是超过确定阈值的偏差的数量，其中，该偏差又由间距度量来定义。精度度量的另一示例是由间距度量定义的偏差的方差。
除了精度度量的类别之外，可以定义完整性度量的另一类别。完整性度量基于对轨迹在时间上的变化过程的观察。完整性度量的示例是基于至少一个测试轨迹与至少一个参考轨迹的比较的度量。对象的所有属性在时间上的总体或序列可以称为轨迹。因此，测试轨迹由所有分配给相同对象的测试标记的总体或序列给定，所述测试标记由控制系统的要评估的部件读取。参考轨迹由分配给相同对象的参考标记的总体给定。完整性度量的具体示例是假阳性度量或鬼影对象度量(英语“false positive metric”或“ghost objectmetric”)。鬼影对象度量考虑测试轨迹的对其不存在参考轨迹的分量。测试轨迹的该分量也可以称为鬼影轨迹。鬼影对象度量可以定义为测试轨迹的鬼影轨迹在测试轨迹的时间总长度上的时间分量。替代地，鬼影对象度量可以定义为鬼影轨迹的路径在测试轨迹的路径的总长度上的分量。相应的分量可以称为时间上的或位置上的鬼影分量。
完整性度量的另一具体示例是假阴性度量或错误对象度量(英语“falsenegative metric”或“missed object metric”)。错误对象度量考虑参考轨迹的对其不存在测试轨迹的分量。参考轨迹的该分量也可以称为错误轨迹。错误对象度量可以定义为参考轨迹的错误轨迹在参考轨迹的时间总长度上的时间分量。替代地，错误轨迹可以定义为错误轨迹的路径在参考轨迹的路径的总长度上的分量。相应的分量可以称为时间上的或位置上的错误分量。
如果对于轨迹的集合计算完整性度量并且关于所有轨迹合并结果的统计特性，则再次涉及统计度量。例如可以关于集合的所有轨迹考虑所有鬼影分量的平均值或所有错误分量的平均值。平均值可以基于时间上的或位置上的鬼影分量或时间上的或位置上的错误分量来计算。平均值可以计算为关于所有轨迹的分量的平均值。平均值也可以定义为通过如下方式得出的分量：将所有在时间上的或所有在位置上的鬼影分量的总和除以该集合的所有测试轨迹的所有在时间上的总长度的总和。类似地，可以根据错误轨迹定义相应的平均值，以定义统计学上的错误对象度量。
在此列举的度量的示例的列表并不是最终的。
除了所列举的示例之外，其他度量也可以不仅涉及间距度量而且涉及统计度量。其他类别的度量也是可能的。度量的具体定义同样可以不同于在此给出的示例，或者具体实施可以不同。例如可以在鬼影度量的情况下计算所采样的轨迹状态的数量而不是长度的分量。归一化的不同的方法同样是可能的，例如可以使用鬼影轨迹的样本的数量相对于相应的测试轨迹的样本的总数的比例。
轨迹的关联
不仅对于精度度量而且对于完整性度量可以执行测试轨迹与参考轨迹的关联，或者测试轨迹的区段与参考轨迹的区段的关联。关联对于测试轨迹确定哪个地面实况对象或哪些地面实况对象可能是对于相应的测试轨迹或对于测试轨迹的相应区段的原因，或者测试轨迹或测试轨迹的区段是否涉及鬼影轨迹。关联例如可以基于与时间相关地观察测试轨迹的与时间相关的属性与参考轨迹的相应属性之间的间距度量。测试轨迹例如可以分配给如下的参考轨迹：对于该参考轨迹使对于一个或多个定义的属性的定义的间距度量最小。附加地，可以定义一个阈值，使得当相应的间距度量低于阈值时才进行关联。
例如可以通过输出模块来显示度量或由度量所计算的结果。度量可以例如借助专家知识用于进一步的结论。在此，可以对于一个或多个测试的每个部分方面定义一个或多个度量，其中，这些度量中的每个用于评估确定的事实情况、质量标准和/或场景。为了更好的可操作性，度量可以以不同的度量类别来划分。这些度量可以根据观察与整个系统(其可以包括多个硬件和软件部件)以及各个的系统组成部分或子系统和/或各个部件(例如一个或多个传感器、执行器和/或控制设备)相关联。度量和/或评估可以进一步包括对自动化的驾驶功能的评估。此外，评估可以越过限定的时间段观察相应标准的时间变化过程。度量和/或评估也可以包括标准的综合结果，例如平均值计算和/或标准差的计算。
统计度量的度量类别的示例是精度度量和完整性度量。
借助所描述的方法能够对分类器和/或控制系统或其部件进行测试。在测试控制系统或其部件的情况下使用所描述的方法和尤其分类器具有以下优点：因此可以以高的抽象水平来执行测试。同时，因此可以实现高的测试覆盖，因为至少对于标记的一部分——在产生和比较的方面——多个部件不仅需要分别具有正确的单个功能，而且需要正确地协作。
在一些实施方式中，借助所提及的方法并且尤其借助所述度量仅仅评估控制系统的如下部分：该部分接管至少一个传感器的传感器数据的处理和识别，其中，识别的结果是以对象属性的集合象征性地表示在车辆的周围环境中的静态和动态的对象(“周围环境识别模块”)。在这种情况下，仅仅测量技术、模拟和标记系统的传感器原始测量以及周围环境识别模块的输出被记录并且例如被存储在信号存储器中。附加地，周围环境识别模块的内部状态可以被记录并存储在信号存储器中。在这种实施方式的情况下，通过将周围环境识别模块的所记录的输出与参考的比较来进行评估。也可以使用附加的参考传感器，其信号同样作为激励、作为预期反应和/或作为用于参考标记的数据组来记录。这些参考传感器的数据例如可以用于参考标记生成。替代地或附加地，参考标记也能够通过手动标记方法来产生或改进，即通过人工操作者来产生或改进，所述人工操作者根据本车辆的周围环境的图像数据和/或非基于图像的传感器数据的可视化来产生周围环境的参考标记。
在另一实施方式中，如果传感器测量数据或周围环境识别输出的数据不涉及在行驶试验中记录的数据，而是涉及由模拟周围环境人工产生的数据，则也可以使用合成的参考标记。在这种情况下，控制系统可以完全或部分地由模拟控制设备的计算的软件模拟来代替。例如可以合成地生成传感器原始数据，并且这些合成数据可以由控制设备或控制设备的模拟进行处理。
在另一实施方式中，周围环境识别模块的输出可以合成地生成并且发送到控制设备上的产生执行器输出的模块(或发送到这些模块的模拟)。然后，再次读取根据相应的实施方式产生的输出并将其写入到信号存储器中，使得可以类似于其他实施方式在模拟的情况下或在没有模拟的情况下进行评估系统的分析处理。
在一种实施方式中，度量模块计算对于存储在信号存储器中的信号的序列的度量。这也可以应用于发送(作为激励)和接收(例如作为反应和/或作为分类)所提及的信号的序列。然后，度量模块通过如下方式来执行评估：将所接收到的序列与参考进行比较和评估。在一种实施方式中，可以纯按顺序地——即在某种程度上“如电影那样”——再次重放包含包括内部状态在内的上述信号的测量。
在一种实施方式中，在驾驶试验中记录的测量数据在数据存储和数据抽象步骤中进行预处理。在此，例如可以将各个测量文件转换成共同的文件格式并且存储在先前确定的结构中。在此，数据例如可以换算成预定义的物理单位、变换成所设置的坐标系，根据测量时刻进行分类和/或有错误的或损坏的数据组可以被滤除或校正。尤其在传感器中如下情况可能是有利的：在最早可能的处理步骤中记录原始信号；这例如可以用于能够理解(nachvollziehen)有错误的从属信号(nachgeordnetes Signal)——例如伪影——或有错误的系统状态的产生。所记录的传感器原始信号也可以使用在产生所谓的“现象传感器模型”的情况下；这可以有助于借助模拟来生成合成的传感器数据，例如以便生成大量的合成数据并且因此也能够发现控制系统的相对少见的错误，所述错误由于来自所记录的实际测试驾驶的有限数量的数据而可能不能被观察到。
在一种实施方式中，存储在信号存储器中的信号的序列的部分以场景来划分。因此可以执行分解，并且以这种方式例如可以根据预定义的部分方面对至少部分自动化地行驶的车辆进行评估。由此可以提高测试深度并且因此考虑到例如高度自动化的车辆的系列发行(Serienfreigabe)本身的更高要求以及自动化的车辆的更高的复杂性。在此，借助所谓的“离线感知”也可以使用来自所谓的现场操作测试(英语Field Operational Test，缩写FoT)的数据。这些数据可以例如用于丰富“场景类别”。评估例如可以通过手动的场景标记或借助其他的数据来丰富或改进。
在一种实施方式中，度量以度量类别、尤其不同的度量类别来划分。这可以执行用于控制系统和/或测试系统的更好的可操作性。所述度量可以根据观察或选择怎样的“受测设备”而与整个系统相关联，其中，整个系统可以具有多个硬件和软件部件。这可以导致更好的划分，并且因此导致改进评估系统和/或控制系统的可操作性。
在一种实施方式中，基于所计算的度量对控制系统或控制系统的部件进行评估。度量可以涉及各个系统组成部分、各个子系统和/或各个部件，例如一个或多个传感器、执行器和/或控制设备和/或它们的连接。
在一种实施方式中，测试的控制系统还包括以下信号和/或接口中的至少一个：
传感器的内部传感器状态，
从执行器输出的内部执行器状态和执行器输出，
周围环境的传感器测量，和/或
车辆的车辆信号。
在一种实施方式中，测量技术、模拟和标记系统还接收到对象的执行器输出和/或参考传感器测量并将其存储在信号存储器中。在此，可以要么直接在执行器上检测到执行器输出，要么可以例如借助转速计(Tacho)、陀螺仪传感器(Gyrosensor)等来检测执行器输出对车辆的影响。例如可以通过借助其他传感器记录测试行驶进行参考传感器测量。与传感器信号同时地检测参考传感器测量例如可以构成传感器模拟的基础。
在一种实施方式中，执行器输出和/或参考传感器测量的至少一部分可以用于车辆的模拟。
在一种实施方式中，参考传感器测量包含车辆信号。车辆信号可以包括车辆对控制装置的指示的物理反应。这例如可以借助转速计、陀螺仪传感器等来检测。
在一种实施方式中，经检验的控制系统具有多个传感器，并且传感器的至少一部分具有内部传感器状态。尤其所谓的“智能”传感器具有内部传感器状态，在所述“智能”传感器的情况下需要在车辆的系统可以使用传感器信号之前对传感器信号进行预处理。
在一种实施方式中，经检验的控制系统具有多个执行器，并且执行器的至少一部分具有内部执行器状态。这尤其是如下情况：通过专用的子系统、例如经由ABS子系统(ABS：Antiblockiersystem，防抱死系统)来操控执行器。
本发明的另一方面涉及一种用于对至少部分自动化地行驶的车辆的驾驶功能进行评估的控制系统的评估系统，其中，评估系统具有：
度量模块，其设置用于从传感器、执行器、控制逻辑单元和/或从这些部件之间的连接来读取控制系统对于向控制系统的传感器、执行器和/或控制逻辑单元发送至少一个激励的至少一个反应；并且将所述反应与所存储的预期反应进行比较，并且确定度量，其中，根据该度量在所述控制系统的预期功能的方面来评估所读取的反应与预期反应的偏差。
本发明的另一方面涉及一种用于对分类器进行功能检验的评估系统，该分类器给控制系统的物理检测到的观察分配至少一个标记，所述至少一个标记涉及从观察可求取的至少一个属性，其中，所述标记在技术系统的运行中用于至少部分自动地控制所述系统，其中，所述评估系统具有：
度量模块，其设置用于根据与在分类器中所使用的规则相同的规则将表示观察的至少一个数据组分配给至少一个测试标记；借助标准分类器将相同的数据组分配给至少一个参考标记；并且将一个或多个测试标记与所述一个或多个参考标记进行比较，其中，所述度量模块确定度量，其中，根据所述度量在控制系统的预期功能的方面来评估至少一个测试标记与至少一个参考标记的偏差。
在一种实施方式中，度量模块确定对于数据组的序列的度量。在此，度量模块可以设置用于将比较应用于在信号存储器中所存储的信号的序列。
在一种实施方式中，数据组的序列的部分以场景来划分。
在一种实施方式中，经检验的控制系统还包括以下信号和/或接口中的至少一个：
传感器的内部传感器状态，
执行器的执行器内部状态和执行器输出，
周围环境的传感器测量，和/或
车辆的车辆信号。
本发明的另一方面涉及一种以上和/或以下描述的方法的应用，所述方法用在至少部分自动化地行驶的车辆，和/或一种以上和/或以下描述的评估系统的应用，所述评估系统用在用于至少部分自动化地行驶的车辆的测试系统和/或开发系统中，作为用于证实和验证策略的组成部分，用于在开发阶段期间和/或在整个产品生命周期期间进行系列发行，尤其用于自动化驾驶功能的定量评估。
本发明的另一方面包括程序单元，其设置用于当在计算机、控制设备或评估系统中的处理器单元上实施程序单元时执行所述方法中的一种。
本发明的另一方面包括一种计算机可读的介质，所述程序单元存储在该计算机可读的介质上。
附图说明
以下与本发明的优选的实施例的描述结合地根据附图详细描述其他的改进本发明的措施。附图示出：
图1示出根据本发明的一种实施方式的实施例；
图2示出根据本发明的一种实施方式的方法；
图3示出根据本发明的另一实施方式的另一方法。
具体实施方式
根据图1，本发明的一种实施方式具有控制系统200，测量技术、模拟和标记系统600以及评估系统630。控制系统200具有一个或多个传感器300。借助这些传感器300可以对环境或周围环境100中的一个或多个对象170的传感器测量190进行检测。根据对象170，一个或多个传感器300设置用于输出传感器信号390。传感器300中的一部分可以构造为更复杂的设备(例如子系统)并且可以具有传感器状态350。此外，控制系统200还具有控制设备400，该控制设备设置用于接收且借助程序来处理传感器300的传感器信号390，并且输出控制信号490。除了传感器信号之外，程序还可以处理其他输入、尤其多个其他输入，在一些实施方式中可以从多个其他传感器或从其他系统——例如导航系统——接收这些其他输入。程序(并且因此控制系统200)具有内部状态；将这些内部状态450的子集引导到接口，从而可以尤其通过测量技术、模拟和标记系统600来访问这些内部状态450。在此，“访问”意味着可以读取并且也可以设置内部状态450的该子集。在一些实施方式中，控制系统200可以具有多个控制设备400。控制系统200也具有执行器500，其设置用于从控制设备400接收控制信号490，并且通过执行器输出590来实现改变车辆110的物理状态。执行器输出590涉及物理信号；制动系统的操控例如可能导致车辆的负加速度。车辆110的该物理车辆信号115——即例如执行器输出的影响(而且具有对车辆110的影响的其他物理信号)——可以例如借助传感器300如转速计、陀螺仪传感器等来检测并且例如由控制设备400来考虑。一些执行器500也可以具有内部的执行器状态550。
在图1中，在控制系统200下方绘制有评估系统690，该评估系统具有测量技术、模拟和标记系统600。评估系统690或测量技术、模拟和标记系统600通过(虚线示出的)接口来访问控制系统200的以下信号：传感器信号390、传感器状态350(对于具有可访问的传感器状态的那些传感器)、控制设备400(或多个控制设备400)的内部状态450和控制信号490以及执行器状态550。接口标记成双向，即测量技术、模拟和标记系统600一方面可以在监视模式中检测这些信号并且将其例如存储在信号存储器620中。另一方面，测量技术、模拟和标记系统600可以例如发送信号存储器620信号的一部分作为激励，并且从传感器300、执行器500、控制逻辑单元400和/或从这些部件之间的连接来读取控制系统200的反应212。然后，度量模块630可以将反应212与所存储的预期反应211进行比较并且对结果进行评估。比较可以包括度量的计算。也可以将表示例如由所提及的信号的观察的数据组分配给至少一个测试标记612。然后，度量模块630可以将测试标记612与参考标记611进行比较，将该参考标记借助参考分类器分配给相同的数据组。由此确定如下的度量：根据所述度量在控制系统200的预期功能的方面来评估至少一个测试标记与至少一个参考标记611的偏差。该度量尤其可以是如下的统计度量：该统计度量首先计算测试标记612与所分配的参考标记611之间的偏差的集合并且接着确定所述偏差的集合的统计特性。所计算的度量可以输出到输出模块640。在所示的实施方式中，测量技术、模拟和标记系统600也可以双向地访问传感器测量190和执行器输出590。这例如可以在物理的车辆110中通过以下方式实现：由模拟器(例如以飞行模拟器的类型)使车辆110运动并且在此接收例如电影的预定义的信号。但这也可以通过如下方式实现：通过模拟来代替车辆。
图2示出根据本发明的一种实施方式的方法700。在步骤701中，对信号的序列进行检测并且将所述信号存储在测量技术、模拟和标记系统600的信号存储器620中(参见图1)。在此，所述信号可以包括传感器信号390、传感器状态350、控制设备400的内部状态450和控制信号490以及执行器状态550中的至少一个。在步骤702中，发送激励。在步骤703中，从传感器300、执行器500、控制逻辑单元400和/或从这些部件之间的连接读取控制系统200的反应212。在步骤704中，度量模块630将所接收的反应211的信号与所存储的预期反应212进行比较，并且根据比较的结果来执行评估。简单的评估例如可以是：在信号一致时将比较结果评估为肯定(步骤705)，而在信号不一致时将结果评估为否定(步骤706)。在评估系统630的多种实施方式中，可以基于借助测量技术、模拟和标记系统600和评估系统630获得的数据来执行基本上更全面的评估。
图3示出根据本发明的一种实施方式的方法800。步骤801基本上相应于图2的步骤701。根据评估的目的，信号可以包括一个或多个传感器信号390、或传感器状态350、或控制设备400的内部状态450或控制信号490、或执行器状态550、或这些信号的任何组合。因此，也可以执行分类器的功能检验。以这种方式，例如可以分开地观察和评估某些子系统。将这些信号合并成数据组。在此，在步骤802中将表示观察的至少一个数据组分配给至少一个测试标记612，更确切地说根据与在分类器中所使用的规则相同的规则。在步骤802中，借助参考分类器将相同的数据组分配给至少一个参考标记611。在步骤803中，通过评估系统630确定对于所存储的信号的度量或对于所存储的信号的一部分的度量。在此，将一个或多个测试标记612与一个或多个参考标记611进行比较。该比较例如可以基于信号与参考信号或参考标记的比较。在此，可以存在用于评估信号的不同方面的不同类型的度量，例如一方面用于评估所识别的对象的属性的准确性的度量和用于评估在跟踪对象时的完整性错误
的频率的度量，即例如出现假阳性对象(英语“ghosts”/德语“Geister”，鬼影)或假阴性对象(英语“missed objects”/德语“nicht erkannteObjekte”，未识别的对象)。在步骤804中，度量模块630对度量计算的结果进行评估。对于某些类型的度量，也可以在没有参考的情况下执行度量计算。对此的示例是可信度检验度量。因此，例如可以将属性对象速度与位置坐标的时间导数进行比较，以求取相应的可信度检验度量。如果满足对于系统或待评估的相应的子系统的由所计算的度量确定的、限定的要求，则比较被评估为肯定的(步骤805)，否则被评估为否定的(步骤806)。
也可以将方法700和800组合。因此，可以首先记录信号并将所述信号存储在信号存储器620中，然后如在方法700中那样将所存储的信号的一部分发送到控制系统200中的某些部件，并且最后由测量技术、模拟和标记系统600接收控制系统的其他信号并且将其存储在信号存储器620中。此外，可以如在方法800中那样地产生参考信号或参考标记，并且根据这些参考可以由度量模块630计算对于在发送后接收到的信号的度量。可以将这些所计算的度量输出到输出模块640。
Claims (11)
1.一种用于评估识别的质量或者用于对识别方法进行功能检验的方法，所述识别方法例如是分类器，所述识别方法给控制系统(200)的物理检测到的观察分配至少一个标记，所述至少一个标记与能够由所述观察求取出的至少一个属性相关联，其中，所述标记在技术系统的运行中用于至少部分自动地控制所述控制系统(200)，所述方法具有以下步骤：
根据与在所述识别方法中——例如在所述分类器中——使用的规则相同的规则，将表示观察的至少一个数据组分配给至少一个测试标记(612)；
借助参考识别方法——例如参考分类器——将相同的数据组分配给至少一个参考标记(611)；
对于其他的数据组重复所述分配步骤，其中，所述数据组分别表示观察，从而产生数据组的序列；
通过度量模块(630)将所分配的测试标记(612)与所分配的参考标记(611)进行比较，其中，所述度量模块(630)通过统计学上的分析处理来确定统计度量，其中，根据所述统计度量在所述控制系统(200)的预期功能的方面或者在所述控制系统(200)的部分部件的预期功能或预期输出的方面来评估所述测试标记与所述参考标记(611)的偏差。
2.根据权利要求1所述的方法，其中，所述数据组的序列的部分以场景来划分。
3.根据前述权利要求中任一项所述的方法，其中，所述度量或所述统计度量以度量类别——尤其精度度量和/或完整性度量——来划分。
4.根据前述权利要求中任一项所述的方法，其中，基于所计算出的度量对所述控制系统(200)或所述控制系统(200)的部件进行评估。
5.根据前述权利要求中任一项所述的方法，其中，所述控制系统(200)还包括以下信号和/或接口中的至少一个：
所述传感器(300)的内部传感器状态(350)，
所述执行器(500)的内部执行器状态(550)和执行器输出(590)，
周围环境(100)的传感器测量(190)，和/或
车辆(110)的车辆信号(115)。
6.一种评估系统(690)，所述评估系统用于对识别方法的质量进行评估或者用于对识别方法进行功能检查，所述识别方法例如是分类器，所述识别方法给控制系统(200)的物理检测到的观察分配至少一个标记，所述至少一个标记与能够由所述观察求取出的至少一个属性相关联，其中，所述标记在技术系统的运行中用于至少部分自动地控制所述系统，其中，所述评估系统(690)具有度量模块(630)，
所述度量模块设置用于根据与在所述识别方法中使用的规则相同的规则将表示观察的至少一个数据组分配给至少一个测试标记(612)；
借助参考识别方法将相同的数据组分配给至少一个参考标记(611)；
对于其他的数据组重复所述分配步骤，其中，所述数据组分别表示观察，从而产生数据组的序列；
将一个或多个所述测试标记(612)与一个或多个所分配的参考标记(611)进行比较，其中，所述度量模块(630)基于所分配的测试标记(612)和所分配的参考标记(611)的集合通过统计学上的分析处理来确定统计度量的结果，其中，根据所述统计度量在所述控制系统(200)的预期功能或所述控制系统(200)的部分部件的预期输出的方面来评估所述测试标记与所述参考标记(611)的偏差。
7.根据权利要求6所述的评估系统(690)，其中，所述数据组的序列的部分以场景来划分。
8.根据权利要求6至7中任一项所述的评估系统(690)，其中，所述控制系统(200)还包括以下信号和/或接口中的至少一个：
所述传感器(300)的内部传感器状态(350)，
所述执行器(500)的内部执行器状态(550)和执行器输出(590)，
所述周围环境(100)的传感器测量(190)，和/或
所述车辆(110)的车辆信号(115)。
9.一种根据权利要求1至5中任一项所述的方法和/或一种根据权利要求6至8中任一项所述的评估系统(690)的应用，所述方法用于至少部分自动化地行驶的车辆，所述评估系统用在用于至少部分自动化地行驶的车辆的测试系统和/或开发系统中，作为证实和验证策略的组成部分，用于在开发阶段期间和/或在整个产品生命周期上进行系列发行，尤其用于自动化驾驶功能的定量评估。
10.一种程序单元，所述程序单元设置成当在计算机、控制设备或评估系统(690)中的处理器单元上实施所述程序单元时执行根据权利要求1至5中任一项所述的方法。
11.一种计算机可读的介质，根据权利要求10所述的程序单元存储在所述计算机可读的介质上。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018220896.4 | 2018-12-04 | ||
| DE102018220896 | 2018-12-04 | ||
| DE102019218476.6A DE102019218476A1 (de) | 2018-12-04 | 2019-11-28 | Vorrichtung und Verfahren zum Messen, Simulieren, Labeln und zur Bewertung von Komponenten und Systemen von Fahrzeugen |
| DE102019218476.6 | 2019-11-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111273633A true CN111273633A (zh) | 2020-06-12 |
Family
ID=70681489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911226743.XA Pending CN111273633A (zh) | 2018-12-04 | 2019-12-04 | 测量、模拟、标记和评估车辆的部件和系统的设备和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11262738B2 (zh) |
| CN (1) | CN111273633A (zh) |
| DE (1) | DE102019218476A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112021001037T5 (de) * | 2020-12-17 | 2023-01-26 | Mobileye Vision Technologies Ltd. | Prüfsystem für fahrzeugbetrieb - sicherheitsmodelle |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6456899B1 (en) * | 1999-12-07 | 2002-09-24 | Ut-Battelle, Llc | Context-based automated defect classification system using multiple morphological masks |
| US20110190973A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Diagnostic system and method for processing continuous and intermittent faults |
| CN102486439A (zh) * | 2010-12-02 | 2012-06-06 | 现代自动车株式会社 | 使用车辆模拟器的用于车辆设备的自动评估系统 |
| DE102012019301A1 (de) * | 2012-09-29 | 2014-04-03 | Daimler Ag | Verfahren und Vorrichtung zur Fahrzeugdiagnose |
| CN104620530A (zh) * | 2012-08-29 | 2015-05-13 | 大陆汽车有限责任公司 | 用于执行车辆的安全功能的方法和执行该方法的系统 |
| CN106458221A (zh) * | 2014-06-03 | 2017-02-22 | 罗伯特·博世有限公司 | 用于监控车辆的提供至少部分自动化的行驶功能的系统的方法和设备 |
-
2019
- 2019-11-28 DE DE102019218476.6A patent/DE102019218476A1/de active Pending
- 2019-12-02 US US16/699,888 patent/US11262738B2/en active Active
- 2019-12-04 CN CN201911226743.XA patent/CN111273633A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6456899B1 (en) * | 1999-12-07 | 2002-09-24 | Ut-Battelle, Llc | Context-based automated defect classification system using multiple morphological masks |
| US20110190973A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Diagnostic system and method for processing continuous and intermittent faults |
| CN102486439A (zh) * | 2010-12-02 | 2012-06-06 | 现代自动车株式会社 | 使用车辆模拟器的用于车辆设备的自动评估系统 |
| CN104620530A (zh) * | 2012-08-29 | 2015-05-13 | 大陆汽车有限责任公司 | 用于执行车辆的安全功能的方法和执行该方法的系统 |
| DE102012019301A1 (de) * | 2012-09-29 | 2014-04-03 | Daimler Ag | Verfahren und Vorrichtung zur Fahrzeugdiagnose |
| CN106458221A (zh) * | 2014-06-03 | 2017-02-22 | 罗伯特·博世有限公司 | 用于监控车辆的提供至少部分自动化的行驶功能的系统的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11262738B2 (en) | 2022-03-01 |
| DE102019218476A1 (de) | 2020-06-04 |
| US20200174461A1 (en) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190043278A1 (en) | Test drive scenario system for virtual test drive scenarios | |
| CN112711260B (zh) | 一种用于自动驾驶车辆误/漏识别的预期功能安全测试评价方法 | |
| US11636684B2 (en) | Behavior model of an environment sensor | |
| CN111398989A (zh) | 驾驶辅助系统的性能分析方法和测试设备 | |
| CN110888416B (zh) | 视觉adas-ecu硬件在环仿真测试系统 | |
| CN108344580B (zh) | 一种自动驾驶汽车的自检方法和装置 | |
| CN112668603A (zh) | 产生识别传感器数据中的对象的识别模型用的训练数据的方法和设备、训练方法和操控方法 | |
| JP2019095836A (ja) | 診断システム | |
| US11397660B2 (en) | Method and apparatus for testing a system, for selecting real tests, and for testing systems with machine learning components | |
| CN111947669A (zh) | 用于将基于特征的定位地图用于车辆的方法 | |
| CN111273633A (zh) | 测量、模拟、标记和评估车辆的部件和系统的设备和方法 | |
| US20210374438A1 (en) | Validating object detection hardware and algorithms | |
| US20220405536A1 (en) | Method and device for generating combined scenarios | |
| US20220327042A1 (en) | Method for testing a product | |
| US20230273047A1 (en) | Method and Apparatus for Providing a High-Resolution Digital Map | |
| CN109284889B (zh) | 一种无人车反应敏捷度评测方法和装置 | |
| Eisemann et al. | An approach to systematic data acquisition and data-driven simulation for the safety testing of automated driving functions | |
| WO2022180681A1 (ja) | データ生成システム、データ生成方法およびデータ生成プログラム | |
| US20230236921A1 (en) | Information processing system, information processing method, and program | |
| US20240062592A1 (en) | Method and system for performing a virtual test | |
| US20240037022A1 (en) | Method and system for the analysis of test procedures | |
| Löchner et al. | Validating advanced driver assistance systems (ADAS) using comprehensive, loss-free in-vehicle measurements | |
| CN115164891A (zh) | 一种面向航空航迹融合算法软件的验证方法 | |
| CN117461025A (zh) | 自主车辆规划器性能测试工具 | |
| CN112444244A (zh) | 用于生成参考表示的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |