CN116266246A - 创建具有一致初始条件的测试数据用以激励待测控制单元 - Google Patents
创建具有一致初始条件的测试数据用以激励待测控制单元 Download PDFInfo
- Publication number
- CN116266246A CN116266246A CN202211464620.1A CN202211464620A CN116266246A CN 116266246 A CN116266246 A CN 116266246A CN 202211464620 A CN202211464620 A CN 202211464620A CN 116266246 A CN116266246 A CN 116266246A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- real
- recorded
- successive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000003213 activating effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000000153 supplemental effect Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 2
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000004936 stimulating effect Effects 0.000 claims 1
- 230000008676 import Effects 0.000 description 16
- 230000003068 static effect Effects 0.000 description 6
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/02—Registering or indicating driving, working, idle, or waiting time only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/06—Steering behaviour; Rolling behaviour
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法，具有以下方法步骤：提供从真实世界记录的原始数据，这些原始数据借助传感器在记录持续时间上沿记录路段从记录路段的至少一部分环境中记录并且在此具有时间上相继的数据值集，所述数据值集基于由传感器检测到的真实对象产生，从时间上相继的数据值集确定由传感器检测到的真实对象并且创建时间上相继的路段数据集，这些路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景。以此方式提供一种用于生成这样的测试数据的方法，所述测试数据不具有不可信性。
Description
技术领域
本发明涉及一种用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法，具有以下方法步骤：提供从真实世界记录的原始数据，这些原始数据借助传感器在记录持续时间上沿记录路段从记录路段的至少一部分环境中记录并且在此具有时间上相继的数据值集，所述数据值集基于由传感器检测到的真实对象产生，从时间上相继的数据值集确定由传感器检测到的真实对象并且创建时间上相继的路段数据集，这些路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景。
背景技术
在“高级驾驶辅助系统”(ADAS)和“自动驾驶”(AD)领域中，对传感器、传感器融合和感知元件的验证是一项重要且安全关键的工作。由于该验证的复杂性和关键性，对其安全性和准确性提出了非常高的要求。为了应对这种情况，通常使用从真实世界记录的数据，即在真实世界中驾驶真实机动车时借助安装在机动车上的传感器检测的数据。以这种方式记录的数据的特点是接近现实且忠于现实，这无法通过现有技术中的合成模拟数据实现。因此，通过再现记录的数据(也称为数据再处理、数据再模拟、数据再现和数据回放)来验证和测试ADAS/AD感知和传感器融合元件是ADAS/AD系统开发的一个重要方面。
实现高精度和高现实性是复杂且高要求的。待测系统原则上必须与在真实测试行驶中的情形完全相同地被输入记录的数据。在数据再现过程期间，包括传感器数据和网络/总线数据的异构数据流(或者说异类数据流、异质数据流)必须同步，即使其包/消息大小可能不同。此外，流式传输数据的量不断增加。另一个挑战是对记录的数据进行复杂的实时调整，以便通过待测系统(SUT)中的端到端加密和安全检查。此外，有效扩展测试以持续供应数百万的行驶公里以及协调多个测试系统是至关重要的。
从现有技术中已知用于数据再现的不同应用情形的不同解决方案，与SUT是在物理上可用(硬件在环HIL)还是仍处于早期的软件开发阶段中(软件在环SIL)以及是涉及用于自主驾驶的简单的传感器元件还是涉及复杂的中央计算平台无关。
传统的模拟系统允许以合成的传感器原始数据来激励控制单元。但如果场景——基于其产生原始数据——的初始状态不可信，则可能发生：处于测试中的控制单元或连接在控制单元下游的元件不能处理该情形并且因此测试失败。当模拟以虚拟测试车辆的全速开始或对象在行驶通过的环境中以非自然的方式突然出现、消失或从一个地方跳到另一个地方时，情况尤其如此。
发明内容
在此基础上，本发明的任务是提出一种用于为待测控制单元生成测试数据的方法，所述测试数据不具有不可信性，基于该不可信性会导致待测控制单元的测试中断。
所述任务通过独立权利要求的技术方案来解决。优选的扩展方案在从属权利要求中得到。
因此，根据本发明提供一种用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法，所述方法具有以下方法步骤：
提供从真实世界记录的原始数据，这些原始数据借助传感器在记录持续时间上沿记录路段从记录路段的至少一部分环境中记录并且在此具有时间上相继的数据值集，所述数据值集基于由传感器检测到的真实对象产生，
从时间上相继的数据值集确定由传感器检测到的真实对象，并且创建时间上相继的路段数据集，这些路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景，
提供具有合成对象的库，
确定传感器沿记录路段在记录持续时间的时间点零时的绝对速度并且对于传感器沿记录路段在记录持续时间的时间点零时的绝对速度不为零的情况，用时间上相继的补充数据集在第一路段数据集之前的导入持续时间上补充时间上相继的路段数据集，使得传感器在导入持续时间的时间点零时的绝对速度为零并且时间上相继的补充数据集具有合成对象，所述合成对象在时间上直接相继的补充数据集之间显示出准连续的时间运动序列，所述时间运动序列准连续地通向在记录持续时间的时间点零上第一路段数据集的真实对象的图像，或者说所述时间运动序列准连续地在记录持续时间的时间点零上引至第一路段数据集的真实对象的图像，并且
通过将补充数据集转换成如下原始数据来生成测试数据用以激励待测控制单元，如所述原始数据借助传感器在导入持续时间期间在真实世界中被记录那样，如果传感器将时间上相继的补充数据集中的合成对象作为真实对象检测的话，并且用通过转换补充数据集获得的原始数据补充在记录持续时间的时间点零时的第一路段数据集之前记录的原始数据。
因此，为了解决上述任务，本发明提出自动创建一个“导入场景”，该导入场景从可信的初始状态开始并且无缝地过渡到初始场景的起始状态中，该初始场景基于借助传感器从真实世界记录的原始数据产生。当原始数据的记录在行驶中间开始时或只应使用记录的一部分时，本发明对数据回放或者说数据复现特别有用。根据本发明，记录的原始数据被扩展具有虚拟场景的导入场景，使得结果于是又可以被转换成具有可信起始状态的准原始数据格式。
如果在记录原始数据时传感器沿记录路段运动通过其环境，则在真实世界中由传感器检测到的对象相对于传感器的相对运动在数学意义上总是连续的。这与检测到的对象本身是否在环境中运动无关。因为真实世界中的数据记录在当前当然是离散地进行，即以时间上相继的数据值集进行，因此在传感器与检测到的真实对象之间的相对速度不为零时，数据值集之间总是存在数学意义上的不连续性。因此，在本发明的范围中使用术语“准连续”来描述——就像在真实世界中那样——对象不突然出现并且也不突然再次消失。此外，对象也不会从一个位置跳到另一个位置。更确切地说，本发明在创建补充数据集时——就像在真实世界中那样——力求使对象相对于传感器在“准连续”的意义上运动，使得人类观察者在补充数据集直至第一路段数据集的图形表示中感觉到连续的运动，如同在具有时间上相继的各单个图像(帧)的影片中那样。
因此，本发明的一个重要方面在于：对于在第一(最早的)路段数据集中、即在记录持续时间的时间点零时传感器的速度不为零的情况下，在路段数据集之前插入导入数据集，这些导入数据集以准连续的方式通向或者说引至第一路段数据集。这既在所有对象相对于传感器的准连续的相对运动方面适用也在传感器在第一补充数据集中的启动情形方面适用，所述启动情形应在速度为零时开始。
因此，传感器的绝对速度是传感器相对于传感器环境中的如下对象的速度，这些对象本身在环境中不运动。如果从真实世界记录的数据是借助安装在机动车上的传感器在道路上行驶时所记录的数据，则在环境中不运动的真实对象例如是道路本身以及环境中的固定布置，如建筑物或植物。在环境内运动的对象例如可以是其它交通参与者，如其它机动车或行人。因此，术语“绝对速度”是指传感器的速度或在上述情况下携带传感器的机动车相对于环境中的固定布置的速度。
此外，还要指出，术语“真实对象的图像”应在数学意义上进行理解。因此，“真实对象的图像”并非必须是在图形表示意义上的真实对象的图示。更确切地说，真实对象的图像是数据，即路段数据的一部分，并且真实对象的图像就此而言通过与相应传感器有关的数学映射规则从由传感器记录的数据值集生成，所述数据值集基于由传感器检测到的真实对象产生。尽管如此，真实对象的图像当然也可以图形地体现。
术语“路段数据集，其分别描述在相继的时间点上具有这些真实对象的图像的场景”意味着，路段数据集包含一方面描述真实对象的类型或特性如其形状的信息，另一方面也包含说明这种真实对象在记录的场景内的位置的信息。原则上，这些信息可以以完全不同的形式存在。根据本发明的一种优选的扩展方案规定，所述路段数据集——其分别描述在相继的时间点上具有这些真实对象的图像的场景——由时间上相继的帧形成，这些帧分别包括场景的图形表示。因此，相继的帧(各单个图像)在一定程度上形成它们的影片，该影片由传感器在其沿记录路径运动期间所拍摄。在此图形地表示真实对象的图像。但图形表示仅是本发明的一种选择，因为场景的图形表示不是强制性需要的。
本发明还涉及按照上述方法获得的测试数据用于激励待测控制单元的应用。在这种应用的范围内优选规定，所述方法具有以下步骤：
用根据前述权利要求中任一项获得的测试数据测试控制单元，并且如果控制单元在加载所述测试数据时显示出所述控制单元不像真实世界中记录的原始数据那样接受所述测试数据，则重复上面详细描述的方法步骤：提供从真实世界记录的原始数据，从时间上相继的数据值集确定由传感器检测到的真实对象并且创建时间上相继的路段数据集，这些路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景，提供合成对象库，补充时间上相继的路段数据集并且生成测试数据用以激励待测控制单元。就此而言，特别优选在重复这些方法步骤时，使虚拟对象的图像更相似于与之对应的真实对象。附加或替代于此，优选在重复这些方法步骤时插入如下虚拟对象的图像，所述虚拟对象之前例如因与之对应的真实对象被认为尺寸太小或被认为是无关紧要的而未被使用。
此外，本发明涉及一种非易失性计算机可读存储介质，其上存储有指令，所述指令在其于处理器上执行时实现上述方法。
附图说明
下面借助优选实施例参照附图详细阐述本发明。附图如下：
图1示意性示出根据本发明第一种实施例的用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法的流程图；
图2示意性示出根据本发明第二种实施例的用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法的流程图；
图3示出初始的真实交通情形的语义描述，所述语义描述相应于导入场景的目标情形；
图4示出导入场景中的道路结构的语义描述；
图5示出导入场景中的动态对象的语义描述；和
图6示出整个导入场景的语义描述。
具体实施方式
图1示意性示出用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法的流程图。该控制单元例如可以是在机动车中执行“高级驾驶辅助系统”(ADAS)和“自动驾驶”(AD)领域中的任务的控制单元并且在此例如干预机动车的转向和速度控制。
该方法具有以下方法步骤：
在方法步骤S1中提供从真实世界预先记录的原始数据，这些原始数据借助传感器在特定的记录持续时间上沿特定的记录路段从记录路段的一部分环境中记录。记录路段因此事先已经被机动车驶过，该机动车具有相应的传感器，以检测记录路段的至少一部分环境。以此方式生成时间上相继的数据值集，这些数据值集基于由传感器检测到的真实对象产生。当然，在本发明范围内可以并且也优选的是，为了记录而预先驶过路段的机动车具有一个以上的用于检测记录路段的环境的传感器。
然后在方法步骤S2中，从时间上相继的数据值集确定由传感器检测到的真实对象并且创建时间上相继的路段数据集，这些路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景。因此，这些路段数据集是在驶过记录路段时所检测的环境的反映或者说映像(Abbild)。
然后，在方法步骤S3中提供具有合成对象的库。这些合成对象原则上也是真实对象的图像，但它们不是相应真实对象的直接反映或者说映像。如果合成对象例如应表示另一机动车，则合成对象的库将仅具有有限数量的这种合成对象，它们应分别表示一种机动车。通常，这种合成对象分别描述一种机动车类别，如“小型车”、“旅行车”、“豪华轿车”、“SUV”、“厢式货车”、“卡车”。就此而言，合成对象实际上表示真实对象的简化图像。这同样适用于表示记录路段环境中的静态对象，如建筑物或植物的合成对象。合成对象尤其是可以被存储为3D对象，借助这些3D对象图形引擎可以以与记录的原始数据对应的数据格式从任意角度渲染或者创建(rendern)给定对象的二维视图。
接着，在方法步骤S4中确定传感器沿记录路段在记录持续时间的时间点零时的绝对速度。对于传感器沿记录路段在记录持续时间的时间点零时的绝对速度不为零的情形，用时间上相继的补充数据集在第一路段数据集之前的导入持续时间上补充时间上相继的路段数据集，使得传感器在导入持续时间的时间点零时的绝对速度为零并且时间上相继的补充数据集具有如下合成对象，所述合成对象在时间上直接相继的补充数据集之间显示出准连续的时间运动序列，该运动序列准连续地通向在记录持续时间的时间点零上第一路段数据集的真实对象的图像。因此，这是本文描述的方法中的方法步骤，在其中创建可信的导入场景，以避免不被后来待测控制单元所接受的不可信状态。
然后，在方法步骤S5中生成测试数据用以激励待测控制单元，更确切地说，通过将补充数据集转换成这样的原始数据，如所述原始数据借助传感器在导入持续时间期间在真实世界中被记录的那样，如果传感器将时间上相继的补充数据集中的合成对象作为真实对象检测的话。然后，在步骤S6中，在于记录持续时间的时间点零时第一路段数据集之前记录的原始数据用通过转换补充数据集获得的原始数据补充。以这种方式可以在测试控制单元时避免不可信的状态，这些不可信的状态否则将导致控制单元测试的中断。
因此，本文讨论的用于将借助传感器从真实世界记录的原始数据处理成测试数据用于激励待测控制单元的方法结束。以此方式产生的测试数据可以多次使用并且还可以用于不同的待测控制单元。此外，通过驶过不同的记录路段可以生成不同的测试数据集，用以测试这种控制单元。就此而言，本发明允许生成不同的测试数据集，这些测试数据集可以保存在一个自身的库中并且根据需要用于测试控制单元。然而，当然也可以如图2所示的流程图中示意性示出的那样，在创建测试数据之后紧接着在方法步骤S7中测试控制单元。
下面示例性地借助为雷达原始数据记录创建导入场景来解释这种方法。
在图3中示出交通情形的一种语义描述，该语义描述存在于在原始数据记录的记录持续时间的时间点零时的第一路段数据集中。代替术语“路段数据集”在下文中也使用术语“帧”。第一路段数据集或第一帧中的该情形是导入场景应尽可能无缝地通往或引入到其中的目标情形。为了重建交通场景，除了雷达传感器之外，还可以辅助地使用其它传感器，例如在测试行驶中随行的、向前定向的摄像机。目标情形的语义描述包括每个检测到的对象的名称(标签)、位置和速度。导入场景包括真实车辆1——借助其已经确定了路段数据集——的位置、其它轿车2的图像、卡车3的图像、植被4的图像、车道边界5的图像——如果数据并非仅来自雷达传感器——和护栏6的图像。为了说明，在图3中也绘出雷达传感器8的视锥7，该雷达传感器由车辆1携带并已经记录了数据。
为了建立导入场景，在第一步骤中虚拟复制与目标情形中的道路匹配的路段10，即具有在宽度方面匹配的相应车道数量。这在图4中示意性示出。应这样选择路段10的长度，使得在任何情况下都有足够的空间用于所有合成对象，这些合成对象应通向或者说引至在记录持续时间的时间点零上第一路段数据集的真实对象的图像，尤其是通向那些动态对象代表的并且在场景空间中绝对移动的真实对象。虚拟测试车辆9(也称作自车)被定位在道路上与目标场景中的真实测试车辆1的位置相对应的横向位置处并且随后从零加速到目标速度、即目标场景中(第一路段数据集中)的测试车辆的速度。虚拟测试车辆9配备有虚拟雷达传感器11，该虚拟雷达传感器精确位于真实雷达传感器8安装在测试车辆中的位置上。
当虚拟测试车辆9被调整到目标速度时，如图5中示意性所示，对于每个来自目标情形的动态对象在相同的相对位置上定位一个匹配的虚拟对象，该虚拟对象产生类似的雷达图像。然后，将每个动态对象移动到初始位置，其方式是基于其在目标场景中的绝对速度将相应动态对象进行回推或者回溯外推(在图中用箭头表示)。在此外推执行到所有初始位置都位于虚拟雷达传感器11的视锥12之外。
如果动态对象的相对速度等于零或近似为零，则将该对象将将定位在虚拟雷达传感器11的视锥12之外并且为控制该对象的控制器将对象的相对目标位置规定为目标值。
现在将图4和图5的场景组合成一个场景，如图6所示，直到所有动态对象都位于正确的目标位置处。此外，由图6可见，从虚拟测试车辆9被定位的位置来看，导入场景现在填充了来自目标场景的静态对象，因此在导入场景的最后几帧中，至少最重要的静态对象已经可见，这些静态对象也在第一帧中、即在相应于目标场景的第一路段数据集中可见并且没有静态对象凭空出现。示例性示出在虚拟测试车辆9的目标位置——虚拟测试车辆在导入场景的最后一帧中占据的位置——的附近环境中，导入场景如何被填充护栏6和植被4的合成对应物。
然后对导入场景进行模拟，该模拟被转换为合成雷达原始数据记录，随后被添加到真实的记录之前，使得两者无缝地过渡到彼此之中。接着是测试阶段，在其中检查待测控制单元是否接受导入场景，即从导入场景到真实记录的过渡是否在没有控制单元的错误消息或异常响应的情况下进行。
如果是这种情况，则方法结束。如果不是这种情形，则进行改进。例如使虚拟对象，即静态和/或动态对象更相似于其来自记录中的真实对应物和/或插入之前因其小的雷达横截面而被忽略的其它静态对象。这里适用的原则是：对那些从相应控制单元的角度关注的对象要更加仔细。例如车道偏离保持辅助算法将特别关注车道边界，如侧线、护栏、路缘等，而忽略其它对象，如车辆、行人和植被。改进进行直到相应控制单元接受导入场景。
附图标记列表
1 真实车辆的位置
2 其它轿车的图像
3 卡车的图像
4 植被的图像
5 车道边界的图像
6 护栏的图像
7 雷达传感器
8 雷达传感器的视锥
9 虚拟测试车辆
10路段
11虚拟雷达传感器
12虚拟雷达传感器的视锥。
Claims (11)
1.用于将借助传感器从真实世界记录的原始数据处理成测试数据用以激励待测控制单元的方法，所述方法具有以下方法步骤：
提供从真实世界记录的原始数据，这些原始数据借助传感器在记录持续时间上沿记录路段从记录路段的至少一部分环境中记录并且在此具有时间上相继的数据值集，所述数据值集基于由传感器检测到的真实对象产生，
从时间上相继的数据值集确定由传感器检测到的真实对象并且创建时间上相继的路段数据集，这些路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景，
提供具有合成对象的库，
确定传感器沿记录路段在记录持续时间的时间点零时的绝对速度，并且对于传感器沿记录路段在记录持续时间的时间点零时的绝对速度不为零的情况，用时间上相继的补充数据集在第一路段数据集之前的导入持续时间上补充时间上相继的路段数据集，使得传感器在导入持续时间的时间点零时的绝对速度为零并且时间上相继的补充数据集具有合成对象，所述补充数据集的合成对象在时间上直接相继的补充数据集之间显示出准连续的时间运动序列，所述时间运动序列准连续地通向在记录持续时间的时间点零上第一路段数据集的真实对象的图像，并且
通过将补充数据集转换成如下原始数据来生成测试数据用以激励待测控制单元，就像所述原始数据是借助传感器在导入持续时间期间在真实世界中被记录的那样，如果传感器将时间上相继的补充数据集中的合成对象作为真实对象检测的话，并且用通过转换补充数据集获得的原始数据补充在记录持续时间的时间点零时的第一路段数据集之前记录的原始数据。
2.根据权利要求1所述的方法，其中，所述路段数据集由时间上相继的帧形成，这些帧分别包括场景的图形表示，所述路段数据集分别描述在相继的时间点上具有这些真实对象的图像的场景。
3.根据权利要求1或2所述的方法，其中，如此选择合成对象，所述合成对象在时间上直接相继的补充数据集之间显示出准连续的时间运动序列，所述时间运动序列准连续地通向在记录持续时间的时间点零上第一路段数据集的真实对象的图像，使得所述合成对象在借助预定度量的评估的范围内或在通过相应训练的人工神经网络的评估的范围内被认为与所述合成对象通向的真实对象的图像处于预定的相似度范围内。
4.根据权利要求3所述的方法，其中，合成对象被认为与真实对象的图像处于预定的相似度范围内，如果借助传感器从与合成对象对应的真实对象记录的原始数据与由传感器已从真实对象记录的原始数据处于预定的相似度范围内的话，其中，所述合成对象通向所述真实对象的图像。
5.根据前述权利要求中任一项所述的方法，其中，所述传感器包括雷达传感器、激光雷达传感器、摄像机和/或超声波传感器。
6.根据前述权利要求中任一项所述的方法，所述方法包括以下步骤：用根据前述权利要求中任一项获得的测试数据测试控制单元，并且如果控制单元在加载所述测试数据时显示：所述控制单元不像在真实世界中记录的原始数据那样接受所述测试数据，则重复权利要求1中的方法步骤。
7.根据权利要求6所述的方法，其中，在重复权利要求1中的方法步骤时，使虚拟对象的图像更相似于与之对应的真实对象。
8.根据权利要求6或7所述的方法，其中，在重复权利要求1中的方法步骤时，插入如下虚拟对象的图像，所述虚拟对象之前因与之对应的真实对象的过小尺寸而未被使用。
9.按照根据前述权利要求中任一项所述的方法获得的测试数据用于激励待测控制单元的应用。
10.非易失性计算机可读存储介质，其上存储有指令，所述指令在所述指令于处理器上执行时实现根据权利要求1至8中任一项所述的方法。
11.非易失性计算机可读存储介质，其上存储有根据权利要求1至8中任一项获得的测试数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21215409.0A EP4198482A1 (de) | 2021-12-17 | 2021-12-17 | Erstellen von testdaten mit konsistenten anfangsbedingungen zum stimulieren eines zu testenden steuergeräts |
| EP21215409.0 | 2021-12-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116266246A true CN116266246A (zh) | 2023-06-20 |
Family
ID=79730521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211464620.1A Pending CN116266246A (zh) | 2021-12-17 | 2022-11-22 | 创建具有一致初始条件的测试数据用以激励待测控制单元 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230196849A1 (zh) |
| EP (1) | EP4198482A1 (zh) |
| CN (1) | CN116266246A (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10755007B2 (en) * | 2018-05-17 | 2020-08-25 | Toyota Jidosha Kabushiki Kaisha | Mixed reality simulation system for testing vehicle control system designs |
| US10482003B1 (en) * | 2018-11-09 | 2019-11-19 | Aimotive Kft. | Method and system for modifying a control unit of an autonomous car |
| US11734472B2 (en) * | 2018-12-07 | 2023-08-22 | Zoox, Inc. | System and method for modeling physical objects in a simulation |
| US11150660B1 (en) * | 2019-04-23 | 2021-10-19 | Zoox, Inc. | Scenario editor and simulator |
| JP2022531092A (ja) * | 2019-04-29 | 2022-07-06 | エヌビディア コーポレーション | 自律マシン・アプリケーションのための変換された現実世界センサ・データから現実的試験データをシミュレーションすること |
| WO2020264276A1 (en) * | 2019-06-28 | 2020-12-30 | Zoox, Inc | Synthetic scenario generator based on attributes |
| DE102019124504A1 (de) * | 2019-09-12 | 2021-04-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Simulation und Bewertung eines Sensorsystems für ein Fahrzeug sowie Verfahren und Vorrichtung zum Entwurf eines Sensorsystems zur Umfelddetektion für ein Fahrzeug |
| US11551414B2 (en) * | 2019-12-02 | 2023-01-10 | Woven Planet North America, Inc. | Simulation architecture for on-vehicle testing and validation |
-
2021
- 2021-12-17 EP EP21215409.0A patent/EP4198482A1/de active Pending
-
2022
- 2022-11-22 CN CN202211464620.1A patent/CN116266246A/zh active Pending
- 2022-12-16 US US18/082,778 patent/US20230196849A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230196849A1 (en) | 2023-06-22 |
| EP4198482A1 (de) | 2023-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109215433B (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
| EP3877740B1 (en) | Method and system for modifying a control unit of an autonomous car | |
| CN110914641B (zh) | 自主导航的导航信息的融合构架和分批对齐 | |
| JP6677521B2 (ja) | 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法 | |
| US20200356790A1 (en) | Vehicle image verification | |
| CN105793730B (zh) | 对象运动的基于激光雷达的分类 | |
| EP3942794B1 (en) | Depth-guided video inpainting for autonomous driving | |
| US11935250B2 (en) | Method, device and computer-readable storage medium with instructions for processing sensor data | |
| US20210103745A1 (en) | Vehicle neural network training | |
| EP3825958B1 (en) | A new way to generate tight 2d bounding boxes for autonomous driving labeling | |
| US11975738B2 (en) | Image annotation for deep neural networks | |
| JP2020086545A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| Zofka et al. | Semivirtual simulations for the evaluation of vision-based adas | |
| Park et al. | Creating driving scenarios from recorded vehicle data for validating lane centering system in highway traffic | |
| KR102405767B1 (ko) | 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법 | |
| CN116266246A (zh) | 创建具有一致初始条件的测试数据用以激励待测控制单元 | |
| Weber et al. | Approach for improved development of advanced driver assistance systems for future smart mobility concepts | |
| US20220383645A1 (en) | Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium | |
| US20230281975A1 (en) | Systems and methods for generating three-dimensional annotations for training a machine learning model | |
| US20200371532A1 (en) | Information processing device, autonomous vehicle, information processing method and program | |
| CN112669612B (zh) | 图像录制、回放方法、装置及计算机系统 | |
| US20240104905A1 (en) | System and method for building multi-view machine learning datasets from fleet data | |
| WO2022190274A1 (ja) | 模擬道路生成システム、模擬道路生成方法及び模擬道路生成処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体 | |
| EP4379321A1 (en) | Method for detection of map deviations, system and vehicle | |
| US20230060776A1 (en) | Decision consistency profiler for an autonomous driving vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |