CN117056153A - 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品 - Google Patents

校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品 Download PDF

Info

Publication number
CN117056153A
CN117056153A CN202310366494.4A CN202310366494A CN117056153A CN 117056153 A CN117056153 A CN 117056153A CN 202310366494 A CN202310366494 A CN 202310366494A CN 117056153 A CN117056153 A CN 117056153A
Authority
CN
China
Prior art keywords
simulation
module
test
evaluation
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310366494.4A
Other languages
English (en)
Inventor
M·马科夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Publication of CN117056153A publication Critical patent/CN117056153A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0018—Method for the design of a control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406—Traffic density
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及一种用于在至少一个场景中校准和验证用于确定的驾驶任务的驾驶员辅助系统和/或自动驾驶系统的方法，其中场景代表时间序列中的交通事件并且由参数和相关联参数值的选择来定义，该方法包括：‑由测试代理借助用于驾驶任务的测试策略来选择场景和场景参数以及校准参数以创建第一测试用例；‑执行模拟以确定模拟结果；‑执行对模拟结果的评估以确定评估结果；‑使测试策略适配模拟结果和评估结果；‑使用适配后的测试策略来创建第二测试用例；‑开始新模拟循环；‑如果不满足特定评估标准，则重复测试策略的适配；或者‑将最后一个模拟循环的测试用例传输到输出模块；‑从输出模块生成和输出测试用例的输出结果以用于校准和验证目的。

Description

校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统 和计算机程序产品
技术领域
本发明涉及用于校准和验证驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或驾驶功能的方法、系统和计算机程序产品。
背景技术
现代车辆配备有各种各样的驾驶辅助系统或自动驾驶辅助功能，以辅助驾驶员驾驶并提高该驾驶员的安全性。例如，驾驶辅助系统支持速度和距离控制，以及车道保持和变道功能。因此，只要启用速度限制功能，就可以设定不超过的某个最大速度。对于距离控制，使用雷达传感器以及相机系统，通过该距离控制，设定尤其是与前方车辆的某个距离。因此，可以监控从前方行驶的车辆到侧面区域中的车辆的距离。这提高了特别是在高速公路上行驶时和超车动作期间的驾驶的便利性和安全性。
然而，这种趋向于驾驶员辅助系统(高级驾驶员辅助系统(ADAS))、用于机动车并且也用于飞机或船舶的自动驾驶系统(ADS)的趋势需要广泛的防护策略，因为车辆驾驶的责任不再完全由驾驶员承担，而是由车辆中的计算机单元接管主动功能。因此，必须确保自主移动的对象在其驾驶行为中具有非常低的错误率。对象的检测和分类以及对车辆附近交通场景的解释是ADAS/ADS安全功能能力的重要先决条件。为此，需要针对极端和异常情况(边角案例)以及日常情况对驾驶员辅助系统和自动驾驶系统进行有针对性的测试和训练。这种极端情况是由不同因素的特定组合造成的。这种情况的示例是基础设施的特殊性，例如道路的类型、道路上的边缘构造和标记的质量，以及环境条件，诸如天气条件、一天中的时间和季节。此外，其他道路使用者的行为、地理地形和天气条件也起着重要作用。
随着ADAS/ADS性能的提高，系统在交通中必须应对的驾驶场景的数量也在增加。因此，为了确保ADAS/ADS的安全、便捷和高效行为，各个功能和整个系统在车辆开发期间经历了校准和验证过程。
然而，由于驾驶辅助系统中的功能规格缺陷，这种校准和验证也给将现代ADAS/ADS集成到车辆中带来了重大挑战。虽然在汽车工业中已经为常规系统建立了基于需求的测试过程，其中测试用例是基于测试规范来实现的，但是对于ADAS/ADS来说，目前还缺乏这种过程，因为与常规系统相比，要考虑的影响变量的数量要大得多，特别是借助于传感器检测到的驾驶环境。在车辆驾驶环境中可能出现的并且需要由ADAS/ADS正确检测和处理的场景的量由操作设计域(ODD)表示。ODD既包括日常驾驶场景，也包括极少发生的边角案例。为了使用常规方法测试、校准和验证ADAS/ADS，需要捕获ADAS/ADS的整个ODD，并将该ODD记录在要求目录中。由于驾驶环境的复杂性和由此产生的大量驾驶场景，这是不可能的。这个问题被称为功能规格缺陷。功能规格缺陷使ADAS/ADS的校准和验证过程变得复杂，并且需要现有方法的替代方法。
由于ADAS/ADS的校准和验证存在挑战，因此除了已知方法之外还需要新的方法，以便以合理的努力和成本执行车辆开发过程。因此，期望越来越多地使用虚拟方法来模拟ADAS/ADS的校准和验证，并且以使得能够实现在性能和安全性方面具有不同功能的各种ADAS/ADS系统的客观可比性的方式来设计这些虚拟模拟方法。这些挑战尤其是由于各种各样的情景、所使用的模拟方法和选择适当的度量来评估模拟结果而出现的。
专利文献WO 2021/245200 A1公开了一种ADAS/ADS的基于场景的模拟，其中该模拟是基于模块化架构，该模块化架构包括具有部分模块化子系统的可分离的感测、预测、规划和控制系统。
专利文献US 2019/235521 A1公开了一种用于出于开发或验证目的而评估自主车辆的控制特性的方法，其中该系统包括检测和感知模块以及规划和行为模块，该模块中的每个模块访问数据库。
专利文献WO 2021/245201 A1公开了一种用于评估ADAS/ADS的基于场景的模拟的性能的方法，其中该模拟是基于具有采集、投影、规划和控制系统的架构。
专利文献US 2007/236502 A1公开了一种用于模拟的实时可视化系统，其中该系统包括具有模块化框架的实时可视化软件。
发明内容
现在，本发明的目的是提供用于驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)的虚拟校准和验证的可能性，使得校准和验证过程需要更少的时间并且可以以提高的效率执行，以便能够增强ADAS/ADS的安全性并且节省资源和成本。
这个目的通过权利要求1的特征的方法、通过权利要求10的特征的系统以及通过权利要求15的特征的计算机程序产品来实现。其他的权利要求涉及本发明的优选配置。
本发明允许选择适用于特定驾驶任务的校准和验证目的的特定交通场景，并且这为评估驾驶辅助系统和/或自动驾驶系统的安全性和功能性提供了高度的相关性。
根据第一方面，本发明提供了一种用于在至少一个场景中校准和验证驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于确定的驾驶任务的驾驶功能的方法。场景表示按时间序列的交通事件并且由参数和相关联参数值的选择来定义，其中在参数化场景中，参数和相关联参数值是能够自由选择的，并且在特定场景中，场景参数和相关联场景参数值是确定的。该方法包括以下步骤：
-由测试代理借助于用于驾驶任务的测试策略来选择参数化场景和场景参数以及校准参数以创建第一测试用例；
-将选定的第一测试用例传输到模拟模块；
-由模拟模块执行模拟以确定模拟结果；
-将模拟结果传输到评估模块；
-由评估模块执行对模拟结果的评估以确定评估结果；
-使测试策略适配于模拟结果和评估结果；
-由测试代理使用适配后的测试策略来创建第二测试用例；
-开始第二测试用例；的新模拟循环；
-如果不满足特定的评估标准，则重复测试策略的适配以执行另外的模拟循环；或者
-当满足特定的评估标准时，将最后一个模拟循环的测试用例传输到输出模块；
-从输出模块特别是以用于驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于执行确定的驾驶任务的驾驶功能的校准参数的形式生成和输出来自测试用例的输出结果以用于校准和验证的目的。
在另外的改进中提供了模拟模块包括能更换的子模块，其中第一子模块被配置为环境模型模块，第二子模块被配置为驾驶员模型模块，并且第三子模块被配置为车辆模型模块。
在一个有利的实施方案中，模拟模块和/或子模块连接到传感器和/或数据库以获得用于创建模拟模型的另外的信息，其中将模拟模型传输到驾驶功能模块以执行ADAS/ADS的驾驶辅助功能的模拟。
在另外的实施方案中，提供了评估模块包括用于借助于性能指标(KPI)来确定驾驶功能的性能和安全性的驾驶功能评估模块以及借助于模拟质量标准(SQC)来确定模拟的质量的模拟评估模块，并且其中评估结果包括性能指标(KPI)和模拟质量标准(SQC)。
特别地规定，测试用例存储在测试数据库中，校准参数存储在校准参数数据库中，参数化场景和场景参数存储在场景数据库中，并且评估结果存储在评估数据库中。
有利地，测试策略和/或测试代理利用具有人工智能的计算方法和/或算法的至少一个软件应用。
特别地，算法和计算方法被配置为平均值、最小值和最大值、查找表、期望值模型、线性回归方法、高斯过程、快速傅立叶变换、积分和微分计算、马尔可夫方法、诸如蒙特卡罗方法的概率方法、时间差分学习、扩展卡尔曼滤波、径向基函数、数据域、收敛神经网络、深度神经网络和/或递归神经网络。
有利地，参数提供了物理变量、化学变量、扭矩、转速、电压、电流强度、加速度、速度、制动值、方向、角度、半径、位置、数字、诸如机动车、人或骑自行车的人的活动对象、诸如建筑物或树的静止对象、诸如高速公路的道路配置、路标、交通灯、隧道、环岛、转弯车道、交通流量、诸如坡度的地形结构、时间、温度、降水量、天气条件和/或季节。
在另外的实施方案中，传感器被配置为雷达系统、用于光学的间距测量和速度测量的激光雷达系统、在可见光、IR和/或UV范围内拍摄图像的2D/3D相机、GPS系统、加速度计、速度传感器、电容传感器、电感传感器、电压传感器、扭矩传感器、降水传感器和/或温度传感器。
根据第二方面，本发明提供了一种用于在至少一个场景中校准和验证驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于确定的驾驶任务的驾驶功能的系统。场景表示按时间序列的交通事件并且借助于参数和相关联参数值的选择来定义，其中在参数化场景中，参数和相关联参数值是能够自由选择的，并且在特定场景中，场景参数和相关联场景参数值是确定的。该系统包括具有测试代理和测试策略的测试模块、模拟模块、评估模块和输出模块。测试代理被配置为借助于用于驾驶任务的测试策略来选择参数化场景和场景参数以及校准参数以创建第一测试用例，并且将选定的第一测试用例传输到模拟模块。模拟模块被配置为执行模拟以确定模拟结果并且将模拟结果传输到评估模块。评估模块被配置为执行对模拟结果的评估以确定评估结果。测试模块被配置为使测试策略适配模拟结果和评估结果，使用适配后的测试策略从测试代理创建第二测试用例，并且开始第二测试用例的新模拟循环，并且如果不满足特定评估标准，则重复测试策略的适配以执行另外的模拟循环，或者当满足特定评估标准时，将至少最后一个模拟循环的测试用例传输到输出模块。输出模块被配置为特别是以用于驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于执行确定的驾驶任务的驾驶功能的校准参数的形式从至少最后一个模拟循环生成和输出来自测试用例的输出结果以用于校准和验证目的。
在另外的改进中规定，模拟模块具有能更换的子模块，其中第一子模块被配置为环境模型模块，第二子模块被配置为驾驶员模型模块，并且第三子模块被配置为车辆模型模块。
在有利的实施方案中，模拟模块和/或子模块连接到传感器和/或数据库以获得用于创建模拟模型的另外的信息，其中将模拟模型传输到驾驶功能模块以执行驾驶辅助功能的模拟。
在另外的实施方案中规定，评估模块包括用于借助于性能指标(KPI)来确定驾驶功能的性能和安全性的驾驶功能评估模块以及借助于模拟质量标准(SQC)来确定模拟的质量的模拟评估模块，并且其中评估结果包括性能指标(KPI)和模拟质量标准(SQC)。
有利地，测试用例存储在测试数据库中，校准参数存储在校准参数数据库中，参数化场景和场景参数存储在场景数据库中，并且评估结果存储在评估数据库中。
特别地，提供了测试策略和/或测试代理使用具有人工智能的计算方法和/或算法的至少一个软件应用。
根据第三方面，本发明涉及一种包括可执行程序代码的计算机程序产品，该可执行程序代码被配置为在被执行时实施根据第一方面的方法。
附图说明
下面基于附图中所示的实施方案进一步详细解释本发明。
在附图中：
图1示出了解释根据本发明的系统的实施方案示例的框图；
图2示出了图形的示意性图示；
图3示出了解释根据本发明的方法的各个方法步骤的流程图；
图4示出了根据本发明的第三方面的实施方案的计算机程序产品的框图。
具体实施方式
本发明或其实施方案的附加特征、方面和优点将在以下详细说明书中结合权利要求进行解释。
通过编程创建的模拟交通场景越来越多地用于测试、训练和保护驾驶辅助系统(ADAS)和自动驾驶系统(ADS)。本发明上下文中的场景被定义为按时间序列的交通事件。场景的示例是在公路桥上行驶、在转弯车道上转弯、穿过隧道、拐上环形交叉口或在人行横道前方停车。此外，特定的能见度条件(例如由于黄昏或明亮的阳光)以及环境条件(诸如天气和季节、交通水平和某些地理地形条件)会影响场景。例如，超车动作可被描述为第一车辆最初在另一车辆后面，然后变道到另一道路，并增加速度以对另一车辆进行超车的场景。这种场景也称为切入场景。此外，季节和天气也起着一定的作用，因为在大雨和冰冻的情况下，道路状况看起来与晴朗的夏日不同。
为了能够在机动车中使用驾驶员辅助系统(ADAS)和自动驾驶系统(ADS)，ADAS和ADS必须经过校准和验证才能可靠使用。校准用于在不改变软件代码的情况下使功能适配于相应的车辆类型以及驾驶功能的期望行为。为此，校准参数被修改并能以数据集形式用于ADAS/ADS。有必要在尽可能多的操作设计域(ODD)场景中找到用于最佳行为的校准参数的合适数据集。
验证的目标是全面测试在校准期间获得的数据集，以证明驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)在整个ODD中的可靠性和鲁棒性，并且然后发布。
根据本发明，模块化模拟方法用于ADAS/ADS的虚拟校准和验证，该虚拟校准和验证可以适用于ADAS/ADS的各种配置。
图1示出了根据本发明的用于驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)的模拟校准和验证的系统100。根据本发明的系统100包括具有测试代理220和测试策略230的测试代理模块200、校准参数数据库320、场景数据库330、评估数据库340、测试数据库300、模拟模块400、评估模块500和输出模块700，它们可以各自配备有处理器和/或存储单元。
例如，结合本发明，“模块”可以理解为意指处理器和/或处理器单元和/或用于存储程序指令的存储器单元。处理器被特别配置为执行程序指令，以便实施或实现根据本发明的方法或根据本发明的方法的步骤。特别地，模块可以集成到云计算基础设施中。
结合本发明，“处理器”可以理解为意指例如机器或电子电路。特别地，处理器可以是主处理器(中央处理单元(CPU))、微处理器或微控制器，例如专用集成电路或数字信号处理器，可能与用于存储程序指令的存储器单元等相结合。处理器也可以理解为意指虚拟化处理器、虚拟机或软CPU。例如，处理器也可以是可编程处理器，该可编程处理器配备有用于执行根据本发明的上述方法的配置步骤或者配置有配置步骤，使得该可编程处理器实现根据本发明的方法、系统、模块或本发明的其他方面和/或部分方面的特征。特别地，处理器可以包括高度并行化的计算单元和高性能图形模块。
结合本发明，“存储单元”或“存储模块”可以理解工作存储器(随机存取存储器，RAM)形式的易失性存储器，或者诸如硬盘驱动器或数据载体的永久存储器，或者例如可更换的存储模块。然而，存储模块也可以是基于云的存储解决方案。
测试代理模块200的测试代理220使用软件应用为一个或多个驾驶任务创建多个测试用例Ti。在开始模拟之前，例如由诸如工程师的专家制定特定驾驶任务。然而，还可以提供由软件应用生成驾驶任务列表。然后，此列表可以由根据本发明的系统100连续处理。示例性驾驶任务是高速公路上的变道。
为了选择和设计测试用例Ti，提供了测试策略230，该测试策略指定测试代理220如何创建测试用例Ti。可以提供各种计算方法和算法，特别是人工智能算法，以用于建立测试策略230。因此，算法和计算方法，诸如平均值、最小值和最大值、查找表、期望值模型、线性回归方法、高斯过程、快速傅立叶变换、积分和微分计算、马尔可夫方法、诸如蒙特卡罗方法的概率方法、时间差分学习，还有扩展卡尔曼滤波、径向基函数、数据域、收敛神经网络、深度神经网络和/或递归神经网络，该算法和计算方法允许通过迭代过程来适配策略。
由测试代理220从校准参数数据库320、场景数据库330和评估数据库340中获取创建测试用例Ti所需的信息。在本发明的上下文中，可以规定的是，也使用另外的数据库。所创建的测试用例Ti被存储在测试数据库300中。
“数据库”既指存储算法，也指存储单元形式的硬件。特别地，数据库300、320、330、340可以被配置为云计算基础设施的一部分。
与本发明相关的数据应该被理解为原始数据以及已经从来自传感器以及来自其他数据源的测量结果准备好的数据。
测试用例Ti的创建是基于参数化场景，该参数化场景也称为逻辑场景。参数化场景在本发明的上下文中被称为特别用机器可读代码编写的场景。参数化场景SZpi由来自多个可能参数Pi的各种参数P1，P2，...，Pn和来自多个可能参数值PVi的相关联参数值PV1，PV2，...，PVn定义，其中参数值PVi定义参数Pi的值的范围。例如，参数Pi设定了物理变量、化学变量、扭矩、转速、电压、电流强度、加速度、速度、制动值、方向、角度、半径、位置、数字、诸如机动车、人或骑自行车的人的活动对象、诸如建筑物或树的静止对象、诸如高速公路的道路配置、路标、交通灯、隧道、环岛、转弯车道、交通流量、诸如坡度的地形结构、时间、温度、降水量、天气条件和/或季节。因此，参数Pi在本发明的上下文中表示场景的特性和特征。参数Pi的示例是本车辆的速度，并且对于场景SZpi，相关联参数值PVi的值的范围可以包括100km/h至180km/h的范围。对于另一场景SZpk，参数值PVi的值的范围可以从40km/h至70km/h。
参数化场景SZp包括时间间隔Δt1，Δt2.，...，Δtn的时间序列，在每个时间间隔中分别发生不同的场景和事件。参数化场景SZp从开始场景开始，然后通过发生的事件演变，从而随着时间的推移产生新的后续场景。因此，开始场景被一个或多个事件修改。事件可以是由道路使用者主动触发的响应，诸如加速，也可以是循环重现的事件，例如交通灯的切换操作。因此，开始场景和各个后续场景各自仅包括小的时间间隔Δt和/或快照，而参数化场景包括SZp更长的时间段。如图2所示，在场景SZp的图形表示中，事件可以被表示为边，并且各个场景可以被表示为图形的节点。
在本发明的上下文中，在参数化场景SZp与特定场景SZc之间进行区分。在本发明的上下文中，参数化的场景SZp被定义成这样的场景，其中参数Pi和相关联参数值PVi都没有被全部确定。特定场景SZc被定义为这样的场景SZ，在该场景中场景参数Pci和相关联场景参数值PVci和/或场景参数值PVci的值范围都是确定的。在这两种场景中，参数化场景SZp和特定场景SZc，都是特别用机器可读代码编写的场景。
可以使用各种源来创建参数化场景SZpi，诸如要求规范、专家知识和/或使用传感器在公共交通中或测试场地上的测量值。所使用的传感器可以尤其被配置为雷达系统、用于光学距离和速度测量的LIDAR系统、在可见光、红外线IR和/或紫外线UV范围内拍摄图像的2D/3D相机和/或GPS系统。此外，可以使用加速度计、速度传感器、电容传感器、电感传感器、电压传感器、扭矩传感器、降水传感器和/或温度传感器等。因此，借助于软件应用，可以从特定地理位置处的记录数据中导出对应的参数化场景SZpi。特别地，软件应用使用人工智能算法来识别参数化场景SZpi。特别地，人工智能算法可以是具有神经网络的编码器和解码器。
神经网络包括排列在多个层中并以不同方式相互连接的神经元。神经元能够在其输入端处从外部或从另一神经元接收信息，以特定方式评估信息，并在神经元输出端处将该信息以改变的形式传输到另一神经元，或者将该信息作为最终结果输出。隐藏神经元位于输入神经元与输出神经元之间。根据网络的类型，可能存在多层隐藏神经元。该神经元提供信息的转发和处理。输出神经元最终传输结果并向外界发布该结果。可以通过无监督或监督学习来训练神经网络。
神经元的不同排列和链接产生不同类型的神经网络，特别是前馈神经网络(FNN)、递归神经网络(RNN)或卷积神经网络(CNN)。卷积神经网络具有多个折叠层，并且非常适合于机器学习并用于模式识别和图像识别应用领域。因为由传感器捕获的大部分数据作为图像而存在，所以特别使用了卷积神经网络(CNN)。
在本发明的上下文中，测试代理220从一组可能的参数化场景SZpi中创建对ADAS/ADS的校准和验证感兴趣的那些测试用例Ti。为此，测试代理220从场景数据库330中选择合适的参数化场景SZpi和场景参数Pci，以及从校准参数数据库320中选择校准参数Pcali。由测试代理220创建的这些相关测试用例Ti覆盖了必须由驾驶辅助系统和自动驾驶功能来管理的在操作设计域(ODD)中阐述的相关交通状况。因此，测试用例Ti是通过场景参数Pci和另外的校准参数Pcali的规范来定义的相关特定场景SZc。
因此，测试代理220的测试策略230通过选择合适的参数化场景Szpi和场景参数Pci以及另外的校准参数Pcali.来决定测试用例Ti的配置。所使用的测试策略230通过模拟的目的来指定，即，当执行指定的驾驶任务时，关于ADAS/ADS和/或特定驾驶功能的行为的哪些知识将通过模拟来获得。例如，对于具有校准参数的恒定数据集Pcali.的ADAS/ADS的虚拟验证，可以使用组合方法创建不同的参数化场景Szpi和场景参数组合。此外，可以在数学优化器的基础上实现迭代策略，以便针对较小的一组不同参数化场景Szpi来适配校准参数Pcali。
测试代理220将以这种方式确定的测试用例Ti存储在测试数据库300中。测试用例Ti的数据可以包括测试标识号(测试ID)、用户名、创建时间以及对选定的参数化场景Szpi的指定。此外，保存将参数化场景Szpi变换成特定场景Szci的场景参数Pci。此外，可以关于在模拟中对相应驾驶辅助功能的性能的评估以及用于对所执行的模拟进行评估的评估指标而存储校准参数Pcali和诸如性能指标(KPI)的其他数据。此外，关于模拟状态的信息，诸如“已执行或未执行”，可以与测试用例Ti相关联。此外，可以存储具有另外的信息的另外的文本消息、视频序列和/或音频序列等。总之，与测试用例Ti相关的所有相关信息因此可以存储在测试数据库300中。
为了执行对所创建的测试用例Ti的模拟，测试代理220将一个测试用例Ti或多个测试用例Ti传输到模拟模块400上。此外，模拟模块400可以从校准参数数据库320中检索关于校准参数Pcali的信息以及关于参数化场景SZpi和场景参数Pci的信息(诸如来自场景数据库330的机器可读脚本)以执行模拟。模拟模块400包括各种子模块410、420、430，该子模块被配置为针对被测试的驾驶任务来模拟测试用例Ti的特定特性，并且可以彼此交互。该子模块被配置为能更换的子模块，并且具有模拟相应测试用例Ti或多个测试用例Ti的各个方面的任务。第一子模块410可以被配置为与环境相关的环境模型模块，并且映射机动车10的各种环境。第二子模块420可以被配置为与驾驶员的驾驶模式和/或驾驶风格(诸如运动或防御性)相关的驾驶员模型模块。第三子模块430可以被配置为车辆模型模块，该车辆模型模块包括机动车的例如关于动力系的不同配置、驱动动力学和其他子功能的各种模型。子模块410、420、430实现针对特定情况和/或配置的相应测试用例Ti的描述，并且提供必要的输入数据以模拟驾驶功能模块440中的驾驶辅助功能。
模拟模块400和/或各种子模块410、420、430连接到一个或多个数据库480，在该数据库中存储了来自传感器470的传感器信号和其他数据。传感器信号尤其是机动车10的特性和特征的测量数据以及机动车10附近的对象和事件的测量数据，这些测量数据是在沿着行驶路径行驶期间分别在规定的时间窗δtI和/或规定的行驶路径部分δxI期间记录的。机动车10的交通环境中的对象尤其是其他道路使用者，诸如机动车、行人、骑自行车的人，并且事件包括例如加速操作、变道或交通灯的转换。传感器470尤其可以被配置为雷达系统、用于光学距离和速度测量的LIDAR系统、在可见光、IR和/或UV范围内拍摄图像的2D/3D相机和/或GPS系统。此外，可以提供加速度计、速度传感器、电容传感器、电感传感器、电压传感器、扭矩传感器、降水传感器和/或温度传感器等。
另外的历史数据也能够以图像、图形、时间序列、特性值等形式存储在数据库480中。例如，定义模拟的安全标准的目标变量和目标值可以存储在数据库480中。数据库480也可以集成到云计算基础设施中。
此外，可以使用附加的数据源或数据库。该数据源或数据库尤其包括包含关于具有道路说明(诸如车道和桥梁)的道路网络、道路基础设施(诸如路面、边缘构造、道路路线等)的数据并且由权威机构提供的数据库。
此外，关于交通数字的数据(诸如特定交通位置处的每小时实际交通流量)对于某些场景类型(诸如交通堵塞)是有意义的。航拍照片是例如来自谷歌地图的另一数据源。也可以使用Mapillary(由位于瑞典马尔默的Mapillary AB开发，用来分享含有地理标记照片的服务)作为街景来源。Mapillary收集用户生成的带有由行车记录仪和智能手机记录的地理标签的道路图像。这些图像可以在开源许可下获得。
因为天气条件也可以定义场景类型，所以天气数据是另一数据源。因此，天气数据包括历史天气测量值和未来天气预报。
检测到的对象的地理坐标的计算和存储优选地在EPSG 25832坐标系(通用横轴墨卡托投影(UTM)区32N)中进行。德国的权威机构也使用此系统。横向和纵向位置用米表示。此外，可以使用全球参考系统，诸如也用于GPS接收器(全球定位系统)的“1984年世界大地测量系统(WGS 84)”。例如，可以从导入整个德国地图内容。
由测试代理选择的测试用例Ti被集成到各个子模块410、420、430中，其中提供诸如来自子模块410、420、430的传感器数据、车辆状态信息和驾驶员输入的输入信号以执行选定的测试用例Ti的模拟。为此，子模块410、420、430使用模拟算法，诸如X在环(XiL)。特别地，传感器470的建模特别重要，因为在虚拟校准和验证中必须考虑来自所使用的传感器470的传感器信号的不准确性和测量误差。如果选定的测试用例Ti和/或多个测试用例Ti不能覆盖定义的驾驶任务，则通过子模块410、420、430提供另外的数据以映射并由此模拟整个驾驶事件。
因此，模拟模块400针对确定的驾驶任务执行测试用例Ti的模拟，并将模拟结果450传输到评估模块500。
评估模块500特别是以性能指标(KPI)的形式评估关于一个或多个功能的性能和功能能力或者驾驶员辅助系统(ADAS)或自动驾驶系统(ADS)的总体性能的模拟结果450。此外，特别是以模拟质量标准(SQC)的形式评估所执行的模拟过程的质量。根据这些评估，评估模块500产生评估结果550。
KPI用于描述要测试的ADAS/ADS的性能，其中针对不同的评估类别(诸如舒适性、安全性、行驶的自然性和效率)建立不同的KPI。此外，可以实现另外的KPI来验证正被测试的ADAS/ADS的正确功能。KPI的一个示例是评估与另一辆车的最小距离或减速场景中的平均加速度。
除了KPI之外，SQC也用于评估模拟的质量。例如，其他道路使用者可以由模型化的模拟代表来表示，这些模拟代表根据被测试的ADAS/ADS的反应做出不同的决定。因此，必须进行评估，以验证模拟场景是否与测试用例Ti的场景描述相匹配。为此，为SQC定义了提供有关场景模拟的正确执行的反馈的度量。因此，可以借助于SQC来评估执行超车动作的方式，例如关于是否可以避免碰撞。KPI和SQC可以用数值表示，也可以用布尔值表示。
在此，直接和间接评估度量都可以用于KPI和SQC。直接评估度量包含直接来自模拟测量数据的数据。间接评估度量尤其使用场景参数作为数据源。间接评估度量应用的一个示例是在ADAS/ADS的驾驶辅助功能执行期间量化和评估驾驶员主观感知的模拟模型的实现。基于KPI和SQC，模拟测试用例Ti的结果因此可以由数值或布尔值来表示。
性能指标(KPI)和模拟质量标准(SQC)形式的评估结果550被传输到测试代理模块200。测试代理220可以向校准参数数据库320中的校准参数Pcali、场景数据库330中的参数化场景Szpi和场景参数Pci以及评估数据库340中的评估结果550提供诸如权重或用于识别特定特性的标签，以便为确定的驾驶任务创建新的测试用例Tk。特别地，可以使用由校准参数数据库320、场景数据库330和评估数据库340中的评估结果550标记的数据来适配测试策略230。测试用例Tk进而被存放在测试数据库300中，并且可以用于模拟模块400中的新模拟循环以及评估模块500中的后续评估。
特别地，为了使测试用例Tk适配新的模拟运行，校准参数(特别是Pcali)改变，而场景参数保持Pci相同。校准参数Pcali尤其在由功能评估模块510创建的性能指标(KPI)的基础上改变。通过对新测试用例Tk迭代校准参数Pcali，可以确定校准参数Pcali的最佳组合。
此外，在校准参数Pcali恒定的情况下，测试代理220可以改变场景参数Pci以迭代地确定关键的特定场景Szci。
因此，模拟模块400和评估模块500的组合形成了用于在虚拟校准和验证的上下文中处理测试用例Ti的基础。由测试代理220创建的测试用例Ti在模拟模块400中被模拟，其中模拟模块可以访问校准参数数据库320和场景数据库330以获得所需的信息。在成功模拟之后，模拟结果450被传送到评估模块500。评估模块500可以访问评估数据库340和场景数据库330，以在该评估数据库和场景数据库中存放模拟结果450的评估结果550。模拟模块400和评估模块500都包含能更换的子模块，使得能够适配不同的功能和应用情况，以及子模块的单独开发。
在完成具有第一测试用例Ti的第一模拟循环之后，测试代理220借助于适配于模拟结果450和第一模拟运行的计算结果的测试策略230来创建第二测试用例Tk。使用这些第二测试用例Tk开始新的模拟运行。评估结果550用于决定第二测试用例Tk是否满足特定评估标准，或者是否需要测试策略230的进一步适配以执行另外的模拟循环。如果评估结果550显示模拟结果450收敛，则最后一个模拟循环的测试用例Tk被传输到输出模块700。
在由评估模块500以KPI和SQC的形式生成的评估结果550的基础上，接着可以为最后一个模拟循环的测试用例Tk确定用于驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于执行确定的驾驶任务的驾驶功能的校准参数Pcali的最佳数据集。校准参数Pcali的此数据集定义了驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于确定的驾驶任务的驾驶功能的行为，然后可以作为输出结果750从输出模块700输出。此外，输出结果750包含关于所执行的模拟的信息。因此，输出结果750的质量取决于场景描述的质量和模拟的类型以及评估度量的定义。
因为模拟模块400包括不同的子模块410、420、430，所以可以通过替换子模块来实现对不同ADAS和ADS的简单适配。此外，子模块410、420、430可以被独立开发和验证，从而提高整个过程的质量。因此，模拟模块400可以通过能更换的子模块410、420、430来适配不同的应用情况。不同的驾驶任务可以简单地通过改变测试代理220的测试策略230来实现。
在图3中，在至少一个场景SZi中示出了用于校准和验证用于确定的驾驶任务的驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)的方法步骤。
在步骤S10中，由测试代理220借助于用于驾驶任务的测试策略230来选择参数化场景SZpi和场景参数Pci以及校准参数Pcali以创建第一测试用例Ti。
在步骤S20中，将选定的第一测试用例Ti传输到模拟模块400。
在步骤S30中，从模拟模块400执行模拟以确定模拟结果450。
在步骤S40中，将模拟结果450传输到评估模块500。
在步骤S50中，由评估模块500执行对模拟结果450的评估以确定评估结果550。
在步骤S60中，使测试策略230适配于模拟结果450和评估结果550。
在步骤S70中，由测试代理220使用适配后的测试策略230来创建第二测试用例Tk。
在步骤S80中，开始第二测试用例Tk的新模拟循环。
在步骤S90中，如果不满足特定评估标准，则重复测试策略230的适配以执行另外的模拟循环。
在步骤S100中，如果满足特定评估标准，则将最后一个模拟循环的测试用例Tk传输到输出模块700。
在步骤S110中，由输出模块200特别是以用于驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于执行确定的驾驶任务的驾驶功能的校准参数Pcali的形式生成和输出来自测试用例Tk的输出结果750以用于校准和验证目的。
图4示意性地表示包括可执行程序代码950的计算机程序产品900，该可执行程序代码被配置为执行根据本发明第一方面的方法。
通过本发明，可以借助于模块化结构的模块来生成用于ADAS/ADS的虚拟校准和验证的校准参数的最佳集合。该模块可以彼此独立地开发和测试，从而提高整个过程的质量。通过集成和关联必要的模块，根据本发明的系统100可以针对性地和有效地执行ADAS/ADS的虚拟校准和验证。通过这种方式，可以节省资源，因为可以减少在标准交通情况下以及在特定边角案例下与测试路线的实际偏离。
附图标记
10 机动车
100 系统
200 测试代理模块
220 测试代理
230 测试策略
300 测试数据库
320 校准参数数据库
330 场景数据库
340 评估数据库
400 模拟模块
410 环境模型模块
420 驾驶员模型模块
430 车辆模型模块
440 驱动功能模块
450 模拟结果
470 传感器
480 数据库
500 评估模块
510 功能评估模块
520 模拟评估模块
550 评估结果
700 输出模块
750 输出数据
900 计算机程序产品
950 程序代码

Claims (15)

1.一种用于在至少一个场景(SZi)中校准和验证驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于确定的驾驶任务的驾驶功能的方法，其中，场景(SZi)表示按时间序列的交通事件并且由参数(P1，P2，...，Pn)和相关联参数值(PV1，PV2，...，PVn)的选择来定义，其中在参数化场景(SZpi)中，所述参数(P1，P2，...，Pn)和相关联参数值(PV1，PV2，...，PVn)是能够自由选择的，对于特定场景(SZci)，场景参数(Pc1，Pc2，...，Pcn)和相关联场景参数值(PVc1，PVc2，...，PVcn)是确定的，所述述方法包括以下步骤：
-由测试代理(220)借助于用于所述驾驶任务的测试策略(230)来选择参数化场景(SZpi)和场景参数(Pci)以及校准参数(Pcali)以创建(S10)第一测试用例(Ti)；
-将选定的第一测试用例(Ti)传输(S20)到模拟模块(400)；
-由所述模拟模块(400)执行(S30)模拟以确定模拟结果(450)；
-将所述模拟结果(450)传输(S40)到评估模块(500)；
-由所述评估模块(500)执行(S50)对所述模拟结果(450)的评估以确定评估结果(550)；
-使所述测试策略(230)适配(S60)于所述模拟结果(450)和所述评估结果(550)；
-由所述测试代理(220)借助于适配后的测试策略(230)来创建(S70)第二测试用例(Tk)；
-开始(S80)所述第二测试用例(Tk)的新模拟循环；
-如果不满足特定的评估标准，则重复(S90)所述测试策略(230)的适配以执行另外的模拟循环；或者
-如果满足特定的评估标准，则将最后一个模拟循环的测试用例(Tk)传输(S100)到输出模块(700)；
-由所述输出模块(200)特别是以用于所述驾驶员辅助系统(ADAS)和/或所述自动驾驶系统(ADS)和/或用于执行确定的驾驶任务的所述驾驶功能的校准参数(Pcali)的形式生成和输出(S110)来自所述测试用例(Tk)的输出结果(750)以用于校准和验证目的。
2.如权利要求1所述的方法，其中，所述模拟模块(400)包括能更换的子模块(410，420，430)，其中，第一子模块(410)被配置为环境模型模块，第二子模块(420)被配置为驾驶员模型模块，第三子模块(430)被配置为车辆模型模块。
3.如权利要求1或2所述的方法，其中，所述模拟模块(400)和/或所述子模块(410，420，430)连接到传感器(470)和/或数据库(450)以获得用于创建模拟模型的另外的信息，其中将所述模拟模型传输到驾驶功能模块(440)以执行驾驶辅助功能的模拟。
4.如权利要求1至3中的任一项所述的方法，其中，所述评估模块(500)包括用于借助于性能指标(KPI)来确定驾驶功能的性能和安全性的驾驶功能评估模块(520)以及借助于模拟质量标准(SQC)来确定所述模拟的质量的模拟评估模块(520)，所述评估结果(550)包括所述性能指标(KPI)和所述模拟质量标准(SC)。
5.如权利要求1至4中的任一项所述的方法，其中，所述测试用例(Ti)存储在测试数据库(300)中，所述校准参数(Pcali)存储在校准参数数据库(320)中，所述参数化场景(SZpi)和所述场景参数(Pci)存储在场景数据库(330)中，所述评估结果(550)存储在评估数据库(340)中。
6.如权利要求1至5中的任一项所述的方法，其中，所述测试策略(230)和/或所述测试代理(220)使用具有人工智能的计算方法和/或算法的至少一个软件应用。
7.如权利要求6所述的方法，其中，所述算法和所述计算方法被配置为平均值、最小值和最大值、查找表、期望值模型、线性回归方法、高斯过程、快速傅立叶变换、积分和微分计算、马尔可夫方法、诸如蒙特卡罗方法的概率方法、时间差分学习、扩展卡尔曼滤波、径向基函数、数据域、收敛神经网络、深度神经网络和/或递归神经网络。
8.如权利要求1至7中的任一项所述的方法，其中，参数(Pi)包括物理变量、化学变量、扭矩、转速、电压、电流强度、加速度、速度、制动值、方向、角度、半径、位置、数字、诸如机动车、人或骑自行车的人的活动对象、诸如建筑物或树的静止对象、诸如高速公路的道路配置、路标、交通灯、隧道、环岛、转弯车道、交通流量、诸如坡度的地形结构、时间、温度、降水量、天气条件和/或季节。
9.如权利要求1至8所述的方法，其中，所述传感器(470)被配置为雷达系统、用于光学的间距测量和速度测量的激光雷达系统、在可见光、红外线和/或紫外线的范围内拍摄图像的2D/3D相机、GPS系统、加速度计、速度传感器、电容传感器、电感传感器、电压传感器、扭矩传感器、降水传感器和/或温度传感器。
10.一种用于在至少一个场景(SZi)中校准和验证驾驶员辅助系统(ADAS)和/或自动驾驶系统(ADS)和/或用于确定的驾驶任务的驾驶功能的系统(100)，其中，场景(SZi)表示按时间序列的交通事件并且由参数(P1，P2，...，Pn)和相关联参数值(PV1，PV2，...，PVn)的选择来定义，在参数化场景(SZpi)中，参数(P1，P2，...，Pn)和相关联参数值(PV1，PV2，...，PVn)是能够自由选择的，在特定场景(SZci)中，参数(Pc1，Pc2，...，Pcn)和相关联参数值(PVc1，PVc2，...，PVcn)是确定的，所述系统包括具有测试代理(220)和测试策略(230)的测试模块(200)、模拟模块(400)、评估模块(500)和输出模块(700)，其中所述测试代理(220)被配置为借助于用于所述驾驶任务的所述测试策略(230)来选择参数化场景(SZpi脚场景参数(Pci)以及校准参数(Pcali)来生成第一测试用例(Ti)，并且将选定的第一测试用例(Ti)传输到所述模拟模块(400)，其中所述模拟模块(400)被配置为执行模拟以确定模拟结果(450)并且将所述模拟结果(450)传输到所述评估模块(500)；其中所述评估模块(50)被配置为执行对所述模拟结果(450)的评估以确定评估结果(550)；其中所述测试模块(200)被配置为使所述测试策略(230)适配于所述模拟结果(450)和所述评估结果(550)，借助于适配后的测试策略(230)由所述测试代理(220)创建第二测试用例(Tk)，并且开始所述第二测试用例(Tk)的新模拟循环，如果不满足特定的评估标准，则重复所述测试策略(230)的适配以执行另外的模拟循环，或者如果满足特定的评估标准，则将至少最后一个模拟循环的测试用例(Tk)传输到所述输出模块(700)；其中所述输出模块(700)被配置为以用于所述驾驶员辅助系统(ADAS)和/或所述自动驾驶系统(ADS)和/或用于执行确定的驾驶任务的所述驾驶功能的校准参数(Pcali)的形式从所述至少最后一个模拟循环的测试用例(Tk)产生或输出所述输出结果(750)以用于校准和验证目的。
11.如权利要求10所述的系统(100)，其中，所述模拟模块(400)包括能更换的子模块(410，420，430)，其中第一子模块(410)被配置为环境模型模块，第二子模块(420)被配置为驾驶员模型模块，第三子模块(430)被配置为车辆模型模块。
12.如权利要求10或11所述的系统(100)，其中，所述模拟模块(400)和/或所述子模块(410，420，430)连接到传感器(470)和/或数据库(450)以获得用于创建模拟模型的另外的信息，其中将所述模拟模型传输到驾驶功能模块(440)以执行驾驶辅助功能的模拟。
13.如权利要求10至12中任一项所述的系统(100)，其中，所述评估模块(500)包括用于借助于性能指标(KPI)来确定驾驶功能的性能和安全性的驾驶功能评估模块(520)以及借助于模拟质量标准(SQC)来确定所述模拟的质量的模拟评估模块(520)，其中所述评估结果(550)包括性能指标(KPI)和模拟质量标准(SQC)。
14.如权利要求10至13中的任一项所述的系统(100)，其中，所述测试用例(Ti)存储在测试数据库(300)中，所述校准参数(Pcali)存储在校准参数数据库(320)中，所述参数化场景(SZpi)和所述场景参数(Pci)存储在场景数据库(330)中，所述评估结果(550)存储在评估数据库(340)中；其中所述测试策略(230)和/或所述测试代理(220)使用具有人工智能的计算方法和/或算法的至少一个软件应用。
15.一种包括可执行程序代码(950)的计算机程序产品(900)，所述可执行程序代码被配置为在被执行时实施根据权利要求1至9中的一项所述的方法。
CN202310366494.4A 2022-05-13 2023-04-07 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品 Pending CN117056153A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022112059.7 2022-05-13
DE102022112059.7A DE102022112059B3 (de) 2022-05-13 2022-05-13 Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)

Publications (1)

Publication Number Publication Date
CN117056153A true CN117056153A (zh) 2023-11-14

Family

ID=85773338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310366494.4A Pending CN117056153A (zh) 2022-05-13 2023-04-07 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品

Country Status (5)

Country Link
US (1) US20230365145A1 (zh)
JP (1) JP2023168244A (zh)
KR (1) KR20230159308A (zh)
CN (1) CN117056153A (zh)
DE (1) DE102022112059B3 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975736A (zh) * 2024-03-29 2024-05-03 北京市计量检测科学研究院 一种无人驾驶车辆车路协同应用场景测试方法及系统
CN117975736B (zh) * 2024-03-29 2024-06-07 北京市计量检测科学研究院 一种无人驾驶车辆车路协同应用场景测试方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187101B (zh) * 2023-04-26 2023-07-04 深圳佑驾创新科技有限公司 一种基于Prescan构建EHP的验证方法
CN116502142B (zh) * 2023-07-03 2023-08-25 北京航空航天大学 一种基于输入特征参数选择的驾驶风格识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236502A1 (en) 2006-04-07 2007-10-11 Huang Paul C Generic visualization system
US20190235521A1 (en) 2018-02-01 2019-08-01 GM Global Technology Operations LLC System and method for end-to-end autonomous vehicle validation
DE102019211009B4 (de) 2019-07-25 2022-08-25 Zf Friedrichshafen Ag Verfahren und Computerprogramm zum Simulieren eines autonomen Fahrzeugs in einer Mehrzahl von Testfällen
WO2021245201A1 (en) 2020-06-03 2021-12-09 Five AI Limited Testing and simulation in autonomous driving
GB202008353D0 (en) 2020-06-03 2020-07-15 Five Ai Ltd Simulation in autonomous driving

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975736A (zh) * 2024-03-29 2024-05-03 北京市计量检测科学研究院 一种无人驾驶车辆车路协同应用场景测试方法及系统
CN117975736B (zh) * 2024-03-29 2024-06-07 北京市计量检测科学研究院 一种无人驾驶车辆车路协同应用场景测试方法及系统

Also Published As

Publication number Publication date
JP2023168244A (ja) 2023-11-24
US20230365145A1 (en) 2023-11-16
KR20230159308A (ko) 2023-11-21
DE102022112059B3 (de) 2023-04-20

Similar Documents

Publication Publication Date Title
US10755007B2 (en) Mixed reality simulation system for testing vehicle control system designs
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
CN110796007B (zh) 场景识别的方法与计算设备
JP2022141744A (ja) 道路の曲率データ無しでの進行レーン識別
US11042758B2 (en) Vehicle image generation
CN112703459A (zh) 对抗场景的迭代生成
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
WO2020079698A1 (en) Adas systems functionality testing
US20170083794A1 (en) Virtual, road-surface-perception test bed
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
US11645360B2 (en) Neural network image processing
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
CN111094095A (zh) 自动地接收行驶信号
US11270164B1 (en) Vehicle neural network
CN116703966A (zh) 多对象跟踪
Bruggner et al. Model in the loop testing and validation of embedded autonomous driving algorithms
CN116142233A (zh) 载具灯分类系统
Song et al. Identifying critical test scenarios for lane keeping assistance system using analytic hierarchy process and hierarchical clustering
US11176823B2 (en) Enhanced vehicle operation
CN114787894A (zh) 感知误差模型
US11610412B2 (en) Vehicle neural network training
Tewari et al. AI-based autonomous driving assistance system
US20240043022A1 (en) Method, system, and computer program product for objective assessment of the performance of an adas/ads system
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination