CN117453571A - 自动驾驶测试评价平台搭建方法 - Google Patents
自动驾驶测试评价平台搭建方法 Download PDFInfo
- Publication number
- CN117453571A CN117453571A CN202311625742.9A CN202311625742A CN117453571A CN 117453571 A CN117453571 A CN 117453571A CN 202311625742 A CN202311625742 A CN 202311625742A CN 117453571 A CN117453571 A CN 117453571A
- Authority
- CN
- China
- Prior art keywords
- evaluation
- real vehicle
- driving
- scene
- driving scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 201
- 238000012360 testing method Methods 0.000 title claims abstract description 98
- 238000010276 construction Methods 0.000 title claims description 9
- 238000004088 simulation Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 13
- 238000013209 evaluation strategy Methods 0.000 claims description 11
- 238000011158 quantitative evaluation Methods 0.000 claims description 6
- 238000011867 re-evaluation Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012502 risk assessment Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 4
- 230000033772 system development Effects 0.000 abstract description 3
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种自动驾驶测试评价平台搭建方法，本发明不仅可以对自动驾驶系统全局表现进行评价，也可以评价其在特定场景下的能力表现，且巧妙地将这些功能融合了在一起，提高了系统集成和自动化的程度，极大地减少了反馈周期提高系统开发速度，旨在推进自动驾驶的自动化测试评价体系快速落地。本发明兼顾实车测试及仿真测试的自动驾驶测试评价平台的框架及实现流程，具备高自动化可以大大加速测试评价流程速度所短反馈周期。相较于目前的评价系统，具有更高的集成度和兼容性，同时也具备更高的系统扩展性，不仅可以应对当下的测试评价需求，也可以通过模块化的调整应对丰富的应用需求，更好地赋能自动驾驶系统。
Description
技术领域
本发明涉及一种自动驾驶测试评价平台搭建方法。
背景技术
随着技术不断发展，自动驾驶在汽车领域的应用正在不断提升，而对其安全性、可靠性和性能的要求也越来越高。随着技术挑战的不断升级，与之相匹配的测试评价技术的开发也迫在眉睫。
自动驾驶测试评价系统覆盖范围包括本车、交通参与者及道路环境，需要面对具多样化、复杂场景的挑战；并且面对动辄数十万公里的测试需求，对其的高度自动化能力也有较高要求。目前尚未有一套能完全满足需求的测试评价体系，实现一套完整且标准化的自动驾驶系统评价测试方法和平台是目前相关领域的核心挑战。
发明内容
本发明的目的在于提供一种自动驾驶测试评价平台搭建方法。
为解决上述问题，本发明提供一种自动驾驶测试评价平台搭建方法，包括：
在实车端搭建实车测试评价工具，通过实车测试评价工具获取自动驾驶系统基于实车环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为实车核心数据；
所述实车测试评价工具基于预设的核心评价算法，对所述实车核心数据进行评价，以得到实车现场评价报告；
云端获取所述实车核心数据，并存储入核心数据库；云端获取所述实车现场评价报告，并存储入评价报告库；
云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签；
基于每个实车详细驾驶场景片段对应的标准驾驶场景标签和所述预设评价算法，对不同驾驶场景的实车详细驾驶场景片段进行量化评价，以到实车再评价报告，并存储入评价报告库；
搭建云端虚拟仿真平台，通过所述云端虚拟仿真平台，获取所述自动驾驶系统基于模拟环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库；
基于每个模拟详细驾驶场景片段对应的标准驾驶场景标签和所述预设评价算法，对不同驾驶场景的模拟详细驾驶场景片段进行量化评价，以得到模拟评价报告，并存储入所述评价报告库；
将所述评价报告库中的实车评价报告和模拟评价报告进行对比分析，以对云端虚拟仿真平台的性能进行评价。
进一步的，在上述方法中，在实车端搭建实车测试评价工具，通过实车测试评价工具获取自动驾驶系统基于实车环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为实车核心数据，包括：
基于实车的自动驾驶系统及自动驾驶系统与真实车辆交互的中间件接口，在实车端开发对应匹配的实车数据记录模块；获取所述实车数据记录模块记录的自动驾驶系统所生成的实车自动驾驶数据，从实车自动驾驶数据实时解析出用于评价的规范化信息，作为实车核心数据。
进一步的，在上述方法中，云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签，包括：
云端通过模型训练对各种非标准场景进行场景分类入库至进标准场景库，作为各类已知场景；
云端建立各类已知驾驶场景与标准驾驶场景标签的对应关系；
云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并基于所述对应关系，为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签。
进一步的，在上述方法中，搭建云端虚拟仿真平台，通过所述云端虚拟仿真平台，获取所述自动驾驶系统基于模拟环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库，包括：
基于虚拟仿真软件、中间件、自动驾驶系统，搭建云端虚拟仿真评价平台，在云端虚拟仿真评价平台中模拟出仿真数据记录模块；
云端从所述仿真数据记录模块获取所述自动驾驶系统基于模拟环境所生成的自动驾驶数据，从自动驾驶数据获取用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库中的仿真数据库。
进一步的，在上述方法中，云端对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签，包括：
基于仿真测试需求确定待挖掘的已知场景，基于待挖掘的已知场景，启动场景挖掘工具，对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签。
进一步的，在上述方法中，所述仿真测试需求，包括：
模拟实车长距离测试；
专项场景库的批量化回归测试；
基于历史数据的批量化回注测试。
进一步的，在上述方法中，所述预设评价算法，包括：
获取核心数据，其中，所述核心数据包括：实车核心数据或模拟核心数据；
对获取到的核心数据进行全局性能评测，以得到全局评价报告并存储入评价报告库；判断获取到的核心数据中是否存在标准驾驶场景标签，
若不存在标准驾驶场景标签，则结束退出；
若存在标准驾驶场景标签，则依次对每个标准驾驶场景标签对应的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价，以得到仿真评价报告。
进一步的，在上述方法中，所述全局评价报告，包括：
安全性风险评测，包括：通过对实车详细驾驶场景片段或模拟详细驾驶场景片段中的危险场景出现次数进行统计并折算到每百公里发生次数，一次进行评分；
可靠性评测，包括：在排除安全性风险后，对自动驾驶系统的可正常无故障行驶的最大无接管里程进行评估；
整体性能评分，包括：基于不同的路况，进行自动驾驶系统的实车性能或模拟性能量化评分。
进一步的，在上述方法中，基于不同的路况，进行自动驾驶系统的实车性能或模拟性能量化评分，包括：
通过主车的运行状态及周围交通环境将不同的路况进行划分；
对不同路况采取不同指标进行自动驾驶系统的实车性能或模拟性能量化评分，最终得到每种路况的单独评分；
基于得到每种路况的单独评分，并以每种路况在全局下的占比做为权重，进行加权计算得到最终全局得分。
进一步的，在上述方法中，若存在标准驾驶场景标签，则依次对每个标准驾驶场景标签对应的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价，以得到仿真评价报告，包括：
若存在标准驾驶场景标签，则获取标准驾驶场景标签对应的专项评价策略；
调用对应的专项评价策略，调用对应所述专项评价策略对实车详细驾驶场景片段或模拟详细驾驶场景片段进行对安全性、决策能力、规控性能和舒适性的评分；对各项评分进行加权，得到最终该专项场景评分并生成评价报告。
与现有技术相比，针对现有测试评价体系的缺陷，本发明提供了一套完整的自动驾驶评测平台设计，同时也针对核心的评价体系设计提供了详细的解决方案，旨在推进自动驾驶的自动化测试评价体系快速落地。本发明兼顾实车测试及仿真测试的自动驾驶测试评价平台的框架及实现流程，具备高自动化可以大大加速测试评价流程速度所短反馈周期。相较于目前的评价系统，具有更高的集成度和兼容性，同时也具备更高的系统扩展性，不仅可以应对当下的测试评价需求，也可以通过模块化的调整应对丰富的应用需求，更好地赋能自动驾驶系统。本发明不仅可以对自动驾驶系统全局表现进行评价，也可以评价其在特定场景下的能力表现，且巧妙地将这些功能融合了在一起，提高了系统集成和自动化的程度，极大地减少了反馈周期提高系统开发速度。
附图说明
图1是本发明一实施例的自动驾驶测试评价平台搭建方法的流程图；
图2是本发明一实施例的心评价体系框架流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和2所示，本发明提供一种自动驾驶测试评价平台搭建方法，包括：
步骤S1，在实车端搭建实车测试评价工具，通过实车测试评价工具获取自动驾驶系统基于实车环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为实车核心数据；
步骤S2，所述实车测试评价工具基于预设的核心评价算法，对所述实车核心数据进行评价，以得到实车现场评价报告；
在此，可以在实车测试评价工具部署预设的核心评价算法，所述预设的核心评价算法可以是一种一体化的安全性、可靠性及性能测试评价方法，可以对核心数据进行全自动评价，得到涉及安全性、可靠性及性能评价的综合评测报告；
另外，还可以在实车端部署前端显示页面，支持现场查看评测报告；
步骤S3，云端获取所述实车核心数据，并存储入核心数据库；云端获取所述实车现场评价报告，并存储入评价报告库；
在此，可以基于实车环境，部署车端的实车核心数据上传到云端的核心数据库中的实车数据库，部署实车现场评价报告上传到云端的评价报告库；
实车测试数据(车辆的运动信息、感知信息和地图信息，测试日期、时间、天气、智驾算法版本)进入实车核心数据库；
较佳的，评价报告库中每一批次的实车核心数据可以与对应的实车评价报告关联；对测试日期、时间、天气、智驾算法版本(核心数据库)等关键信息均进行详细记录，方便入库后的数据检索及后期汇总对比；
步骤S4，云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签；
步骤S5，基于每个实车详细驾驶场景片段对应的标准驾驶场景标签和所述预设评价算法，对不同驾驶场景的实车详细驾驶场景片段进行量化评价，以到实车再评价报告，并存储入评价报告库；
在此，实车现场评价报告作为实车原始报告，存储入评价报告库；在云端可以将实车原始报告与对应的实车再评价报告进行关联，可通过前端页面进行访问，便于后续进行比较分析；
步骤S6，搭建云端虚拟仿真平台，通过所述云端虚拟仿真平台，获取所述自动驾驶系统基于模拟环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库；
步骤S7，云端对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签；
步骤S8，基于每个模拟详细驾驶场景片段对应的标准驾驶场景标签和所述预设评价算法，对不同驾驶场景的模拟详细驾驶场景片段进行量化评价，以得到模拟评价报告，并存储入所述评价报告库；
步骤S9，将所述评价报告库中的实车评价报告和模拟评价报告进行对比分析，以对云端虚拟仿真平台的性能进行评价。
在此，针对现有测试评价体系的缺陷，本发明提供了一套完整的自动驾驶评测平台设计，同时也针对核心的评价体系设计提供了详细的解决方案，旨在推进自动驾驶的自动化测试评价体系快速落地。本发明兼顾实车测试及仿真测试的自动驾驶测试评价平台的框架及实现流程，具备高自动化可以大大加速测试评价流程速度所短反馈周期。相较于目前的评价系统，具有更高的集成度和兼容性，同时也具备更高的系统扩展性，不仅可以应对当下的测试评价需求，也可以通过模块化的调整应对丰富的应用需求，更好地赋能自动驾驶系统。本发明不仅可以对自动驾驶系统全局表现进行评价，也可以评价其在特定场景下的能力表现，且巧妙地将这些功能融合了在一起，提高了系统集成和自动化的程度，极大地减少了反馈周期提高系统开发速度。
本发明的自动驾驶测试评价平台搭建方法一实施例中，步骤S1，在实车端搭建实车测试评价工具，通过实车测试评价工具获取自动驾驶系统基于实车环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为实车核心数据，包括：
步骤S11，基于实车的自动驾驶系统及自动驾驶系统与真实车辆交互的中间件接口，在实车端开发对应匹配的实车数据记录模块；获取所述实车数据记录模块记录的自动驾驶系统所生成的实车自动驾驶数据，从实车自动驾驶数据实时解析出用于评价的规范化信息，作为实车核心数据。
在此，可以基于真实车辆的自动驾驶系统及自动驾驶系统与真实车辆交互的中间件接口，开发对应匹配的实车数据记录模块，实车数据记录模块部署在实车端，用于实时解析自动驾驶系统所生成的自动驾驶数据并记录用于评价的规范化信息，包括自动驾驶系统各模块计算出的自车、交通参与者以及道路设施等的核心数据。
本发明的自动驾驶测试评价平台搭建方法一实施例中，步骤S4，云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签，包括：
步骤S41，云端通过模型训练对各种非标准场景进行场景分类入库至进标准场景库，作为各类已知场景；
例如，对于未知场景、失败场景、接管场景、异常复杂场景等非标准场景，可以通过模型训练对各种非标准场景进行驾驶场景分类入库至进标准场景库，入库后作为各类已知驾驶场景即标准场景；
步骤S42，云端建立各类已知驾驶场景与标准驾驶场景标签的对应关系；
在此，可以针对已知场景，进行相关场景挖掘算法的开发部署，找到已知驾驶场景与标准驾驶场景标签的对应关系；
具体可以建立一套完整的标准驾驶场景标签库，涵盖所有已知场景，比如，换道、绕道、超车、路口左转、路口右转等驾驶场景；不同的已知场景可以对应标准驾驶场景标签；
步骤S43，云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并基于所述对应关系，为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签。
在此，云端可以启动场景挖掘工具基于对应关系，对实车核心数据进行详细场景片段的截取，例如，一段5分钟的实车核心数据，可以截取成5段详细场景片段，每个详细场景片段的标签可以为标准驾驶场景标签(如LaneChange，表示换道)+时间戳，通过时间戳区分不同时间段生成的标准驾驶场景标签相同(即驾驶场景类别相同)的不同详细场景片段。
本发明的自动驾驶测试评价平台搭建方法一实施例中，步骤S6，搭建云端虚拟仿真平台，通过所述云端虚拟仿真平台，获取所述自动驾驶系统基于模拟环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库，包括：
步骤S61，基于虚拟仿真软件、中间件、自动驾驶系统，搭建云端虚拟仿真评价平台，在云端虚拟仿真评价平台中模拟出仿真数据记录模块；
步骤S62，云端从所述仿真数据记录模块获取所述自动驾驶系统基于模拟环境所生成的自动驾驶数据，从自动驾驶数据获取用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库中的仿真数据库。
在此，所述模拟数据记录模块可以在云端模拟实车端的GPS、传感器、摄像头和雷达，并部署在云端虚拟仿真环境中，云端获取记录模块中记录的自动驾驶系统所生成的仿真自动驾驶数据，从仿真自动驾驶数据中实时解析出用于评价的规范化信息，作为仿真核心数据并记录。
所述仿真核心数据，可以包括：自车相关数据、交通参与者相关数据及道路设施相关数据。
可以将用于评价的规范化信息自动入仿真数据库，并对测试日期、集成算法版本等关键信息均进行详细记录，方便入库后的数据检索及后期汇总对比。
本发明的自动驾驶测试评价平台搭建方法一实施例中，步骤S7，云端对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签，包括：
步骤S71，基于仿真测试需求确定待挖掘的已知场景，基于待挖掘的已知场景，启动场景挖掘工具，对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签。
本发明的自动驾驶测试评价平台搭建方法一实施例中，所述仿真测试需求，包括：
模拟实车长距离测试；
专项场景库的批量化回归测试；
基于历史数据的批量化回注测试。
在此，本发明的云端虚拟仿真评价平台根据评测需求启动相应的仿真测试序列：
仿真评测平台支持长距离测试，模拟实车长距离测试；
仿真测试平台支持基于专项场景库的批量化回归测试，对算法进行标准化的性能测试；
仿真测试平台支持基于历史数据的批量化回注测试，测试迭代后的算法应对相同历史场景时的表现提升幅度。
可以基于所述仿真测试需求，分别将评价报告归档入对应的报告库中，图1所示的专项场景库、实测场景库和仿真场景库，并同时建立相应关联信息，方便前端调用。
另外，可以基于平台需求设计一套完整的前端界面，相关功能包含但不限于：后台数据库的访问及下载、报告库的访问及下载、相关报告汇总、相关报告对比。
本发明的自动驾驶测试评价平台搭建方法一实施例中，所述预设评价算法，包括：
步骤S101，获取核心数据，其中，所述核心数据包括：实车核心数据或模拟核心数据；
步骤S102，对获取到的核心数据进行全局性能评测，以得到全局评价报告并存储入评价报告库；判断获取到的核心数据中是否存在标准驾驶场景标签，
在此，如图1所述，所述全局评价报告可以包括实车在评价报告或仿真测试报告；
步骤S103，若不存在标准驾驶场景标签，则结束退出；
步骤S104，若存在标准驾驶场景标签，则依次对每个标准驾驶场景标签对应的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价，以得到仿真评价报告。
在此，完成全局表现评价后，如果检测到场景片段标签会继续进行对应的标准场景评价，如果一组数据包含多个实车详细驾驶场景片段或模拟详细驾驶场景片段，评价系统会在识别后依次进行评价。
本发明的自动驾驶测试评价平台搭建方法一实施例中，所述全局评价报告，包括：
安全性风险评测，包括：通过对实车详细驾驶场景片段或模拟详细驾驶场景片段中的危险场景出现次数进行统计并折算到每百公里发生次数，一次进行评分；
优选的，所述危险场景，包括但不仅限于：较高碰撞风险场景、严重违反交通法规场景、处于安全考虑的人工接管场景等；
可靠性评测，包括：在排除安全性风险后，对自动驾驶系统的可正常无故障行驶的最大无接管里程进行评估；
整体性能评分，包括：基于不同的路况，进行自动驾驶系统的实车性能或模拟性能量化评分。
在此，通过对大量人工驾驶数据的分析归纳总结出多个特征指标项，并基于各个特征指标项开发出一套针对自动驾驶系统全局性能表现的评价方法；相关指标涉及通行效率、舒适度、经济性。
本发明的自动驾驶测试评价平台搭建方法一实施例中，基于不同的路况，进行自动驾驶系统的实车性能或模拟性能量化评分，包括：
步骤S201，通过主车的运行状态及周围交通环境将不同的路况进行划分；
在此，这样做的目的是明确自动驾驶系统在交通流密度较低、中等、较高三种不同情况下的性能表现，且具有高度集成及自动化特征，在评价过程中直接区分并通过报告显示无需进行后期二次处理；
步骤S202，对不同路况采取不同指标进行自动驾驶系统的实车性能或模拟性能量化评分，最终得到每种路况的单独评分；
步骤S203，基于得到每种路况的单独评分，并以每种路况在全局下的占比做为权重，进行加权计算得到最终全局得分。
本发明的自动驾驶测试评价平台搭建方法一实施例中，步骤S104，若存在标准驾驶场景标签，则依次对每个标准驾驶场景标签对应的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价，以得到仿真评价报告，包括：
步骤S1041，若存在标准驾驶场景标签，则获取标准驾驶场景标签对应的专项评价策略；
步骤S1041，调用对应的专项评价策略，调用对应所述专项评价策略对实车详细驾驶场景片段或模拟详细驾驶场景片段进行对安全性、决策能力、规控性能和舒适性的评分；对各项评分进行加权，得到最终该专项场景评分并生成评价报告。
在此,4-1可以检测标准驾驶场景标签，生成专项场景评价队列，依次对队列中的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价；
4-2，获取场景标签及相关数据片段后，检索预存的专项场景标签库(理论上一定可以找到)，获取对应的专项评价策略
4-3，调用对应所述专项评价策略对实车详细驾驶场景片段或模拟详细驾驶场景片段进行对安全性、决策能力、规控性能和舒适性的评分；对各项评分进行加权，得到最终该专项场景评分并生成评价报告；
4-4，如果对专项场景标签队列中的实车详细驾驶场景片段或模拟详细驾驶场景片段，已经全部完成评分，则进行继续进行步骤4-5，如果未完成则回到步骤4-2；
4-5，专项评价完成后，可以将全局评价报告与对应的专项评测报告进行关联，后续可在前端页面中通过全局评价报告访问相关的专项评价报告。
完成评价后，评价系统可以向云平台发送请求将最终的评价报告存入报告库用于前端进行访问。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种自动驾驶测试评价平台搭建方法，其特征在于，包括：
在实车端搭建实车测试评价工具，通过实车测试评价工具获取自动驾驶系统基于实车环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为实车核心数据；
所述实车测试评价工具基于预设的核心评价算法，对所述实车核心数据进行评价，以得到实车现场评价报告；
云端获取所述实车核心数据，并存储入核心数据库；云端获取所述实车现场评价报告，并存储入评价报告库；
云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签；
基于每个实车详细驾驶场景片段对应的标准驾驶场景标签和所述预设评价算法，对不同驾驶场景的实车详细驾驶场景片段进行量化评价，以到实车再评价报告，并存储入评价报告库；
搭建云端虚拟仿真平台，通过所述云端虚拟仿真平台，获取所述自动驾驶系统基于模拟环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库；
基于每个模拟详细驾驶场景片段对应的标准驾驶场景标签和所述预设评价算法，对不同驾驶场景的模拟详细驾驶场景片段进行量化评价，以得到模拟评价报告，并存储入所述评价报告库；
将所述评价报告库中的实车评价报告和模拟评价报告进行对比分析，以对云端虚拟仿真平台的性能进行评价。
2.如权利要求1所述的自动驾驶测试评价平台搭建方法，其特征在于，在实车端搭建实车测试评价工具，通过实车测试评价工具获取自动驾驶系统基于实车环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为实车核心数据，包括：
基于实车的自动驾驶系统及自动驾驶系统与真实车辆交互的中间件接口，在实车端开发对应匹配的实车数据记录模块；获取所述实车数据记录模块记录的自动驾驶系统所生成的实车自动驾驶数据，从实车自动驾驶数据实时解析出用于评价的规范化信息，作为实车核心数据。
3.如权利要求1所述的自动驾驶测试评价平台搭建方法，其特征在于，云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签，包括：
云端通过模型训练对各种非标准场景进行场景分类入库至进标准场景库，作为各类已知场景；
云端建立各类已知驾驶场景与标准驾驶场景标签的对应关系；
云端对实车核心数据中的各个实车详细驾驶场景片段的进行截取，并基于所述对应关系，为每个实车详细驾驶场景片段打上对应的标准驾驶场景标签。
4.如权利要求1所述的自动驾驶测试评价平台搭建方法，其特征在于，搭建云端虚拟仿真平台，通过所述云端虚拟仿真平台，获取所述自动驾驶系统基于模拟环境，所生成的自动驾驶数据中的用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库，包括：
基于虚拟仿真软件、中间件、自动驾驶系统，搭建云端虚拟仿真评价平台，在云端虚拟仿真评价平台中模拟出仿真数据记录模块；
云端从所述仿真数据记录模块获取所述自动驾驶系统基于模拟环境所生成的自动驾驶数据，从自动驾驶数据获取用于评价的规范化信息，作为模拟核心数据，并存储入所述核心数据库中的仿真数据库。
5.如权利要求1所述的自动驾驶测试评价平台搭建方法，其特征在于，云端对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签，包括：
基于仿真测试需求确定待挖掘的已知场景，基于待挖掘的已知场景，启动场景挖掘工具，对所述模拟核心数据中的各个模拟详细驾驶场景片段的进行截取，并为每个模拟详细驾驶场景片段打上对应的标准驾驶场景标签。
6.如权利要求5所述的自动驾驶测试评价平台搭建方法，其特征在于，所述仿真测试需求，包括：
模拟实车长距离测试；
专项场景库的批量化回归测试；
基于历史数据的批量化回注测试。
7.如权利要求1所述的自动驾驶测试评价平台搭建方法，其特征在于，所述预设评价算法，包括：
获取核心数据，其中，所述核心数据包括：实车核心数据或模拟核心数据；
对获取到的核心数据进行全局性能评测，以得到全局评价报告并存储入评价报告库；判断获取到的核心数据中是否存在标准驾驶场景标签，
若不存在标准驾驶场景标签，则结束退出；
若存在标准驾驶场景标签，则依次对每个标准驾驶场景标签对应的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价，以得到仿真评价报告。
8.如权利要求7所述的自动驾驶测试评价平台搭建方法，其特征在于，所述全局评价报告，包括：
安全性风险评测，包括：通过对实车详细驾驶场景片段或模拟详细驾驶场景片段中的危险场景出现次数进行统计并折算到每百公里发生次数，一次进行评分；
可靠性评测，包括：在排除安全性风险后，对自动驾驶系统的可正常无故障行驶的最大无接管里程进行评估；
整体性能评分，包括：基于不同的路况，进行自动驾驶系统的实车性能或模拟性能量化评分。
9.如权利要求8所述的自动驾驶测试评价平台搭建方法，其特征在于，基于不同的路况，进行自动驾驶系统的实车性能或模拟性能量化评分，包括：
通过主车的运行状态及周围交通环境将不同的路况进行划分；
对不同路况采取不同指标进行自动驾驶系统的实车性能或模拟性能量化评分，最终得到每种路况的单独评分；
基于得到每种路况的单独评分，并以每种路况在全局下的占比做为权重，进行加权计算得到最终全局得分。
10.如权利要求7所述的自动驾驶测试评价平台搭建方法，其特征在于，若存在标准驾驶场景标签，则依次对每个标准驾驶场景标签对应的实车详细驾驶场景片段或模拟详细驾驶场景片段进行评价，以得到仿真评价报告，包括：
若存在标准驾驶场景标签，则获取标准驾驶场景标签对应的专项评价策略；
调用对应的专项评价策略，调用对应所述专项评价策略对实车详细驾驶场景片段或模拟详细驾驶场景片段进行对安全性、决策能力、规控性能和舒适性的评分；对各项评分进行加权，得到最终该专项场景评分并生成评价报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311625742.9A CN117453571A (zh) | 2023-11-30 | 2023-11-30 | 自动驾驶测试评价平台搭建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311625742.9A CN117453571A (zh) | 2023-11-30 | 2023-11-30 | 自动驾驶测试评价平台搭建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117453571A true CN117453571A (zh) | 2024-01-26 |
Family
ID=89589241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311625742.9A Pending CN117453571A (zh) | 2023-11-30 | 2023-11-30 | 自动驾驶测试评价平台搭建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117453571A (zh) |
-
2023
- 2023-11-30 CN CN202311625742.9A patent/CN117453571A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754594B (zh) | 一种路况信息获取方法及其设备、存储介质、终端 | |
| CN104950866A (zh) | 故障原因分类装置 | |
| CN113343461A (zh) | 自动驾驶车辆的仿真方法、装置、电子设备及存储介质 | |
| CN112767644A (zh) | 一种基于视频识别的公路隧道内火灾预警方法及装置 | |
| CN111667204A (zh) | 自动驾驶开放测试道路环境风险度确定、分级方法及系统 | |
| TWI794516B (zh) | 透過空中交通管理電子系統的用於空中管理的訓練和/或輔助平台及方法 | |
| CN114428998A (zh) | 一种自动驾驶系统一体化仿真测试与评价方法及系统 | |
| CN110782125A (zh) | 一种面向自动驾驶汽车的道路安全风险度评估方法 | |
| CN113988476A (zh) | 一种针对道路运输安全风险的动态评估预测方法 | |
| CN111797188B (zh) | 一种基于开源地理空间矢量数据的城市功能区定量识别方法 | |
| CN115291515A (zh) | 一种基于数字孪生的自动驾驶仿真测试系统及评价方法 | |
| CN113887037A (zh) | 一种不同渗透率的网联环境下自动驾驶系统测评方法 | |
| CN110032809A (zh) | 一种泊车场景虚拟重构方法 | |
| US11823040B2 (en) | Method for testing air traffic management electronic system, associated electronic device and platform | |
| CN113343359B (zh) | 一种自动驾驶预期功能安全触发条件评估方法及系统 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN114527675A (zh) | 自动驾驶仿真测试方法、装置、设备及存储介质 | |
| CN114323042A (zh) | 地图数据的处理方法、装置、非易失性存储介质及处理器 | |
| CN111983934B (zh) | 一种无人车仿真测试用例生成方法及系统 | |
| CN117453571A (zh) | 自动驾驶测试评价平台搭建方法 | |
| CN116580551A (zh) | 车辆驾驶行为评估方法、装置、设备及存储介质 | |
| CN115718702A (zh) | 一种自动驾驶测试场景库构建方法及系统 | |
| CN112765812B (zh) | 一种无人系统决策策略的自主能力快速测评方法及系统 | |
| CN115240145A (zh) | 基于场景识别的违章作业行为检测方法及系统 | |
| CN114066288A (zh) | 一种基于智慧数据中心的营运道路应急检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |