CN114384547A - 一种基于雷达传感器模型的保真度检测的评估方法及系统 - Google Patents

一种基于雷达传感器模型的保真度检测的评估方法及系统 Download PDF

Info

Publication number
CN114384547A
CN114384547A CN202210020092.4A CN202210020092A CN114384547A CN 114384547 A CN114384547 A CN 114384547A CN 202210020092 A CN202210020092 A CN 202210020092A CN 114384547 A CN114384547 A CN 114384547A
Authority
CN
China
Prior art keywords
real
track
tracking
point cloud
sensor model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210020092.4A
Other languages
English (en)
Inventor
孟康
曹阳
刘瑜平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Tsinghua Pearl River Delta
Original Assignee
Research Institute Of Tsinghua Pearl River Delta
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Tsinghua Pearl River Delta filed Critical Research Institute Of Tsinghua Pearl River Delta
Priority to CN202210020092.4A priority Critical patent/CN114384547A/zh
Publication of CN114384547A publication Critical patent/CN114384547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于雷达传感器模型的保真度检测的评估方法及系统，其中方法包括以下步骤：获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。本发明将雷达传感器模型产生的模拟数据通过感知算法例如点云目标跟踪，比较其与真实数据使用效果的差异进行评价，进而对雷达传感器模型的保真度进行间接评估。

Description

一种基于雷达传感器模型的保真度检测的评估方法及系统
技术领域
本发明属于雷达传感器模型保真度的评估方法领域，特别是涉及一种基于雷达传感器模型的保真度检测的评估方法及系统。
背景技术
在自动驾驶汽车的测试阶段，需要对雷达(Radar)进行多种性能和指标的测试，如果全部采用现场测试，会耗费大量的人力、物力、财力且易受天气状况影响。因此基于模拟的雷达模型应用逐渐广泛。但是有必要量化模拟和现实之间的差异，验证所采用的雷达传感器模型的保真度是否满足预期用途。目前还没有可靠的方法来度量雷达传感器模型保真度，也没有一个适当的度量。传统的度量方法主要有在生成点云之前的原始数据级别的评估方法，但是只能检测简单的场景和基本功能；生成点云的检测水平评价方法，主要存在定性评价及评价指标人工制定的问题。本方法提出将点云数据进一步感知，将感知算法的性能效果作为传感器模型的评估方法。这种方法通过验证雷达模型是否满足预期用途，能够在感知层面对雷达模型的进行保真度评价。
发明内容
为了确定雷达传感器模型的可靠性，需要检测模拟到现实的差距是否适合于应用目的。除了评估产生的雷达数据外，还必须检查数据的质量对预期用途的适应性，以满足不同应用的不同需求。目前有许多雷达传感器模型，工作原理为根据真实试驾的数据，从雷达传感器的角度生成环境虚拟场景，得到模拟雷达点云。但验证和定量评估雷达传感器模型的整体保真度的问题仍未得到解决。基于此，本发明提出了一种基于雷达传感器模型的保真度检测的评估方法及系统。
一方面为实现上述目的，本发明提供了一种基于雷达传感器模型的保真度检测的评估方法，包括以下步骤：
获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
可选的，对所述跟踪轨迹和所述真实轨迹进行一致性计算的方法包括：均方根误差、最优子模式分配距离和IoU指标定量计算。
可选的，所述均方根误差的计算公式为：
Figure BDA0003462120290000021
其中，xk是k时刻目标的真实值，xk ～是目标估计值，M是仿真次数，i表示第几次测量。
可选的，所述最优子模式分配距离的计算公式为：
Figure BDA0003462120290000022
其中，p是距离敏感性参数，c是水平调节数，
Figure BDA0003462120290000031
是估计值。
可选的，所述IoU指标定量计算的方法为：基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积。
可选的，将计算结果进行量化的方法为：将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
另一方面为实现上述目的，本发明提供了一种基于雷达传感器模型的保真度检测的评估系统，包括：
真实数据生成模块、模拟数据生成模块、跟踪模块和感知模块；
真实数据生成模块用于获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
模拟数据生成模块用于获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
跟踪模块用于基于点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
感知模块用于对所述跟踪轨迹和所述测试汽车的真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
可选的，所述感知模块包括：第一计算单元、第二计算单元、第三计算单元和量化单元；
所述第一计算单元用于计算所述跟踪轨迹和所述真实轨迹的均方根误差；
所述第二计算单元用于计算所述跟踪轨迹和所述真实轨迹的最优子模式分配距离；
所述第三计算单元用于基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积，来评价所述跟踪轨迹和所述真实轨迹的边界盒预测的性能；
所述量化单元用于将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
本发明的技术效果为：
本发明公开了一种基于雷达传感器模型的保真度检测的评估方法及系统，在感知层使用数据后通过多个度量对雷达模型进行保真度评价。在感知层选为跟踪算法时，通过对比真实轨迹和跟踪轨迹的一致性来对模拟数据的质量进行定量评估。本发明结构非常灵活，能够根据实际需求比如感知方法的不同进行结构调整，并且可以应用于很多种类的雷达传感器模型。能够高效地评估雷达模型的效果，具有很高的经济社会效益。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例一中的基于雷达传感器模型的保真度检测的评估方法流程示意图；
图2为本发明实施例一中的基于雷达传感器模型的保真度检测的评估方法的IoU解释示意图；
图3为本发明实施例二中的基于雷达传感器模型的保真度检测的评估系统结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
基于雷达传感器模型的保真度检测的评估方法流程示意图如图1所示。本发明的总体流程如下：
获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
具体的，本发明从感知层面对雷达传感器模型的保真度进行评价。感知层面评估是通过将真实和模拟的雷达数据输入到为真实雷达数据开发的感知模块后，评估感知模块的输出，进而对雷达传感器模型进行间接评估。其中感知模块中的算法应该普遍适用，不针对特定算法开发，可以认为是一个黑盒，因此本发明具有较强的灵活性。同时每种感知模块的评估度量都有相应的感知算法决定，目前针对感知算法效果检测的研究较为成熟。本发明主要通过常见的目标跟踪(Object Tracking)感知算法对模拟数据进行跟踪，本发明主要介绍的感知算法是目标跟踪(Object Tracking)，通过对模拟数据进行跟踪得到跟踪轨迹。雷达传感器模型的真实度可以通过比较跟踪轨迹与真实轨迹之间的一致性来进行评价。关于跟踪算法精度的性能指标有：
1.均方根误差：xk是k时刻目标的真实值，xk～是目标估计值，M是仿真次数，i表示第几次测量。
Figure BDA0003462120290000061
2.最优子模式分配距离(OSPA,optimal subpattern assignment),这是一种常用的评价目标跟踪系统整体性能一致性度量方法。p是距离敏感性参数，c是水平调节数，
Figure BDA0003462120290000062
是估计值。
Figure BDA0003462120290000063
Figure BDA0003462120290000064
Figure BDA0003462120290000065
3.第三个度量来评价边界盒预测的性能，以并集上的交集(IoU)作为第三个度量。如图2所示，IoU定义为基于模拟雷达数据的估计形状与基于真实雷达数据的预测形状之间的交点面积，除以两种形状的并集面积。
具体过程为：步骤一:选择测试场景比如前车变道场景。步骤二：进行真实驾驶并记录测量。步骤三：模拟驾驶并生成模拟点云数据。骤四：使用点云跟踪算法对模拟点云进行跟踪，生成跟踪轨迹，通过三种度量即均方误差RMSE、最优子模式分配距离OSPA、IoU指标定量计算。步骤五：各度量结果标准化。各度量结果通过z-score方法映射在0-1空间内。根据需要调整各度量指标的重要性系数。相加得到保真度结果。
本发明通过比较以上三种常见的跟踪算法的精度指标来间接地比较雷达模型的真实度。即将通过模拟数据进行跟踪，将跟踪后的跟踪轨迹与真实的轨迹进行对比，进行以上三种指标的计算，将计算结果通过z-score标准化进行量化作为保真度。
实施例二
基于雷达传感器模型的保真度检测的评估系统结构示意图如图3所示，
一种基于雷达传感器模型的保真度检测的评估系统，包括：真实数据生成模块、模拟数据生成模块、跟踪模块和评估模块；
真实数据生成模块用于获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
模拟数据生成模块用于获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
跟踪模块用于基于点云跟踪算法，对模拟雷达点云数据进行跟踪，生成跟踪轨迹；
评估模块用于对跟踪轨迹和测试汽车的真实轨迹进行一致性计算，将计算结果进行量化，将量化结果作为雷达传感器模型的保真度。
具体的，评估模块包括：第一计算单元、第二计算单元、第三计算单元和量化单元；
第一计算单元用于计算跟踪轨迹和真实轨迹的均方根误差；
第二计算单元用于计算跟踪轨迹和真实轨迹的最优子模式分配距离；
第三计算单元用于基于跟踪轨迹的估计形状和测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积，来评价跟踪轨迹和真实轨迹的边界盒预测的性能；
量化单元用于将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于雷达传感器模型的保真度检测的评估方法，其特征在于，包括以下步骤：
获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
2.根据权利要求1所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，对所述跟踪轨迹和所述真实轨迹进行一致性计算的方法包括：均方根误差、最优子模式分配距离和IoU指标定量计算。
3.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，所述均方根误差的计算公式为：
Figure FDA0003462120280000011
其中，xk是k时刻目标的真实值，xk ～是目标估计值，M是仿真次数，i表示第几次测量。
4.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，所述最优子模式分配距离的计算公式为：
Figure FDA0003462120280000021
其中，p是距离敏感性参数，c是水平调节数，
Figure FDA0003462120280000022
是估计值。
5.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，所述IoU指标定量计算的方法为：基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积。
6.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，将计算结果进行量化的方法为：将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
7.一种基于雷达传感器模型的保真度检测的评估系统，其特征在于，包括：真实数据生成模块、模拟数据生成模块、跟踪模块和感知模块；
真实数据生成模块用于获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
模拟数据生成模块用于获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
跟踪模块用于基于点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
感知模块用于对所述跟踪轨迹和所述测试汽车的真实轨迹进行一致性计算，将计算结果进行量化，将量化结果作为雷达传感器模型的保真度。
8.根据权利要求7所述的基于雷达传感器模型的保真度检测的评估系统，其特征在于，所述感知模块包括：第一计算单元、第二计算单元、第三计算单元和量化单元；
所述第一计算单元用于计算所述跟踪轨迹和所述真实轨迹的均方根误差；
所述第二计算单元用于计算所述跟踪轨迹和所述真实轨迹的最优子模式分配距离；
所述第三计算单元用于基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积，来评价所述跟踪轨迹和所述真实轨迹的边界盒预测的性能；
所述量化单元用于将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
CN202210020092.4A 2022-01-10 2022-01-10 一种基于雷达传感器模型的保真度检测的评估方法及系统 Pending CN114384547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210020092.4A CN114384547A (zh) 2022-01-10 2022-01-10 一种基于雷达传感器模型的保真度检测的评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210020092.4A CN114384547A (zh) 2022-01-10 2022-01-10 一种基于雷达传感器模型的保真度检测的评估方法及系统

Publications (1)

Publication Number Publication Date
CN114384547A true CN114384547A (zh) 2022-04-22

Family

ID=81198999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210020092.4A Pending CN114384547A (zh) 2022-01-10 2022-01-10 一种基于雷达传感器模型的保真度检测的评估方法及系统

Country Status (1)

Country Link
CN (1) CN114384547A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907566A (zh) * 2023-02-17 2023-04-04 小米汽车科技有限公司 自动驾驶感知检测能力的评测方法、装置及电子设备
CN116030551A (zh) * 2023-03-29 2023-04-28 小米汽车科技有限公司 车辆自动驾驶软件的测试方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907566A (zh) * 2023-02-17 2023-04-04 小米汽车科技有限公司 自动驾驶感知检测能力的评测方法、装置及电子设备
CN115907566B (zh) * 2023-02-17 2023-05-30 小米汽车科技有限公司 自动驾驶感知检测能力的评测方法、装置及电子设备
CN116030551A (zh) * 2023-03-29 2023-04-28 小米汽车科技有限公司 车辆自动驾驶软件的测试方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114384547A (zh) 一种基于雷达传感器模型的保真度检测的评估方法及系统
CN105157590B (zh) 一种基于三维激光扫描技术的建构物健康监测系统
CN109917402B (zh) 一种车载激光雷达仿真模块仿真精度测定方法及系统
CN105045950A (zh) 一种基于三维激光扫描的桥梁安全评估系统
CN113221682B (zh) 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法
CN116702096B (zh) 车辆高原环境道路滑行阻力测算方法及装置
CN115187583A (zh) 一种基于改进YOLOv5的轻量化道路缺陷检测方法
Ngo et al. A multi-layered approach for measuring the simulation-to-reality gap of radar perception for autonomous driving
CN110889207A (zh) 一种基于深度学习的体系组合模型可信度智能评估方法
CN115081677A (zh) 一种风速预测方法、装置、电子设备及可读存储介质
JP2020109602A (ja) モデル生成装置、車両シミュレーションシステム、モデル生成方法およびコンピュータプログラム
CN109934151B (zh) 一种基于movidius计算芯片和Yolo face的人脸检测方法
CN112329283A (zh) 一种无砟轨道ca砂浆调整层损伤识别方法及系统
CN114495055A (zh) 一种评估街道模型保真度的多指标评估方法
CN110134024A (zh) 车辆自动驾驶虚拟环境中特殊标志物的构建方法
CN112802343B (zh) 面向虚拟算法验证的通用虚拟传感数据采集方法及系统
Ngo A methodology for validation of a radar simulation for virtual testing of autonomous driving
Wu et al. Fast calibration for vibration-based pavement roughness measurement based on model updating of vehicle dynamics
KR102214360B1 (ko) 지역적 토지피복 변화 기댓값을 이용한 격자 단위 토지피복 변화 추정 방법
Sbeih et al. Accurate Automotive Spinning Wheel Predictions Via Deformed Treaded Tire on a Full Vehicle Compared to Full Width Moving Belt Wind Tunnel Results
CN116449807B (zh) 一种物联网汽车操控系统仿真测试方法及系统
CN117421940B (zh) 数字孪生轻量化模型与物理实体之间全局映射方法及装置
JP7320755B2 (ja) 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム
Aust et al. Numerical Synthesis of Radar Target Detections Based on Measured Reference Data
CN116881657A (zh) 一种桥梁监测系统用的目标追踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination