CN111580116A - 一种车载系统的目标检测性能的评价方法和电子设备 - Google Patents

一种车载系统的目标检测性能的评价方法和电子设备 Download PDF

Info

Publication number
CN111580116A
CN111580116A CN202010431130.6A CN202010431130A CN111580116A CN 111580116 A CN111580116 A CN 111580116A CN 202010431130 A CN202010431130 A CN 202010431130A CN 111580116 A CN111580116 A CN 111580116A
Authority
CN
China
Prior art keywords
target
detection
value
vehicle
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010431130.6A
Other languages
English (en)
Inventor
田玉珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Ecarx Technology Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202010431130.6A priority Critical patent/CN111580116A/zh
Publication of CN111580116A publication Critical patent/CN111580116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了一种车载系统的目标检测性能的评价方法和电子设备。该方法通过以激光雷达对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标参考值，并以车载系统对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标检测值，基于时刻相差在预设时长范围内的目标参考值与目标检测值的关联结果得到车载系统的目标检测性能的评价指标，实现了对车载系统的目标检测性能的自动化测试和评价。本发明的方案具有自动化程度高、测试效率高的优点，可应用于车载系统的开发测试中用以评价或验收所开发的车载系统的目标检测功能。

Description

一种车载系统的目标检测性能的评价方法和电子设备
技术领域
本发明涉及自动化测试技术领域，特别是一种车载系统的目标检测性能的评价方法和电子设备。
背景技术
目前，自动驾驶技术正得到越来越广泛的关注，并趋于实用化。在自动驾驶中，车载系统对于车辆周围目标的检测性能对车辆的安全性至关重要。例如，在自动泊车时，自动泊车系统对于车辆周围障碍物(特别是移动障碍物，如行人、自行车、车辆等)的检测性能是成功、安全地进行自动泊车的关键因素。然而，现有技术中还没有针对车载系统的目标检测性能(尤其是自动泊车系统的障碍物检测性能)进行自动化评价的方案，导致在车载系统(例如自动泊车系统)的开发过程中难以实时、高效地对系统的目标检测性能进行评价。因此，亟需一种可适用于对车载系统的目标检测性能进行自动化评价的方案。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的车载系统的目标检测性能的评价方法和电子设备。
本发明的一个目的在于提供一种高自动化程度、高测试效率的车载系统的目标检测性能的评价方法。
本发明的一个进一步的目的在于提高对车载系统的目标检测性能评价的测试精度。
特别地，根据本发明实施例的一方面，提供了一种车载系统的目标检测性能的评价方法，包括：
获取激光雷达各时刻输出的对其所在车辆周围的目标进行检测的各帧检测数据，其中，所述激光雷达设置在车辆的指定位置上，且所述激光雷达的各帧检测数据包含在以所述激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值；
根据所述指定位置与设定检测坐标系的原点的相对位置，将所述激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值转换为所述检测坐标系下的点云坐标值，得到转换后的各时刻的各帧检测数据；
对所述转换后的各时刻的各帧检测数据进行目标识别处理得到各时刻的目标位置，将各时刻的所述目标位置对应的所述检测坐标系下的坐标值作为各时刻的目标参考值；
获取所述车载系统各时刻输出的对所述车辆周围的目标进行检测得到的目标位置，将所述检测得到的目标位置对应的所述检测坐标系下的坐标值作为各时刻的目标检测值；
以时刻相差在预设时长范围内的目标参考值和目标检测值组合成一个可用样本，得到不同时刻下的多个可用样本；
根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联，得到表示所述目标参考值与所述目标检测值是否对应同一目标的关联结果；
根据所述关联结果得到所述车载系统的目标检测性能的评价指标。
可选地，所述激光雷达的数量为多个，且每一激光雷达的各时刻的各帧检测数据各自包含在以该激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值；
所述对所述转换后的各时刻的各帧检测数据进行目标识别处理，包括：
根据所述转换后的各时刻的各帧检测数据中包含的所述检测坐标系下的点云坐标值，分别将相同时刻下的转换后的各所述激光雷达的对应的各帧检测数据合并成一帧检测数据；
对合并后各时刻的各帧检测数据进行目标识别处理。
可选地，所述检测坐标系为平面坐标系，所述雷达坐标系为三维坐标系，所述雷达坐标系的x轴和y轴分别与所述检测坐标系的x轴和y轴平行，且两者具有相同的x轴方向和y轴方向；
所述根据所述指定位置与设定检测坐标系的原点的相对位置，将所述激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值转换为所述检测坐标系下的点云坐标值，得到转换后的各时刻的各帧检测数据，包括：
根据每一激光雷达所在指定位置与所述检测坐标系的原点的相对位置，得到每一激光雷达所在指定位置在所述检测坐标系中的x轴坐标值和y轴坐标值；
将每一激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值中的x轴坐标值加上该激光雷达所在指定位置在所述检测坐标系中的x轴坐标值，将每一激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值中的y轴坐标值加上该激光雷达所在指定位置在所述检测坐标系中的y轴坐标值，得到转换后的每一激光雷达的各时刻的各帧检测数据。
可选地，所述根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联，包括：
对各所述可用样本中的各所述目标参考值与各所述目标检测值，计算所述目标参考值对应的目标位置与所述目标检测值对应的目标位置之间的距离；
判断所述距离是否小于所述最大允许位置误差；
若是，则确定所述目标参考值与所述目标检测值关联成功；
若否，则确定所述目标参考值与所述目标检测值关联失败。
可选地，所述目标检测性能的评价指标包括目标检测准确率；
所述根据所述关联结果得到所述车载系统的目标检测性能的评价指标，包括：
统计多个所述可用样本中的目标参考值的总数量N；
记录关联成功的目标参考值的数量n3；
计算n3与N的比率n3/N，作为目标检测准确率。
可选地，所述目标检测性能的评价指标还包括下列至少之一：
目标检测位置平均误差、目标检测位置标准偏差、目标漏检率、目标虚警率；
所述根据所述关联结果得到所述车载系统的目标检测性能的评价指标，还包括下列至少之一：
记录与一个目标检测值关联成功的目标参考值的数量n1，以及n1个所述目标参考值中的每个目标参考值对应的目标位置和与该目标参考值关联成功的目标检测值对应的目标位置之间的距离d1、d2、…、dn1，根据式(1)计算平均距离md，作为目标检测位置平均误差：
md＝(d1+d2+…+dn1)/n1 (1)；
记录与一个目标检测值关联成功的目标参考值的数量n1，以及n1个所述目标参考值中的每个目标参考值对应的目标位置和与该目标参考值关联成功的目标检测值对应的目标位置之间的距离d1、d2、…、dn1，根据式(2)计算距离标准差sd，作为目标检测位置标准偏差：
Figure BDA0002500643970000041
其中，式(2)中μ＝(d1+d2+…+dn1)/n1；
记录与目标检测值关联失败的目标参考值的数量n0，计算n0与N的比率n0/N，作为目标漏检率；
记录与目标参考值关联失败的目标检测值的数量p0，计算p0与N的比率p0/N，作为目标虚警率。
可选地，在根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联之前，该方法还包括：
统计多个所述可用样本中的所述目标参考值和所述目标检测值的总数量；
判断所述总数量是否大于预设阈值；
若是，则执行所述根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联的步骤。
可选地，该方法还包括：
显示下列至少之一：
转换后的各时刻的各帧检测数据进行目标识别处理后得到的各时刻的目标位置；
时刻相差在预设时长范围内的各所述目标参考值和各所述目标检测值；
关联成功的各所述目标参考值和各所述目标检测值；
所述车载系统的目标检测性能的评价指标。
可选地，所述车载系统包括自动泊车系统；和/或
所述目标包括移动物体。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：
处理器；以及
存储有计算机程序代码的存储器；
当所述计算机程序代码被所述处理器运行时，导致所述电子设备执行根据上述任一项所述的辅助车辆进行紧急避障的方法。
本发明提供的车载系统的目标检测性能的评价方法，通过以激光雷达对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标参考值，并以车载系统对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标检测值，基于时刻相差在预设时长范围内的目标参考值与目标检测值的关联结果得到车载系统的目标检测性能的评价指标，实现了对车载系统的目标检测性能的自动化测试和评价。本发明的方案具有自动化程度高、测试效率高的优点，可应用于车载系统的开发测试中用以评价或验收所开发的车载系统的目标检测功能。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一实施例的车载系统的目标检测性能的评价方法的流程图；
图2示出了根据本发明一实施例的车载系统的目标检测性能的评价方法所应用的测试场景示意图；
图3示出了根据本发明另一实施例的车载系统的目标检测性能的评价方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
目前亟需一种对车载系统的目标检测性能进行自动化评价的方案，以解决高效、自动化地评价车载系统的目标检测性能的问题。
为解决上述技术问题，本发明实施例提出一种车载系统的目标检测性能的评价方法。图1示出了根据本发明一实施例的车载系统的目标检测性能的评价方法的流程图。参见图1，该方法至少可以包括以下步骤S102至步骤S114。
步骤S102，获取激光雷达各时刻输出的对其所在车辆周围的目标进行检测的各帧检测数据，其中，激光雷达设置在车辆的指定位置上，且激光雷达的各帧检测数据包含在以激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值。
步骤S104，根据指定位置与设定检测坐标系的原点的相对位置，将激光雷达的各时刻的各帧检测数据中包含的在雷达坐标系下的点云坐标值转换为检测坐标系下的点云坐标值，得到转换后的各时刻的各帧检测数据。
步骤S106，对转换后的各时刻的各帧检测数据进行目标识别处理得到各时刻的目标位置，将各时刻的目标位置对应的检测坐标系下的坐标值作为各时刻的目标参考值。
步骤S108，获取车载系统各时刻输出的对车辆周围的目标进行检测得到的目标位置，将检测得到的目标位置对应的检测坐标系下的坐标值作为各时刻的目标检测值。
步骤S110，以时刻相差在预设时长范围内的目标参考值和目标检测值组合成一个可用样本，得到不同时刻下的多个可用样本。
步骤S112，根据最大允许位置误差分别对各可用样本中的各目标参考值和各目标检测值进行关联，得到表示目标参考值与目标检测值是否对应同一目标的关联结果。
步骤S114，根据关联结果得到车载系统的目标检测性能的评价指标。
需要说明的是，步骤S108也可以与步骤S102同时进行，或在步骤S102之前进行，这并不会对本发明实施例的方案产生实质性影响。
本发明实施例提供的车载系统的目标检测性能的评价方法，以激光雷达对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标参考值，并以车载系统对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标检测值，基于时刻相差在预设时长范围内的目标参考值与目标检测值的关联结果得到车载系统的目标检测性能的评价指标，实现了对车载系统的目标检测性能的自动化测试和评价。
本文中提及的车载系统可以是指具有目标检测功能的各种车载系统，例如自动泊车系统等。目标可指车辆周围的目标，包括静止物体(如树木、栏杆、墙面、花草、停靠车辆等)和移动物体(如行人、行驶车辆等)。
上文步骤S102中，激光雷达例如可以是8线激光雷达、16线激光雷达、32线激光雷达等，可根据实际测试精度需求进行选择，本发明对此不作具体限制。所获取的各帧检测数据可以是点云数据。雷达坐标系为以激光雷达所在指定位置(更确切地，以激光雷达的中心所在位置)为原点的三维坐标系。
激光雷达的数量可以为一个或多个，以使激光雷达的总有效视场可以完全覆盖车辆周围的目标出现的指定空间范围为宜。在激光雷达的数量为多个的情况下，每一激光雷达的各时刻的各帧检测数据各自包含在以该激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值。
由于激光雷达具有高测距精度、高分辨率的优势，因此通过激光雷达对车辆周围的目标进行检测，可提供高精度的目标检测数据，并进而基于该目标检测数据得到高精度的目标位置的坐标值作为目标参考值，从而保证对车载系统的目标检测性能评价的测试精度。
指定位置可以位于车辆的车身处，例如车头、车尾、车顶等，可以根据实际测试需求而定，只要使设置于该指定位置的激光雷达的有效视场可覆盖车辆周围的目标出现的指定空间范围即可，本发明对此不作具体限制。
上文步骤S104中，检测坐标系可以根据实际应用需求进行设定。优选地，可以设定被测的车载系统进行目标检测时采用的坐标系(不妨称为车辆坐标系)作为检测坐标系，从而后续步骤S108中获取车载系统各时刻输出的对车辆周围的目标进行检测得到的目标位置，并以车载系统检测得到的目标位置对应的检测坐标系下的坐标值作为目标检测值时，可免去对车载系统输出的目标位置对应的坐标值进行坐标转换的操作，提高处理效率。
由于对于车辆周围的目标检测，通常只关注目标的方位，而并不关注目标的高度，因此，本发明中的检测坐标系和车辆坐标系可简化为平面二维坐标系。在一种实施方案中，参见图2所示，平面二维的车辆坐标系为右手坐标系，以车辆后轴中心为坐标系原点，车辆中轴向车头方向为x轴正方向，车辆左侧为y轴正方向。如此，当以车辆坐标系作为设定检测坐标系时，可大大简化激光雷达输出的检测数据所包含的点云坐标值的坐标转换操作。
在一些实施方案中，可以在步骤S102之前设定检测坐标系，从而在需执行步骤S102时，可先使激光雷达的雷达坐标系的各坐标轴方向与设定的检测坐标系的相应坐标轴方向分别平行。具体地，使激光雷达的雷达坐标系的x轴和y轴与设定的检测坐标系的x轴和y轴分别平行。如此，可大大地简化后续的激光雷达输出的检测数据所包含的点云坐标值的坐标转换操作。
在设定检测坐标系后，即可确定激光雷达所在指定位置在检测坐标系中的坐标，该坐标即表示该指定位置与检测坐标系的原点的相对位置，进而可根据指定位置在检测坐标系中的坐标，将激光雷达的各时刻的各帧检测数据中包含的在雷达坐标系下的点云坐标值转换为检测坐标系下的点云坐标值。
在一个实施例中，若激光雷达的数量为多个，在设定的检测坐标系为平面坐标系，各激光雷达的雷达坐标系(以下简称为各雷达坐标系)为三维坐标系，各雷达坐标系的x轴和y轴分别与检测坐标系的x轴和y轴平行，且各雷达坐标系与检测坐标系具有相同的x轴方向和y轴方向的情况下，步骤S104可进一步实施为：
首先，根据每一激光雷达所在指定位置与检测坐标系的原点的相对位置，得到每一激光雷达所在指定位置在检测坐标系中的x轴坐标值和y轴坐标值。
然后，将每一激光雷达的各时刻的各帧检测数据中包含的在雷达坐标系下的点云坐标值中的x轴坐标值加上该激光雷达所在指定位置在检测坐标系中的x轴坐标值，将每一激光雷达的各时刻的各帧检测数据中包含的在雷达坐标系下的点云坐标值中的y轴坐标值加上该激光雷达所在指定位置在检测坐标系中的y轴坐标值，得到转换后的每一激光雷达的各时刻的各帧检测数据。
上文步骤S106中，对激光雷达输出的转换后的各时刻的各帧检测数据进行目标识别处理，得到各时刻的目标位置(或称目标方位)。各时刻的目标位置以检测坐标系下的坐标值(LPxij，LPyij)表示，其中，LPxij表示由激光雷达在i时刻检测到的第j个目标的x轴坐标，LPyij表示由激光雷达在i时刻检测到的第j个目标的y轴坐标。
目标识别处理可以采用聚类算法、基于神经网络的深度学习算法等。采用此类算法进行目标识别处理的技术为本领域技术人员所习知，本文不另赘述。
在一个实施例中，在对激光雷达的转换后的各时刻的各帧检测数据进行目标识别处理，得到各时刻的目标位置后，还可以显示所得到的各时刻的目标位置，例如通过可视化模块展示给用户，便于用户直观地、及时地获知所需数据。
上文步骤S108中，各时刻的目标检测值可以检测坐标系下的坐标值(APxlk，APylk)表示，其中，APxlk表示由车载系统在l时刻检测到的第k个目标的x轴坐标，APylk表示由车载系统在l时刻检测到的第k个目标的y轴坐标。
需要说明的是，当设定车辆坐标系作为检测坐标系(即，所设定的检测坐标系与车辆坐标系重合时)，可将获取的车载系统各时刻输出的对车辆周围的目标进行检测得到的目标位置所对应的车辆坐标系下的坐标值直接作为各时刻的目标检测值，无需进行坐标转换。当设定的检测坐标系与车辆坐标系不重合时，则需要先将获取的车载系统各时刻输出的对车辆周围的目标进行检测得到的目标位置所对应的车辆坐标系下的坐标值转换为检测坐标系下的坐标值，以转换后的检测坐标系下的坐标值作为各时刻的目标检测值。对车载系统输出的对车辆周围的目标进行检测得到的目标位置所对应的车辆坐标系下的坐标值进行的转换操作与前述对任一激光雷达的各时刻的各帧检测数据中包含的在雷达坐标系下的点云坐标值进行的转换操作类似，此处不再赘述。
上文步骤S110中，以时刻相差在预设时长范围内的目标参考值和目标检测值组合成一个可用样本，换言之，将时刻相差在预设时长范围内的目标参考值和目标检测值看作为同一时刻下的检测结果，将它们组合成可用于后续的关联操作的可用样本。由于激光雷达与车载系统之间并未进行时间同步，因此两者输出的检测结果之间难免存在时刻差。通过确定时刻相差在预设时长范围内的目标参考值和目标检测值，将它们组合成一个可用样本，可以消除激光雷达与车载系统之间时间不同步带来的影响。预设时长范围可根据实际测试条件进行设置，一般性地可设置为0-20ms，优选地，可设置为0-10ms。
举例来说，对于目标参考值(LPxij，LPyij)和目标检测值(APxlk，APylk)，若i时刻与l时刻之间的差值在预设时长范围内，则将目标参考值(LPxij，LPyij)和目标检测值(APxlk，APylk)视为同一时刻t下的检测结果，将它们组合成一个可用样本，并将该可用样本中的目标参考值和目标检测值分别记为(LPxtm，LPytm)和(APxtn，APytn)，其中(LPxtm，LPytm)表示t时刻激光雷达检测到的第m个目标的坐标值，(APxtn，APytn)表示t时刻车载系统检测到的第n个目标的坐标值。这里，t时刻可以与i时刻或l时刻相等，也可以是i时刻与l时刻的均值，或者还可以是i时刻与l时刻之间的任一时刻。
在一个实施例中，在确定出时刻相差在预设时长范围内的目标参考值和目标检测值后，还可以显示时刻相差在预设时长范围内的各目标参考值和各目标检测值，以可视化地展示给用户。
上文步骤S112中，根据最大允许位置误差分别对各可用样本中的各目标参考值和各目标检测值进行关联。
具体地，对每个可用样本中的各目标参考值与各目标检测值，先计算各目标参考值对应的目标位置与各目标检测值对应的目标位置之间的距离，再判断计算出的目标参考值与目标检测值之间的距离是否小于最大允许位置误差。若是，则确定目标参考值与目标检测值关联成功，该目标参考值与该目标检测值对应同一目标。若否，则确定目标参考值与目标检测值关联失败，该目标参考值与该目标检测值并非对应同一目标。
在实际应用中，还可以对关联成功的目标参考值与目标检测值进行记录，对关联失败的目标参考值与目标检测值也进行记录，以用于后续对车载系统的目标检测性能的评价。
在一个实施例中，在根据最大允许位置误差分别对各可用样本中的各目标参考值和各目标检测值进行关联之后，还可以显示关联成功的各目标参考值和各目标检测值，以可视化地展示给用户。具体地，可视化地显示关联成功的目标参考值对应的目标位置和目标检测值对应的目标位置，以及两者之间的距离。
上文步骤S114中，根据对车载系统的目标检测性能的不同要求，目标检测性能的评价指标可包括目标检测准确率、目标检测位置平均误差、目标检测位置标准偏差、目标漏检率、目标虚警率等中的至少之一。目标检测准确率表示车载系统对目标的正确检测的能力。目标检测位置平均误差表示车载系统所检测到的目标位置的偏差。目标检测位置标准偏差表示车载系统所检测到的目标位置的偏差的波动和稳定性。目标漏检率表示车载系统对目标的漏检概率。目标虚警率表示车载系统对目标的误检概率。通过上述评价指标，能够全面准确地评价车载系统的目标检测性能，以更好地为车载系统的开发测试提供参考依据。
下面对步骤S114中根据关联结果计算得到车载系统的上述目标检测性能的评价指标的方法分别进行介绍。
(1)目标检测准确率
在计算目标检测准确率时，统计多个可用样本中的目标参考值的总数量N，并记录关联成功的目标参考值的数量n3。具体地，数量n3为与一个目标检测值关联成功的目标参考值的数量n1和与两个或两个以上的目标检测值关联成功的目标参考值的数量n2的总和，即n3＝n1+n2。计算n3与N的比率n3/N，作为目标检测准确率。
(2)目标检测位置平均误差
在计算目标检测位置平均误差时，记录与一个目标检测值关联成功的目标参考值的数量n1，以及n1个目标参考值中的每个目标参考值对应的目标位置和与该目标参考值关联成功的目标检测值对应的目标位置之间的距离d1、d2、…、dn1，根据下式(1)计算平均距离md，作为目标检测位置平均误差。
md＝(d1+d2+…+dn1)/n1 (1)
(3)目标检测位置标准偏差
在计算目标检测位置标准偏差时，记录与一个目标检测值关联成功的目标参考值的数量n1，以及n1个目标参考值中的每个目标参考值对应的目标位置和与该目标参考值关联成功的目标检测值对应的目标位置之间的距离d1、d2、…、dn1，根据下式(2)计算距离标准差sd，作为目标检测位置标准偏差。
Figure BDA0002500643970000111
在式(2)中μ＝(d1+d2+…+dn1)/n1。
(4)目标漏检率
在计算目标漏检率时，统计多个可用样本中的目标参考值的总数量N，记录与目标检测值关联失败的目标参考值的数量n0，计算n0与N的比率n0/N，作为目标漏检率。
(5)目标虚警率
在计算目标虚警率时，统计多个可用样本中的目标参考值的总数量N，记录与目标参考值关联失败的目标检测值的数量p0，计算p0与N的比率p0/N，作为目标虚警率。
下面以一个例子对上述评价指标进行具体说明。例如，在得到t1、t2、…、tn(n≥1)时刻下的多个可用样本后，并每个可用样本中的目标参考值与目标检测值进行关联。假设多个可用样本中共有N个目标参考值，其中，共有n0个目标参考值关联到0个目标检测值(即，n0个目标参考值与目标检测值关联失败)；n1个目标参考值与目标检测值一对一关联成功(即，n1个目标参考值中，每一个目标参考值只与一个目标检测值关联成功)，且n1个目标参考值中，每一个目标参考值对应的目标位置和与其关联的目标检测值对应的目标位置之间的距离为d1、d2、…、dn1；n2个目标参考值与2个或2个以上的目标检测值关联成功(即，n2个目标参考值中，每一个目标参考值都与2个或2个以上的目标检测值关联成功)；p0个目标检测值关联到0个目标参考值(即，p0个目标检测值与目标参考值关联失败)。
如此，则目标检测准确率等于：(n1+n2)/N；
目标检测位置平均误差md等于：(d1+d2+…+dn1)/n1；
目标检测位置标准偏差sd等于：
Figure BDA0002500643970000112
其中，μ＝(d1+d2+…+dn1)/n1；
目标漏检率等于：n0/N；
目标虚警率等于：p0/N。
在一个实施例中，在得到车载系统的目标检测性能的评价指标后，还可以显示所得到的车载系统的目标检测性能的评价指标，以可视化地展示给用户。
前文提到，激光雷达的数量可以为一个或多个，特别是在对具有环视检测功能的车载系统(如基于环视摄像头或基于多个传感器融合的目标检测车载系统)进行评价时，为了完全覆盖车辆周围360度范围的检测区域，通常需要设置多个激光雷达。
当激光雷达的数量为多个时，每一激光雷达的各时刻的各帧检测数据各自包含在以该激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值。在这种情况下，为了提高测试精度并简化数据处理，在一个实施例中，在执行步骤S104得到各激光雷达的转换后的各时刻的各帧检测数据之后，步骤S106还可以进一步实施为：首先，根据转换后的各时刻的各帧检测数据中包含的检测坐标系下的点云坐标值，分别将相同时刻下的转换后的各激光雷达的对应的各帧检测数据合并成一帧检测数据。然后，对合并后各时刻的各帧检测数据进行目标识别处理，得到各时刻的目标位置，将各时刻的目标位置对应的检测坐标系下的坐标值作为各时刻的目标参考值。
本实施例中，通过采用多个激光雷达并对多个激光雷达的转换后的各帧检测数据进行合并，能够提供车辆周围更全范围内且更高精度的目标参考值，进一步提高对车载系统的目标检测性能评价的测试精度。
另外，在激光雷达的数量为多个的情况下，可以在该多个激光雷达之间实行时间同步，以提高对其转换后的各帧检测数据进行合并的精度。
在一个实施例中，在执行步骤S112之前，还可以先统计多个可用样本中的目标参考值与目标检测值的总数量，并判断所统计的总数量是否大于预设阈值。若所统计的总数量大于预设阈值，则执行步骤S112。在另一个实施例中，在执行步骤S112之前，也可以先统计可用样本的数量，并判断可用样本的数量是否大于预设阈值。若可用样本的数量大于预设阈值，则执行步骤S112。预设阈值可以根据实际测试需求和统计的对象(具体为前述的多个可用样本中的目标参考值与目标检测值，或可用样本)设置，以满足采样量需求为宜，本发明对此不作限制。通过这种方式，可以保障可用于进行关联操作的数据采样量满足需求，从而保证评价结果可真实地反映车载系统的目标检测性能。
在实际应用中，一般只关注出现在车辆周围的一定平面范围内的目标，而在该范围之外的目标基本不会对车辆造成影响。在一个实施例中，在步骤S102中，可根据测试所需的车辆周围的平面范围对激光雷达各时刻输出的其视场范围内的各帧检测数据进行截取，得到激光雷达各时刻输出的对其所在车辆周围的指定平面范围内的目标进行检测的各帧检测数据，作为激光雷达各时刻输出的对其所在车辆周围的目标进行检测的各帧检测数据。例如，如果需要检测被测车辆周围10m范围内的目标，则可以从激光雷达各时刻输出的各帧检测数据中，截取所包含的点云坐标值中的x轴坐标值和y轴坐标值满足到被测车辆的外轮廓的距离小于10m的检测数据，作为激光雷达各时刻输出的对其所在车辆周围的目标进行检测的各帧检测数据。
进一步地，由于对于车辆周围目标进行检测时，通常只需要关注在地面以及车顶之间的目标，因此，还可以根据激光雷达的安装高度(更确切地说，激光雷达中心的高度)进一步从已得到的激光雷达各时刻输出的对其所在车辆周围的指定平面范围内的目标进行检测的各帧检测数据中截取地面至车顶之间的检测数据，作为激光雷达各时刻输出的对其所在车辆周围的目标进行检测的各帧检测数据。例如，假设需要检测被测车辆周围10m范围内的目标，激光雷达的安装高度为z0，则可以在已经截取得到的所包含的点云坐标值中的x轴坐标值和y轴坐标值满足到被测车辆的外轮廓的距离小于10m的检测数据中，进一步截取z轴坐标值大于地面以上指定高度并小于车辆高度的检测数据，即z轴坐标值满足：-(z0-h1)<z<(h-z0)，其中，z表示z轴坐标值，h1表示指定高度，h表示车辆高度。指定高度可设置在5-20cm范围内，优选10cm。通过进一步截取得到激光雷达各时刻输出的对车辆周围指定平面范围内的地面至车顶之间的目标进行检测的各帧检测数据，剔除了对车辆不会造成影响或无显著影响的无用数据，能够提高后续数据处理的效率，并提高目标检测的精度。
在另一个实施例中，也可以在执行步骤S104得到激光雷达的转换后的各时刻的各帧检测数据之后，再根据测试所需的车辆周围的指定平面范围以及激光雷达的安装高度，对激光雷达的转换后的各时刻的各帧检测数据进行前述的截取操作，得到激光雷达输出的对车辆周围指定平面范围内的地面至车顶之间的目标进行检测的转换后的各时刻的各帧检测数据。之后执行步骤S106对截取得到的转换后的各时刻的各帧检测数据进行目标识别处理。本实施例中的数据截取方式与前文所述类似，不另赘述。
在另一个实施例中，在激光雷达的数量为多个的情况下，也可以在执行根据转换后的各时刻的各帧检测数据中包含的检测坐标系下的点云坐标值，分别将相同时刻下的转换后的各激光雷达的对应的各帧检测数据合并成一帧检测数据之后，根据测试所需的车辆周围的指定平面范围以及激光雷达的安装高度，对合并得到的各帧检测数据进行前述的截取操作，得到激光雷达输出的对车辆周围指定平面范围内的地面至车顶之间的目标进行检测的合并后各时刻的各帧检测数据。之后，再对截取得到的合并后各时刻的各帧检测数据进行目标识别处理。
以上介绍了图1所示实施例的各个环节的多种实现方式，下面将通过具体实施例来详细介绍本发明的车载系统的目标检测性能的评价方法的实现过程。
图3示出了根据本发明一具体实施例的车载系统的目标检测性能的评价方法的流程示意图。在本实施例中，被测的车载系统为自动泊车系统，其具有基于环视摄像头或多传感器融合的环视检测功能，被检测的目标为行人。自动泊车系统进行目标检测时采用的坐标系(即车辆坐标系)如图2所示，为平面二维的右手坐标系，以车辆后轴中心为坐标系原点，车辆中轴向车头方向为x轴正方向。本实施例中设定车辆坐标系作为检测坐标系。
参见图3所示，该方法可以包括以下步骤S302至步骤S320。
步骤S302，在指定位置设置多个激光雷达。
本实施例中，设置3个16线激光雷达，分别称为第一激光雷达、第二激光雷达和第三激光雷达。如图2所示，2个16线激光雷达分别设置在自动泊车系统所在车辆的车尾的两边，每一个16线激光雷达的有效视场角为270度。1个16线激光雷达设置在该车辆车头的中央，有效视场角为180度。如此，3个激光雷达组合后可以覆盖车辆周围360度范围的区域。
另外，在设置激光雷达时，保证激光雷达安装位置水平且不会影响自动泊车系统的摄像头或传感器正常工作。每个激光雷达的雷达坐标系为以该激光雷达的中心为原点的三维坐标系，雷达坐标系的x轴和y轴方向分别与车辆坐标系的x轴和y轴方向平行，从而简化后续对激光雷达的检测数据进行坐标转换的操作。
步骤S304，获取多个激光雷达的各时刻的原始检测数据。
本实施例中，在保证3个激光雷达为时间同步模式的情况下开始进行测试，如此，保证3个激光雷达检测到的每一帧数据都是同时开始且同时返回。各激光雷达的原始检测数据为点云数据，包含各激光雷达的雷达坐标系下的三维点云坐标值(即，x轴坐标值、y轴坐标值和z轴坐标值)。
步骤S306，对多个激光雷达的各时刻的原始检测数据进行坐标转换和合并。
本步骤中，首先获取3个激光雷达在车辆坐标系的xy平面中的位置(即，3个激光雷达的中心在车辆坐标系的xy平面中的坐标值)。本实施例中，第一激光雷达、第二激光雷达和第三激光雷达在车辆坐标系的xy平面中的位置分别为：(x1c，y1c)、(x2c，y2c)和(x3c，y3c)。
然后，将3个激光雷达的原始检测数据转换为检测坐标系(本实例中检测坐标系即为车辆坐标系)下的检测数据。具体地，将第一激光雷达的各时刻的各帧原始检测数据包含的x轴坐标值加上x1c，y轴坐标值加上y1c，得到第一激光雷达在车辆坐标系下的各时刻的各帧检测数据。将第二激光雷达的各时刻的各帧原始检测数据包含的x轴坐标值加上x2c，y轴坐标值加上y2c，得到第二激光雷达在车辆坐标系下的各时刻的各帧检测数据。将第三激光雷达的各时刻的各帧原始检测数据包含的x轴坐标值加上x3c，y轴坐标值加上y3c，得到第三激光雷达在车辆坐标系下的各时刻的各帧检测数据。
最后，对3个激光雷达的在车辆坐标系下的各时刻的各帧检测数据进行合并，得到各并后的各时刻的各帧检测数据。具体地，根据转换后得到的各激光雷达的各时刻的各帧检测数据中包含的车辆坐标系下的点云坐标值，将第一激光雷达、第二激光雷达和第三激光雷达的在车辆坐标系下的相同时刻下的各帧检测数据合并成一帧检测数据，得到多个激光雷达的合并后各时刻的各帧检测数据。
步骤S308，从多个激光雷达的合并后各时刻的各帧检测数据中截取车载系统所在车辆周围的指定空间范围内的数据，得到截取的合并后各时刻的各帧检测数据。
本步骤中，根据待评价的自动泊车系统的行人检测功能要求的检测范围，从3个激光雷达的合并后各时刻的各帧检测数据中截取对应范围内的数据。例如，本实施例中要求检测被测自动泊车系统所在车辆周围10m范围内的行人，则截取3个激光雷达的合并后各时刻的各帧检测数据中满足以下条件的数据：-(L1+10)<x<(L2+10)且-(W/2+10)<y<(W/2+10)，其中，x、y分别表示各帧检测数据中包含的x轴坐标值和y轴坐标值；L1表示车辆后轴中心到车辆最后端的距离，单位为m；L2表示车辆后轴中心到车辆最前端的距离，单位为m；L1+L2等于车辆的车长；W表示车辆的车宽，单位为m。
进一步地，根据激光雷达的安装高度分割激光雷达检测到的贴近地面以及车顶以上的数据，以剔除对车辆不会造成影响或无显著影响的无用数据。具体地，例如，假设第一激光雷达的安装高度为z1c(单位为m)，则可以从上述已截取到的与待评价的自动泊车系统的行人检测功能要求的检测范围对应范围内的各帧检测数据中，再截取属于第一激光雷达的各帧检测数据中z轴坐标值大于地面以上指定高度(本实施例中设为10cm)并小于车辆高度的数据，即z轴坐标值满足：-(z1c-0.1)<z<(h-z1c)的数据，其中，z表示z轴坐标值，h表示车辆高度，单位为m。以同样的方式分别对已截取到的与待评价的自动泊车系统的行人检测功能要求的检测范围对应范围内的数据中属于第二激光雷达和第三激光雷达的各帧检测数据进行截取，最终得到多个激光雷达对车辆周围指定空间范围内的目标进行检测的合并后各时刻的各帧检测数据，用于进行后续目标识别处理。
步骤S310，对截取的合并后各时刻的各帧检测数据进行目标识别处理得到目标位置，将各时刻的目标位置对应的车辆坐标系下的坐标值作为各时刻的目标参考值。
具体地，根据截取的合并后各时刻的各帧检测数据包含的x轴坐标值和y轴坐标值，通过聚类算法对截取的合并后各时刻的各帧检测数据进行目标识别处理，得到各帧检测数据中的行人的方位(即行人位置)作为目标检测结果。行人位置以车辆坐标系下的坐标值(LPxij，LPyij)表示，其中，LPxij表示由激光雷达在i时刻检测到的第j个行人的x轴坐标，LPyij表示由激光雷达在i时刻检测到的第j个行人的y轴坐标。以行人位置对应的坐标值(LPxij，LPyij)作为目标参考值。
另外，还可以可视化显示通过目标识别处理得到的目标检测结果。
步骤S312，获取车载系统各时刻输出的对车辆周围的目标进行检测得到的目标位置，将检测得到的目标位置对应的车辆坐标系下的坐标值作为各时刻的目标检测值。
具体地，接收自动泊车系统对车辆周围10m范围内的行人的检测结果作为目标检测值。行人的检测结果以车辆坐标系下的坐标值(APxlk，APylk)表示，其中，APxlk表示由自动泊车系统在l时刻检测到的第k个行人的x轴坐标，APylk表示由自动泊车系统在l时刻检测到的第k个行人的y轴坐标。由于本实施例中采用了车辆坐标系(即自动泊车系统进行目标检测时采用的坐标系)作为检测坐标系，因此，自动泊车系统输出的行人的检测结果无需进行坐标转换。
步骤S314，以时刻相差在预设时长范围内的目标参考值和目标检测值组合成一个可用样本，得到不同时刻下的多个可用样本。
由于激光雷达与自动泊车系统之间没有时间同步功能，因此需要选择时刻相差在预设时长范围内的目标参考值与目标检测值，将它们看作为同一时刻下的检测结果用于进行评价，以消除激光雷达与自动泊车系统之间时间不同步带来的影响。本实施例中，预设时长范围设为0-10ms。也就是说，对于目标参考值(LPxij，LPyij)和目标检测值(APxlk，APylk)，若i时刻与l时刻之间的差值小于或等于10ms，则确定目标参考值(LPxij，LPyij)和目标检测值(APxlk，APylk)时刻相差在预设时长范围内，可将它们视为同一时刻下的检测结果。如此，可以得到t时刻下的可用样本，该可用样本包括：t时刻激光雷达检测到的第m个行人的坐标值：(LPxtm，LPytm)，其为目标参考值(也可以称为检测真值，表示在当前检测条件下测量出的相对真实数据)，以及t时刻自动泊车系统检测到的第n个行人的坐标值：(APxtn，APytn)，其为目标检测值。这里，t时刻可以与i时刻或l时刻相等，也可以是i时刻与l时刻的均值，或者还可以是i时刻与l时刻之间的任一时刻。
另外，还可以可视化显示所确定的时刻相差在预设时长范围内的目标参考值与目标检测值。
步骤S316，统计多个可用样本中的目标参考值与目标检测值的总数量，并判断所统计的总数量是否大于预设阈值。若是，则执行步骤S318。若否，则返回至步骤S304。
本步骤可以前文介绍的方式执行，此处不再重复。
步骤S318，根据最大允许位置误差分别对各可用样本中的各目标参考值和各目标检测值进行关联。
本实施例中，假设最大允许位置误差为d。本步骤中，对于每一个可用样本，先计算该可用样本中的每一个目标参考值对应的目标位置与每一个目标检测值对应的目标位置之间的距离，再判断计算出的距离是否小于d。若是，则确定该目标参考值与该目标检测值关联成功，否则，确定该目标参考值与该目标检测值关联失败，从而得到表示目标参考值与目标检测值是否对应同一目标的关联结果。对关联成功的目标参考值与目标检测值以及两者对应的目标位置之间的距离进行记录，对关联失败的目标参考值与目标检测值也进行记录，同时还记录每一个目标参考值关联到的目标检测值的数量。
另外，还可以可视化显示关联成功的目标参考值和目标检测值，以及两者对应的目标位置之间的距离。
步骤S320，根据目标参考值与目标检测值的关联结果得到车载系统的目标检测性能的评价指标。
本实施例中，评价指标包括目标检测准确率、目标检测位置平均误差、目标检测位置标准偏差、目标漏检率和目标虚警率。上述五个评价指标的计算方法如前文所述，此处不再重复。
另外，还可以可视化显示所得到的车载系统的目标检测性能的评价指标。
本发明实施例提供的车载系统的目标检测性能的评价方法能够提供高精度的行人检测结果作为目标参考值，实现对自动泊车系统的行人检测性能的实时高效的自动化评价，测试精度高，自动化程度高，测试效率高。
基于同一发明构思，本发明实施例还提供了一种电子设备。该电子设备包括：
处理器；以及
存储有计算机程序代码的存储器；
当该计算机程序代码被处理器运行时，导致该电子设备执行上述任意一个实施例或其组合所述的车载系统的目标检测性能的评价方法。
根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：
本发明提供的车载系统的目标检测性能的评价方法，通过以激光雷达对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标参考值，并以车载系统对车辆周围的目标进行检测得到的各时刻的目标位置所对应的检测坐标系下的坐标值作为目标检测值，基于时刻相差在预设时长范围内的目标参考值与目标检测值的关联结果得到车载系统的目标检测性能的评价指标，实现了对车载系统的目标检测性能的自动化测试和评价。本发明的方案具有自动化程度高、测试效率高的优点，可应用于车载系统的开发测试中用以评价或验收所开发的车载系统的目标检测功能。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (10)

1.一种车载系统的目标检测性能的评价方法，其特征在于，包括：
获取激光雷达各时刻输出的对其所在车辆周围的目标进行检测的各帧检测数据，其中，所述激光雷达设置在车辆的指定位置上，且所述激光雷达的各帧检测数据包含在以所述激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值；
根据所述指定位置与设定检测坐标系的原点的相对位置，将所述激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值转换为所述检测坐标系下的点云坐标值，得到转换后的各时刻的各帧检测数据；
对所述转换后的各时刻的各帧检测数据进行目标识别处理得到各时刻的目标位置，将各时刻的所述目标位置对应的所述检测坐标系下的坐标值作为各时刻的目标参考值；
获取所述车载系统各时刻输出的对所述车辆周围的目标进行检测得到的目标位置，将所述检测得到的目标位置对应的所述检测坐标系下的坐标值作为各时刻的目标检测值；
以时刻相差在预设时长范围内的目标参考值和目标检测值组合成一个可用样本，得到不同时刻下的多个可用样本；
根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联，得到表示所述目标参考值与所述目标检测值是否对应同一目标的关联结果；
根据所述关联结果得到所述车载系统的目标检测性能的评价指标。
2.根据权利要求1所述的评价方法，其特征在于，
所述激光雷达的数量为多个，且每一激光雷达的各时刻的各帧检测数据各自包含在以该激光雷达所在指定位置为原点的雷达坐标系下的点云坐标值；
所述对所述转换后的各时刻的各帧检测数据进行目标识别处理，包括：
根据所述转换后的各时刻的各帧检测数据中包含的所述检测坐标系下的点云坐标值，分别将相同时刻下的转换后的各所述激光雷达的对应的各帧检测数据合并成一帧检测数据；
对合并后各时刻的各帧检测数据进行目标识别处理。
3.根据权利要求2所述的评价方法，其特征在于，
所述检测坐标系为平面坐标系，所述雷达坐标系为三维坐标系，所述雷达坐标系的x轴和y轴分别与所述检测坐标系的x轴和y轴平行，且两者具有相同的x轴方向和y轴方向；
所述根据所述指定位置与设定检测坐标系的原点的相对位置，将所述激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值转换为所述检测坐标系下的点云坐标值，得到转换后的各时刻的各帧检测数据，包括：
根据每一激光雷达所在指定位置与所述检测坐标系的原点的相对位置，得到每一激光雷达所在指定位置在所述检测坐标系中的x轴坐标值和y轴坐标值；
将每一激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值中的x轴坐标值加上该激光雷达所在指定位置在所述检测坐标系中的x轴坐标值，将每一激光雷达的各时刻的各帧检测数据中包含的在所述雷达坐标系下的点云坐标值中的y轴坐标值加上该激光雷达所在指定位置在所述检测坐标系中的y轴坐标值，得到转换后的每一激光雷达的各时刻的各帧检测数据。
4.根据权利要求1所述的评价方法，其特征在于，
所述根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联，包括：
对各所述可用样本中的各所述目标参考值与各所述目标检测值，计算所述目标参考值对应的目标位置与所述目标检测值对应的目标位置之间的距离；
判断所述距离是否小于所述最大允许位置误差；
若是，则确定所述目标参考值与所述目标检测值关联成功；
若否，则确定所述目标参考值与所述目标检测值关联失败。
5.根据权利要求4所述的评价方法，其特征在于，
所述目标检测性能的评价指标包括目标检测准确率；
所述根据所述关联结果得到所述车载系统的目标检测性能的评价指标，包括：
统计多个所述可用样本中的目标参考值的总数量N；
记录关联成功的目标参考值的数量n3；
计算n3与N的比率n3/N，作为目标检测准确率。
6.根据权利要求5所述的评价方法，其特征在于，所述目标检测性能的评价指标还包括下列至少之一：
目标检测位置平均误差、目标检测位置标准偏差、目标漏检率、目标虚警率；
所述根据所述关联结果得到所述车载系统的目标检测性能的评价指标，还包括下列至少之一：
记录与一个目标检测值关联成功的目标参考值的数量n1，以及n1个所述目标参考值中的每个目标参考值对应的目标位置和与该目标参考值关联成功的目标检测值对应的目标位置之间的距离d1、d2、…、dn1，根据式(1)计算平均距离md，作为目标检测位置平均误差：
md＝(d1+d2+…+dn1)/n1 (1)；
记录与一个目标检测值关联成功的目标参考值的数量n1，以及n1个所述目标参考值中的每个目标参考值对应的目标位置和与该目标参考值关联成功的目标检测值对应的目标位置之间的距离d1、d2、…、dn1，根据式(2)计算距离标准差sd，作为目标检测位置标准偏差：
Figure FDA0002500643960000031
其中，式(2)中μ＝(d1+d2+…+dn1)/n1；
记录与目标检测值关联失败的目标参考值的数量n0，计算n0与N的比率n0/N，作为目标漏检率；
记录与目标参考值关联失败的目标检测值的数量p0，计算p0与N的比率p0/N，作为目标虚警率。
7.根据权利要求1所述的评价方法，其特征在于，
在根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联之前，还包括：
统计多个所述可用样本中的所述目标参考值和所述目标检测值的总数量；
判断所述总数量是否大于预设阈值；
若是，则执行所述根据最大允许位置误差分别对各所述可用样本中的各所述目标参考值和各所述目标检测值进行关联的步骤。
8.根据权利要求1所述的评价方法，其特征在于，还包括：
显示下列至少之一：
转换后的各时刻的各帧检测数据进行目标识别处理后得到的各时刻的目标位置；
时刻相差在预设时长范围内的各所述目标参考值和各所述目标检测值；
关联成功的各所述目标参考值和各所述目标检测值；
所述车载系统的目标检测性能的评价指标。
9.根据权利要求1所述的评价方法，其特征在于，
所述车载系统包括自动泊车系统；和/或
所述目标包括移动物体。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储有计算机程序代码的存储器；
当所述计算机程序代码被所述处理器运行时，导致所述电子设备执行根据权利要求1-9中任一项所述的车载系统的目标检测性能的评价方法。
CN202010431130.6A 2020-05-20 2020-05-20 一种车载系统的目标检测性能的评价方法和电子设备 Pending CN111580116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010431130.6A CN111580116A (zh) 2020-05-20 2020-05-20 一种车载系统的目标检测性能的评价方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010431130.6A CN111580116A (zh) 2020-05-20 2020-05-20 一种车载系统的目标检测性能的评价方法和电子设备

Publications (1)

Publication Number Publication Date
CN111580116A true CN111580116A (zh) 2020-08-25

Family

ID=72125184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010431130.6A Pending CN111580116A (zh) 2020-05-20 2020-05-20 一种车载系统的目标检测性能的评价方法和电子设备

Country Status (1)

Country Link
CN (1) CN111580116A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147635A (zh) * 2020-09-25 2020-12-29 北京亮道智能汽车技术有限公司 一种检测系统、方法及装置
CN112558045A (zh) * 2020-12-07 2021-03-26 福建（泉州）哈工大工程技术研究院 自动驾驶设备多线激光雷达功能下线验收方法
CN112985464A (zh) * 2021-05-10 2021-06-18 湖北亿咖通科技有限公司 车辆里程计的精度检测方法、电子设备及存储介质
CN113301327A (zh) * 2021-05-19 2021-08-24 宝能(广州)汽车研究院有限公司 图像采集器的性能确定方法、装置、介质及电子设备
CN113516386A (zh) * 2021-07-07 2021-10-19 湖北亿咖通科技有限公司 车位检测性能评价方法、装置、电子设备和存储介质
CN115311761A (zh) * 2022-07-15 2022-11-08 襄阳达安汽车检测中心有限公司 非实时车载感知系统测评方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655344A (zh) * 2008-08-18 2010-02-24 北京航天计量测试技术研究所 一种电子经纬仪空间坐标测量系统的校准方法
US20170356993A1 (en) * 2016-06-09 2017-12-14 Daegu Gyeongbuk Institute Of Science And Technology Object detecting method and apparatus using light detection and ranging (lidar) sensor and radar sensor
CN108196260A (zh) * 2017-12-13 2018-06-22 北京汽车集团有限公司 无人驾驶车辆多传感器融合系统的测试方法和装置
CN108226883A (zh) * 2017-11-28 2018-06-29 深圳市易成自动驾驶技术有限公司 测试毫米波雷达性能的方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655344A (zh) * 2008-08-18 2010-02-24 北京航天计量测试技术研究所 一种电子经纬仪空间坐标测量系统的校准方法
US20170356993A1 (en) * 2016-06-09 2017-12-14 Daegu Gyeongbuk Institute Of Science And Technology Object detecting method and apparatus using light detection and ranging (lidar) sensor and radar sensor
CN108226883A (zh) * 2017-11-28 2018-06-29 深圳市易成自动驾驶技术有限公司 测试毫米波雷达性能的方法、装置及计算机可读存储介质
CN108196260A (zh) * 2017-12-13 2018-06-22 北京汽车集团有限公司 无人驾驶车辆多传感器融合系统的测试方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147635A (zh) * 2020-09-25 2020-12-29 北京亮道智能汽车技术有限公司 一种检测系统、方法及装置
CN112558045A (zh) * 2020-12-07 2021-03-26 福建（泉州）哈工大工程技术研究院 自动驾驶设备多线激光雷达功能下线验收方法
CN112558045B (zh) * 2020-12-07 2024-03-15 福建（泉州）哈工大工程技术研究院 自动驾驶设备多线激光雷达功能下线验收方法
CN112985464A (zh) * 2021-05-10 2021-06-18 湖北亿咖通科技有限公司 车辆里程计的精度检测方法、电子设备及存储介质
CN113301327A (zh) * 2021-05-19 2021-08-24 宝能(广州)汽车研究院有限公司 图像采集器的性能确定方法、装置、介质及电子设备
CN113516386A (zh) * 2021-07-07 2021-10-19 湖北亿咖通科技有限公司 车位检测性能评价方法、装置、电子设备和存储介质
CN113516386B (zh) * 2021-07-07 2022-03-15 湖北亿咖通科技有限公司 车位检测性能评价方法、装置、电子设备和存储介质
CN115311761A (zh) * 2022-07-15 2022-11-08 襄阳达安汽车检测中心有限公司 非实时车载感知系统测评方法及相关设备
CN115311761B (zh) * 2022-07-15 2023-11-03 襄阳达安汽车检测中心有限公司 非实时车载感知系统测评方法及相关设备

Similar Documents

Publication Publication Date Title
CN111580116A (zh) 一种车载系统的目标检测性能的评价方法和电子设备
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN109284348B (zh) 一种电子地图的更新方法、装置、设备和存储介质
CN108629231B (zh) 障碍物检测方法、装置、设备及存储介质
CN112014845B (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
US9794519B2 (en) Positioning apparatus and positioning method regarding a position of mobile object
CN110796007B (zh) 场景识别的方法与计算设备
CN111191697B (zh) 基于传感器融合的adas道路测试验证优化方法和装置
CN111398989A (zh) 驾驶辅助系统的性能分析方法和测试设备
CN112693466A (zh) 一种车辆环境感知传感器性能测评系统及方法
CN1940591A (zh) 使用传感器融合进行目标跟踪的系统和方法
CN107103275B (zh) 使用雷达和视觉基于车轮进行的车辆检测和追踪
CN111427028B (zh) 参数监测方法、装置、设备和存储介质
CN111830491B (zh) 一种导航系统中反光体的监测方法、装置及电子设备
CN114118253B (zh) 一种基于多源数据融合的车辆检测方法及检测装置
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN112801024A (zh) 一种检测信息处理方法和装置
CN113253278A (zh) 车位的识别方法、装置及计算机存储介质
CN110133624B (zh) 无人驾驶异常检测方法、装置、设备和介质
CN112710343B (zh) 一种基于rt的车载传感器性能测试方法
CN111091148B (zh) 一种基于目标先验信息的车载雷达目标跟踪方法及装置
CN112904312A (zh) 一种激光雷达抗干扰的方法与装置
CN112815979B (zh) 一种传感器的标定方法及装置
US11592571B2 (en) Free space detection apparatus and free space detection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication