CN114764876A

CN114764876A - 用于感知融合算法的评价方法以及评价装置

Info

Publication number: CN114764876A
Application number: CN202210467693.XA
Authority: CN
Inventors: 李兵; 尹荣彬; 陈博; 王栋梁; 王秋; 衣春雷; 徐明海; 王钧杨
Original assignee: FAW Group Corp
Current assignee: FAW Group Corp
Priority date: 2022-04-29
Filing date: 2022-04-29
Publication date: 2022-07-19

Abstract

本公开实施例提供一种用于感知融合算法的评价方法、装置、存储介质以及电子设备，所述评价方法包括：对设置在车辆上的真值传感模块以及被测传感模块进行同步；获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。本公开实施例能够针对被测的感知融合系统的感知结果给出评价，从而应用于车载被测感知系统开发测试中用以评价或验收所开发的车载被测感知系统的感知以及融合算法的性能。

Description

用于感知融合算法的评价方法以及评价装置

技术领域

本公开实施例涉及自动驾驶信息感知的技术领域，特别涉及一种用于感知融合算法的评价方法、装置、存储介质以及电子设备。

背景技术

随着智能汽车的快速发展，车载传感系统的感知以及融合功能的开发正变得越来越重要。一套检测精度高、时间严格对齐的车载感知以及融合算法开发配套的自动化评测方案就尤其重要，然而现有的技术中并没有能够针对车载传感系统以及真值系统之间进行严格时空同步，导致在车载感知以及融合算法开发阶段无法高效、精准的对车载被测传感模块进行评测。

发明内容

针对上述现有技术的不足，本公开实施例提供了一种用于感知融合算法的评价方法、装置、存储介质以及电子设备。

为了解决上述技术问题，本公开的实施例采用了如下技术方案：

一种用于感知融合算法的评价方法，其包括：对设置在车辆上的真值传感模块以及被测传感模块进行同步；获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

在一些实施例中，所述真值传感模块至少包括机械式激光雷达、毫米波雷达以及摄像装置；所述被测传感模块至少包括固态激光雷达、毫米波雷达以及摄像装置。

在一些实施例中，对设置在车辆上的真值传感模块以及被测传感模块进行空间同步，包括：获取所述被测传感模块中的传感器的位置参数；基于所述位置参数和所述真值传感模块判断位置同步是否成功。

在一些实施例中，对设置在车辆上的真值传感模块以及被测传感模块进行时间同步，包括：通过时钟源接收信号基准时间标准；通过PTP网络时间同步协议实现与机械式激光雷达或者固态激光雷达之间的时间信息同步；通过外触发模式控制摄像装置进行同步曝光；通过CANTSyn实现与毫米波雷达之间的时间信息同步。

在一些实施例中，所述获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据，包括：分别获取来自所述真值传感模块的第一采集原始数据和来自所述被测传感模块的第二采集原始数据；将所述第一采集原始数据通过真值处理算法获得第一采集结果数据；将所述第二采集原始数据通过所述感知融合算法获取第二采集结果数据。

在一些实施例中，所述第一采集结果数据或所述第二采集结果数据包括目标类型、目标ID、颜色、朝向、车道线或路缘的三次方程系数、二维边界框、三维边界框、语义标注、光源状态、交通信号灯指示类型、交通信号灯持续时间、距离、速度、加速度中的任意一种或者多种的组合。

在一些实施例中，所述评价结果通过测试指标表示，所述测试指标包括准确率、精确率、召回率、多目标跟踪准确度、多目标跟踪精确度、平均精确率、平均交并比值、距离精度、速度精度、加速度精度、平均精确率、平均召回率、平均的平均精确率以及平均的平均召回率中的至少一种。

本公开还提供一种用于感知融合算法的评价装置，其包括：同步模块，用于对设置在车辆上的真值传感模块以及被测传感模块进行同步；第一获取模块，用于获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；第二获取模块，用于基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

本公开还提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

本公开还提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述方法的步骤。

本公开实施例的有益效果在于：本公开实施例通过对被测传感模块以及真值传感模块进行时间同步以及空间同步，从而得到基于同一个时空标准的真值传感模块的采集数据以及被测传感模块的采集数据，进一步通过对真值传感模块运行真值算法处理得到真值感知结果，通过对被测传感模块运行待测感知或者融合算法处理得到被测感知结果，对比被测感知结果数据和真值感知结果数据，输出对被测感知系统结果的评测结果，从而针对被测的感知融合系统的感知结果给出评价，从而应用于车载被测感知系统开发测试中用以评价或验收所开发的车载被测感知系统的感知以及融合算法的性能。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例的车载感知融合的评价系统的结构示意图；

图2为本公开实施例的用于感知融合算法的评价方法的步骤示意图；

图3为本公开实施例的用于感知融合算法的评价方法的步骤示意图。

具体实施方式

此处参考附图描述本公开的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

本公开的第一实施例用于在自动驾驶场景下基于通过传感器获取的目标真实数据和通过感知融合算法获取的目标测算数据之间的比较，从而实现对被测感知系统的准确性进行评价，这里的被测感知系统的核心是感知融合算法。这里的目标可以是指车辆在自动驾驶过程中需要在道路上感知测试的人、物体等对象。

具体地，在车辆的自动驾驶场景下，这里的用于感知测试的目标包括目标类型、目标ID、颜色、朝向、车道线或路缘三次方程系数、二维边界框、三维边界框、语义标注、光源状态、交通信号灯指示类型、交通信号灯持续时间、距离、速度、加速度等不同的数据。当然，用于感知测试的目标的数据也不限于上面的举例。下面针对上述提到的数据，具体举例如下，

其中，这里的用于感知测试的目标类型例如包括如下类型：

(a)车辆：这里的车辆类型包括乘用车、货车、客车、半挂牵引车、有轨列车、工程车辆、警车、救护车、消防车、校车、洒水车、三轮车、自行车、电动自行车、摩托车等；

(b)行人：这里的行人应涵盖各种姿态包括站立、行走、骑行、坐、躺、抱、背、被抱、被背、推、蹲、弯腰状态的行人以及假人(指海报人物、雕塑、模型人等非真实的人)等；

(c)交通标线：这里的交通标线类型应包括国标GB 5768.3-2009中指示标线、禁止标线、警告标线规定的全部类型等；

(d)交通信号灯：这里的交通信号灯类型应包括机动车信号灯、非机动车信号灯、左转非机动车信号灯、人行横道信号灯、车道信号灯、方向指示信号灯、闪光警告信号灯、道口信号灯、掉头信号灯等；

(e)临时覆盖物：这里的临时覆盖物例如包括锥桶、水马、施工护栏等；

(f)交通标志：这里的交通标志类型至少包括国标GB 5768.2-2009中的警告标志、禁令标志、指示标志规定的全部类型等；

(g)道路边沿；

(h)可行驶区域：这里的可行驶区域石寨测试感知对视野内自车可以通行的道路区域的识别区域。

进一步地，这里的所述目标ID是指代表对行人、车辆等交通参与者进行标记与跟踪的标志。

进一步地，这里的所述颜色包括道路的交通信号灯、交通标线等目标的颜色，其中，交通信号灯的颜色包括红、绿、黄，交通标志线的颜色一般为白色和黄色。

进一步地，这里的所述朝向是指的是目标的行进方向或指示方向，这里的目标包括车辆、行人、动物、交通信号灯、交通标志等，其中，具体到不同的目标：

a)车辆：所述朝向以相对于车辆坐标系(定义)的X轴的角度给出；

b)行人、动物：所述朝向以北、东北、东、东南、南、西南、西、西北共8个方向给出；

c)交通信号灯、交通标志的所述朝向是以水平或垂直方向给出。

进一步地，这里的所述车道线或路缘三次方程系数指用三次方程的形式来描述车道线或路缘，三次方程具体描述如下：

a)C0：近端点到车辆坐标系原点的横向距离；

b)C1：斜率，表示线是向左偏或向右偏；

c)C2：曲率，圆的半径来体现大弯或小弯；

d)C3：曲率变化率，大弯突然变小弯时就会有较明显的变化。

进一步地，这里的所述二维边界框用于通过二维矩形框将目标物边界在图像中的位置框出。

进一步地，这里的所述三维边界框：通过三维矩形框将目标物边界在图像中的位置框出。

进一步地，这里的所述语义标注是将目标物在图像中的轮廓边界(可行驶区域、交通标线等)、中心线(如车道线、道路边界等)通过的多点坐标的方式描述，多点坐标构成语义标注点集。

进一步地，这里的所述光源状态是对于人造光源的开启和关闭状态的识别情况。

进一步地，这里的所述交通信号灯指示类型是指交通信号灯指示类型的识别情况，分为无类型、左向、直行、右向、掉头、禁行、其他7类。

进一步地，这里的所述交通信号灯持续时间是指交通信号灯显示的倒计时秒数。

进一步地，这里的所述距离是目标到车辆坐标系原点的横向和纵向距离。

进一步地，这里的所述速度是目标的绝对速度，包括视野内车辆、行人、骑行人、动物的矢量速度等。

进一步地，这里的所述加速度是目标的绝对加速度，包括视野内车辆、行人、骑行人、动物的矢量加速度等。

如图1所示，图1示出一种车载系统中用于感知融合算法的评价系统的结构，这里的所述评价系统包括真值传感模块10、被测传感模块20、定位模块30、时间同步模块40以及数据收集模块50；上述模块相互作用以实现在自动驾驶场景下对感知融合算法以及被测感知系统提供数据。

这里的所述真值传感模块10至少包括高线数的机械式激光雷达、补盲雷达、前后的毫米波雷达、智能前视的摄像头、组合惯导、CAN卡、交换机等；其用于直接获取指定的目标的相关数据，例如点云数据、CAN目标数据、总线CAN数据等。

这里的所述被测传感模块20至少包括固态激光雷达、前视摄像头、后视摄像头、侧视摄像头以及毫米波雷达等；其用于提供作为感知融合算法输入的基本数据，例如视频数据、点云数据、CAN目标数据等。

这里的所述定位模块30用于获取所述车辆中不同传感器的定位信息，其至少包括GNSS(全球导航卫星装置)、PPS、高精度IMU、高精度RTK等。

这里的所述时间同步模块40至少包括FPGA视频板卡、网卡、CAN卡以及时钟源等，其用于将所述真值传感模块10和所述被测传感模块20的时间信息同步，其中，在时间同步过程中，通过所述时钟源接收所述GNSS以及所述PPS的信号基准时间标准，然后通过PTP网络时间同步协议实现和机械式的激光雷达或者固态激光雷达等传感器之间的时间信息同步，还可以通过外触发模式控制各类摄像头进行同步曝光，以及通过CANTSyn实现与所述毫米波雷达之间的时间信息同步。

这里的所述数据收集模块50用于收集整理经过打包等处理后的传感数据，这里的传感数据可以包括所述真值传感模块10采集的点云数据、CAN目标数据、总线CAN数据等，以及所述被测传感模块20采集的视频数据、点云数据、CAN目标数据等。

针对车辆的被测感知系统进行评价系统包括真值后处理模块、待测算法模块以及对比分析模块，其中，通过所述真值后处理模块实现对所述真值传感模块10采集收据的分析以获得结果数据；通过所述待测算法模块实现将所述被测传感模块20采集的收据通过感知融合算法进行计算以获取结果数据；通过对比分析模块实现将上述两个结果数据进行比较以实现对感知融合算法的准确性评价。

在本公开实施例中，在对感知融合算法进行准确性等评价之前，首先需要在数据采集的车辆上安装上述评价系统，具体地需要安装设置所述真值传感模块10、所述被测传感模块20、所述时间同步模块40等。

通过所述评价系统能够实现对于被测感知系统的准确性的客观评价，具体地，如图2所示，本公开实施例具体涉及一种用于车载系统的感知融合算法的评价方法，其包括以下步骤：

S101，对设置在车辆上的真值传感模块以及被测传感模块进行同步。

在本步骤中，对设置在车辆上的真值传感模块以及被测传感模块进行同步。具体地，由于在评价感知融合算法的过程中，为了保证通过感知融合算法输出的结果数据尽可能接近真实值以提升所述感知融合算法的准确性，这就需要所述被测传感模块20采集的数据尽可能接近真实情况，因此，保证所述被测传感模块20采集的数据与所述真值传感模块10采集的数据保持在相同的时间和空间维度上是必要的。为此，首先需要对设置在所述车辆上的所述真值传感模块10以及所述被测传感模块20进行同步，这里的同步包括空间层面的同步和时间层面的同步。

其中，对所述真值传感模块10以及所述被测传感模块20进行空间层面的同步就需要在同一个基准下完成标定以进行空间同步，图3示出了对所述真值传感模块10以及所述被测传感模块20在同一个基准下完成标定，从而进行空间同步以实现基准坐标系统的具体流程。其中，首先需要将所述车辆驶入多传感器系统标定场地的控制台上，通过所述控制台对所述车辆的停放位置进行调整，例如将所述车辆进行对中位置设置，然后通过所述控制台连接所述车辆的OBD接口以用于采集所述车辆的VIN码、传感器配置信息等。

如图3所示，具体的空间同步方法包括以下步骤：

S201，获取所述被测传感模块中的传感器的位置参数。

在本步骤中，获取所述被测传感模块中的传感器的位置参数。这里的传感器例如是固态激光雷达、前视摄像头、后视摄像头、侧视摄像头以及毫米波雷达等。在本步骤中，针对车辆上所述被测传感模块20中选定的多个传感器进行数据采集，同时针对采集到的数据根据事先建立的真值空间基准进行统一空间基准下的标定，获得所述被测传感模块中各传感器之间的位置关系参数以及所述被测传感模块中各传感器在车身坐标系下的外参矩阵。这里的真值空间基准例如可以通过所述定位模块30预先确定。

S202，基于所述位置参数和所述真值传感模块判断位置同步是否成功。

在本步骤中，基于所述位置参数和所述真值传感模块判断位置标定是否成功。具体地，在通过步骤S201获取所述被测传感模块20中的传感器的位置参数之后，可以通过所述位置参数与所述真值被测模块10中的传感器的直接位置信息进行比较以判断位置标定是否成功。其中，如果位置不一致则调整对应的所述被测传感模块20中的对应传感器的位置以再次进行比较。

在位置标定成功的情况下，拔出OBD接口并解除所述车辆的对中控制；在位置标定不成功的情况下，按异常处置流程处理，例如还可以设置标定次数阈值，当标定次数达到三次依然不成功，保存此时的传感器采集数据以及标定失败信息便于后续分析标定失败原因。最后，完成车辆多传感器标定过程并驶出车辆。

此外，还可以通过所述时间同步模块40对所述真值传感模块10以及所述被测传感模块20进行时间同步，从而完成时间维度下的统一。

这里所述真值传感模块10采集的数据和所述被测传感模块20采集的数据将经过所述时间同步模块40实现对例如激光雷达等所有传感器以及视频数据等所有采集数据的时间同步处理。

在时间同步过程中，通过所述时钟源接收所述GNSS以及所述PPS的信号基准时间标准，然后通过PTP网络时间同步协议实现和机械式的激光雷达或者固态激光雷达等传感器之间的时间信息同步，还可以通过外触发模式控制各类摄像头进行同步曝光，以及通过CANTSyn实现与所述毫米波雷达之间的时间信息同步。

进一步，还可以通过授时卡产生秒脉冲的方式矫正所述时钟源的数据，然后根据RTK时间戳来矫正所述激光雷达等传感器和视频数据等采集数据的时间戳，通过CAN卡进行授时以实现毫米波雷达的时间同步。其中，例如视频和雷达之间的时间同步机制为通过高线数机械激光雷达的旋转到一定的角度进行对摄像头和固态激光雷达数据的触发，保证各传感器的数据能够以统一的时间戳机制进行记录，同时保证同步精度小于1ms，在百微秒级别，最终使得所述真值传感模块10采集的数据和所述被测传感模块20采集的所有数据具有同一时间戳。

这样，通过对被测传感模块以及真值传感模块之间实现时间维度以及空间维度上的统一，能够解决对于被测的感知系统的评价参考值无法严格对齐的问题，实现被测感知系统的自动化评测，具有时间对齐精准、自动化程度高、测试效率高的优点。

S102，获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据。

在通过步骤S101对设置在车辆上的真值传感模块以及被测传感模块进行同步之后，在本步骤中，获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据。

首先，在经过实现时间和空间同步后的所述真值传感模块10以及所述被测传感模块20进行数据采集之后，分别获取第一采集原始数据和第二采集原始数据。进一步地，将所述第一采集原始数据输入至所述真值后处理模块，通过真值处理算法获得第一采集结果数据，同时将所述第二采集原始数据输入至所述待测算法模块，通过待测的感知融合算法获取待测感知或者融合结果数据，即第二采集结果数据。

这里的所述第一采集原始数据是指指定的目标的相关数据，例如点云数据、CAN目标数据、总线CAN数据等。这里的所述第二采集原始数据是指提供作为感知融合算法输入的基本数据，例如视频数据、点云数据、CAN目标数据等。

这里的所述第一采集结果数据和所述第二采集结果数据是基于目标的任意数据，例如是目标类型、目标ID、颜色、朝向、车道线或路缘三次方程系数、二维边界框、三维边界框、语义标注、光源状态、交通信号灯指示类型、交通信号灯持续时间、距离、速度、加速度等不同的数据的任意可能的组合，例如前方行人的速度、交通信号灯的持续时间、车道线的距离和曲率等数据。

S103，基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

在通过上述步骤S102获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据之后，在本步骤中，基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。这里的所述评价结果通过测试指标进行表示。

具体地，这里的所述测试指标可以根据评价需要选择不同类型的指标，例如包括准确率、精确率、召回率、多目标跟踪准确度、多目标跟踪精确度、平均精确率、平均交并比值、距离精度、速度精度、加速度精度、平均精确率、平均召回率、平均的平均精确率以及平均的平均召回率等。

其中，下面对上述不同的测试指标进行分别介绍：

1、准确率(accuracy)：属于分类性能指标，是指模型正确推断的目标数的和除以总测试目标数，公式如下：

其中，TP是指预测为正向(P)，实际上预测正确(T)，即判断为正向的正确率；TN是指预测为负向(N)，实际上预测正确(T)，即判断为负向的正确率；FP是指预测为正向(P)，实际上预测错误(F)，误报率，即把负向判断成了正向；FN是指预测为负向(N)，实际上预测错误(F)，漏报率，即把正向判断成了负向。

2、精确率(precision)：正确推断的正例数/推断为正例的总数，又称查准率，公式如下：

3、召回率(recall)：正确推断的正例数/实际正例的总数，又称查全率，公式如下：

4、多目标跟踪的准确度(MOTA)，体现在确定目标的个数，以及有关目标的相关属性方面的准确度，用于统计在跟踪中的误差积累情况，包括FP、FN、IDS_w，公式如下：

其中，m_t是FN，漏检数，即在第t帧中该目标o_j没有假设位置与其匹配；fp_t是FP，误检数，即在第t帧中给出的假设位置h_j没有跟踪目标与其匹配；mme_t：是IDS_w，误配数，即在第t帧中跟踪目标发生ID切换的次数，多发生在遮挡情况下。

5、多目标跟踪的精确度(MOTP)，体现在确定目标位置上的精确度，用于衡量目标位置确定的精确程度，公式如下：

其中，c_t：表示第t帧目标o_i和假设hj的匹配个数；

表示第t帧目标o_i与其配对假设位置之间的距离，即匹配误差。

6、平均准确率(mAccuracy)，各目标类别准确率的平均值。

7、平均交并比值(mIoU)：为语义分割的标准度量，计算推断轮廓区域与真实区域的交并比。

8、距离精度：测试场景内被测目标距离误差百分比，分母为目标与自车的真实距离。

其中，DUT_x表示被测物X方向距离；DUT_y表示被测物Y方向距；GT_x表示被测物X方向距离真值；GT_y表示被测物X方向距离真值。

9、速度精度：测试场景内被测目标速度误差百分比，分母为目标的真实速度。

其中，DUT_vx表示被测物X方向速度；DUT_vy表示被测物Y方向速度GT_xv表示被测物X方向速度真值；GT_vy表示被测物X方向速度真值。

10、加速度精度：测试场景内被测目标加速度误差百分比，分母为目标的真实加速度。

其中，DUT_ax表示被测物X方向加速度；GT_ay表示被测物Y方向加速度；GT_ax表示被测物X方向加速度真值；GT_ay表示被测物X方向加速度真值。

11、平均精确率(AP)，是指，用来评价检测算法对目标识别的性能。

12、平均召回率(AR)是指，用来评价检测算法对目标识别的性能。

13、平均的平均精确率(mAP)是指，用来评价检测算法对多个类别的目标识别的性能。

14、平均的平均召回率(mAR)是指，用来评价检测算法对多个类别的目标识别的性能。

本公开实施例通过对被测传感模块以及真值传感模块进行时间同步以及空间同步，从而得到基于同一个时空标准的真值传感模块的采集数据以及被测传感模块的采集数据，进一步通过对真值传感模块运行真值算法处理得到真值感知结果，通过对被测传感模块运行待测感知或者融合算法处理得到被测感知结果，对比被测感知结果数据和真值感知结果数据，输出对被测感知系统结果的评测结果，从而针对被测的感知融合系统的感知结果给出评价，从而应用于车载被测感知系统开发测试中用以评价或验收所开发的车载被测感知系统的感知以及融合算法的性能。

本公开的第二实施例涉及一种用于感知融合算法的评价装置，其包括同步模块、第一获取模块以及第二获取模块，这些模块相互协作，其中：

同步模块，用于对设置在车辆上的真值传感模块以及被测传感模块进行同步；

第一获取模块，用于获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；

第二获取模块，用于基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

进一步地，所述真值传感模块至少包括机械式激光雷达、毫米波雷达以及摄像装置；所述被测传感模块至少包括固态激光雷达、毫米波雷达以及摄像装置。

所述同步模块包括：

位置获取单元，用于获取所述被测传感模块中的传感器的位置参数；

同步判断单元，用于基于所述位置参数和所述真值传感模块判断位置同步是否成功。

所述同步模块还包括：

接收单元，用于通过时钟源接收信号基准时间标准；

第一同步单元，用于通过PTP网络时间同步协议实现与机械式激光雷达或者固态激光雷达之间的时间信息同步；

第二同步单元，用于通过外触发模式控制摄像装置进行同步曝光；

第三同步单元，用于通过CANTSyn实现与毫米波雷达之间的时间信息同步。

所述第一获取模块包括：

采集数据获取单元，用于分别获取来自所述真值传感模块的第一采集原始数据和来自所述被测传感模块的第二采集原始数据；

第一计算单元，用于将所述第一采集原始数据通过真值处理算法获取第一采集结果数据；

第二计算单元，用于将所述第二采集原始数据通过所述感知融合算法获取第二采集结果数据。

进一步地，所述第一采集结果数据或所述第二采集结果数据包括目标类型、目标ID、颜色、朝向、车道线或路缘的三次方程系数、二维边界框、三维边界框、语义标注、光源状态、交通信号灯指示类型、交通信号灯持续时间、距离、速度、加速度中的任意一种或者多种的组合。

进一步地，所述评价结果通过测试指标表示，所述测试指标包括准确率、精确率、召回率、多目标跟踪准确度、多目标跟踪精确度、平均精确率、平均交并比值、距离精度、速度精度、加速度精度、平均精确率、平均召回率、平均的平均精确率以及平均的平均召回率中的至少一种。

本公开的第三实施例提供了一种存储介质，该存储介质为计算机可读介质，存储有计算机程序，该计算机程序被处理器执行时实现本公开第一实施例和第三实施例提供的方法，包括如下步骤S11至S13：

S11，对设置在车辆上的真值传感模块以及被测传感模块进行同步；

S12，获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；

S13，基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

进一步地，该计算机程序被处理器执行时实现本公开第一实施例提供的其他方法

本公开的第四实施例提供了一种电子设备，该电子设备至少包括存储器和处理器，存储器上存储有计算机程序，处理器在执行存储器上的计算机程序时实现本公开任意实施例提供的方法。示例性的，电子设备计算机程序步骤如下S21至S23：

S21，对设置在车辆上的真值传感模块以及被测传感模块进行同步；

S22，获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；

S23，基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

进一步地，处理器还执行上述第三实施例中的计算机程序

上述存储介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括至少两个网际协议地址的节点评价请求，其中，节点评价设备从至少两个网际协议地址中，选取网际协议地址并返回；接收节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在乘客计算机上执行、部分地在乘客计算机上执行、作为一个独立的软件包执行、部分在乘客计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到乘客计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

需要说明的是，本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本领域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围。

Claims

1.一种用于感知融合算法的评价方法，其特征在于，包括：

对设置在车辆上的真值传感模块以及被测传感模块进行同步；

获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据；

基于所述第一采集结果数据和所述第二采集结果数据获取待测的感知融合算法的评价结果。

2.根据权利要求1所述的评价方法，其特征在于，所述真值传感模块至少包括机械式激光雷达、毫米波雷达以及摄像装置；所述被测传感模块至少包括固态激光雷达、毫米波雷达以及摄像装置。

3.根据权利要求2所述的评价方法，其特征在于，对设置在车辆上的真值传感模块以及被测传感模块进行空间同步，包括：

获取所述被测传感模块中的传感器的位置参数；

基于所述位置参数和所述真值传感模块判断位置同步是否成功。

4.根据权利要求2所述的评价方法，其特征在于，对设置在车辆上的真值传感模块以及被测传感模块进行时间同步，包括：

通过时钟源接收信号基准时间标准；

通过PTP网络时间同步协议实现与机械式激光雷达或者固态激光雷达之间的时间信息同步；

通过外触发模式控制摄像装置进行同步曝光；

通过CANTSyn实现与毫米波雷达之间的时间信息同步。

5.根据权利要求1所述的评价方法，其特征在于，所述获取所述真值传感模块的第一采集结果数据以及所述被测传感模块的第二采集结果数据，包括：

分别获取来自所述真值传感模块的第一采集原始数据和来自所述被测传感模块的第二采集原始数据；

将所述第一采集原始数据通过真值处理算法获得第一采集结果数据；

将所述第二采集原始数据通过所述感知融合算法获取第二采集结果数据。

6.根据权利要求1所述的评价方法，其特征在于，所述第一采集结果数据或所述第二采集结果数据包括目标类型、目标ID、颜色、朝向、车道线或路缘的三次方程系数、二维边界框、三维边界框、语义标注、光源状态、交通信号灯指示类型、交通信号灯持续时间、距离、速度、加速度中的任意一种或者多种的组合。

7.根据权利要求1所述的评价方法，其特征在于，所述评价结果通过测试指标表示，所述测试指标包括准确率、精确率、召回率、多目标跟踪准确度、多目标跟踪精确度、平均精确率、平均交并比值、距离精度、速度精度、加速度精度、平均精确率、平均召回率、平均的平均精确率以及平均的平均召回率中的至少一种。

8.一种用于感知融合算法的评价装置，其特征在于，包括：

9.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

10.一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至7中任一项所述方法的步骤。