CN114758200A - 多传感数据融合方法、多源融合感知系统和计算机设备 - Google Patents

Abstract

本申请公开了一种多传感数据融合方法、多源融合感知系统、计算机设备和存储介质，获取同一时刻、同一场景下的点云数据和视频数据；对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；对第一检测结果与第二检测结果进行融合，得到初始融合结果；判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。通过上述方法得到了更为准确的目标物的信息，进而提高了目标检测的准确性。

Description

多传感数据融合方法、多源融合感知系统和计算机设备

技术领域

本公开实施例涉及道路检测技术领域，特别是涉及一种多传感数据融合方法、多源融合感知系统和计算机设备以及存储介质。

背景技术

随着城市车辆越来越多，对车辆行驶过程的监管难度越来越大，在实际应用中，常常需要对道路中的目标物进行监测，以获取目标物的目标信息。

现有技术中，对道路中的目标物进行监测的方法一般是：在道路上安装摄像机，通过摄像机对待测区域进行连续拍摄得到视频数据，然后对视频数据进行分析和处理，得到视频数据中的目标物的检测信息。

然而，利用单一传感器采集得到的感知数据进行目标检测时，容易发生误检或者虚检问题，且无法对误检、虚检问题进行修正，导致检测结果的准确度较低。

发明内容

基于此，有必要针对上述存在的漏检的问题，提供一种多传感数据融合方法、多源融合感知系统和计算机设备以及存储介质。

一种多传感数据融合方法，包括：

获取同一时刻、同一场景下的点云数据和视频数据；

对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；

对第一检测结果与第二检测结果进行融合，得到初始融合结果；

判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

在其中一个实施例中，对第一检测结果与第二检测结果进行融合，得到初始融合结果，包括：

根据外参矩阵将第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将点云目标从三维坐标系转换至第二检测结果中视频目标所在的二维坐标系；

根据二维坐标系中的点云目标和视频目标确定初始融合结果中的目标物；其中，信息匹配概率大于匹配阈值的点云目标和视频目标为同一目标物，信息匹配概率用于表征点云目标与视频目标的位置重叠度。

在其中一个实施例中，修正类型为多目标误判修正，根据判断结果的修正类型修正初始融合结果，包括：

若初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在初始融合结果中的多个视频目标分别标记为不同的目标物；

若初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在初始融合结果中的多个点云目标分别标记为不同的目标物。

在其中一个实施例中，修正类型为置信度修正，根据判断结果的修正类型修正初始融合结果，包括：

获取初始融合结果包括的目标物的第一置信度和第二置信度，第一置信度为根据点云数据确定的目标物的类别的置信度，第二置信度为根据视频数据确定的目标物的类别的置信度；

将目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别。

在其中一个实施例中，修正类型为目标颜色修正，根据判断结果的修正类型修正初始融合结果，包括：

检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标；

若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，则基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息。

在其中一个实施例中，修正类型为漏检修正，根据判断结果的修正类型修正初始融合结果，包括：

若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，在第二检测结果中不存在对应的视频目标，则将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为目标物的第二检测结果；

若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，在第一检测结果中不存在对应的点云目标，则将视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的点云坐标系中，作为目标物的第一检测结果。

在其中一个实施例中，修正类型为虚检修正，根据判断结果的修正类型修正初始融合结果，包括：

获取初始融合结果包括的目标物的第一置信度，第一置信度为根据点云数据确定的目标物的类别的置信度；

在第一置信度小于置信度阈值的情况下，获取初始融合结果包括的目标物在第一检测结果中对应的检测框的面积；

若检测框的面积小于面积阈值，则从初始融合结果中剔除目标物。

在其中一个实施例中，修正类型为轨迹修正，根据判断结果的修正类型修正初始融合结果，包括：

获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向；

若点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。

在其中一个实施例中，点云数据是根据路侧激光雷达对待测区域进行检测得到的。

一种多源融合感知系统，包括：

数据获取模块，用于获取同一时刻、同一场景下的点云数据和视频数据；

目标检测模块，用于对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；

目标融合模块，用于对第一检测结果与第二检测结果进行融合，得到初始融合结果；

结果修正模块，用于判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：

获取同一时刻、同一场景下的点云数据和视频数据；

对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；

对第一检测结果与第二检测结果进行融合，得到初始融合结果；

判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取同一时刻、同一场景下的点云数据和视频数据；

对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；

对第一检测结果与第二检测结果进行融合，得到初始融合结果；

判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

上述多传感数据融合方法、多源融合感知系统和计算机设备以及存储介质，通过获取同一时刻、同一场景下的点云数据和视频数据，并分别进行目标检测，再对点云数据得到的第一检测结果和视频数据得到的第二检测结果进行融合，利用根据不同传感器采集的感知数据得到的检测结果的数据特性对初始融合结果加以修正，输出数据融合结果，得到了更为准确的目标物的信息，进而提高了目标检测的准确性。同时，初始融合结果中汇集了根据点云数据得到的第一检测结果和根据视频数据得到的第二检测结果，这样，在第一检测结果中出现某目标物，而第二检测结果中未出现该目标物，或者，第二检测结果中出现某目标物，而第一检测结果中未出现该目标物，修正初始融合结果的过程可将两种检测结果进行互补，以有效避免了漏检问题。

附图说明

图1为一个实施例中多传感数据融合方法的应用场景示意图；

图2为一个实施例中多传感数据融合方法的流程示意图；

图3为一个实施例中第一检测结果与第二检测结果进行融合的流程示意图；

图4为一个实施例中多目标误判修正的流程示意图；

图5为一个实施例中置信度修正的流程示意图；

图6为一个实施例中目标颜色修正的流程示意图；

图7为一个实施例中漏检修正的流程示意图；

图8为一个实施例中虚检修正的流程示意图；

图9为一个实施例中轨迹修正的流程示意图；

图10为一个实施例中多源融合感知系统的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

随着城市车辆越来越多，对车辆行驶过程的监管难度越来越大，在实际应用中，常常需要对道路中的目标物进行监测，以获取目标物的目标信息。

现有技术中，对道路中的目标物进行监测的方法一般是：在道路上安装摄像机，通过摄像机对待测区域进行连续拍摄得到视频数据，然后对视频数据进行分析和处理，得到视频数据中的目标物如类别、位置、尺寸的检测信息。

然而，利用单一传感器采集得到的感知数据进行目标检测时，容易发生误检或者虚检问题，且无法对误检、虚检问题进行修正，导致检测结果的准确度较低。例如，利用摄像机采集到的视频数据进行目标检测，对目标物的纹理信息、颜色信息的获取更完备，且对目标物类别的识别准确度更好，但摄像机无法获取深度定位信息，且受光照影响较大。而利用激光雷达采集到的点云数据进行目标检测，对目标物的位置、尺寸信息、速度信息、加速度信息、航向角信息的获取更完整，且探测精度高，但对目标物类别的识别效果差。

由此可知，利用不同类型的传感器采集到的感知数据进行目标检测，得到的检测结果中部分结果的准确度高，而部分结果的准确度低。

本申请提供的多传感数据融合方法，可应用于多源融合感知系统，又名“智慧基站”，可设置在道路两侧，通过不同类型的传感器采集覆盖区域内的感知数据，并对采集得到的感知数据进行目标检测，得到对应的多种检测结果，再将多种检测结果按照预设的融合策略进行融合并修正，得到最终的目标检测结果。本申请实施例中采用不同传感器采集得到的点云数据和视频数据，并分别进行目标检测，对点云数据得到的检测结果和视频数据得到的检测结果进行融合，进一步利用根据不同传感器采集的感知数据得到的检测结果的准确特性对得到的初始融合结果加以修正，输出数据融合结果，作为最终的目标检测结果，得到更为准确的目标物的信息，进而提高了目标检测的准确性。

进一步的，本申请实施例中，对于同一时刻、同一场景下的点云数据和视频数据分别进行目标检测，对应得到点云检测结果和视频检测结果，这样，若点云检测结果中未发现某目标物，而视频检测结果中发现该目标物，则以该目标物的视频检测结果作为该目标物最终的目标检测结果。同理，若视频检测结果中未出现该目标物，而点云检测结果中发现该目标物，则以该目标物的点云检测结果作为该目标物最终的目标检测结果。这样，通过两种检测结果的互补，可以有效避免漏检问题。

下面结合本申请实施例所应用的应用场景，对本申请实施例涉及的技术方案进行介绍。

本申请提供的多传感数据融合方法应用于多源融合感知系统(智慧基站)，如图1所示，该多源融合感知系统包括雷达101、摄像机102和服务器103。雷达101和摄像机102分别与服务器103通过有线或者无线的方式进行通信。服务器103通过雷达101和摄像机102对应获取同一时刻、同一场景下的点云数据和视频数据，对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果，并对第一检测结果与第二检测结果进行融合，得到初始融合结果。进而判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果。其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

其中，雷达101和摄像机102安装在道路侧的交通立杆或者交通横杆上。可选的，雷达101和摄像机102之间的位置偏移量小于偏移量阈值，使得雷达101和摄像机102近似于安装在同一位置。服务器103可以为一台服务器，也可以为由多台服务器组成的服务器集群。

在一个实施例中，如图2所示，提供了一种多传感数据融合方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S210、获取同一时刻、同一场景下的点云数据和视频数据。

其中，服务器通过雷达获取点云数据，通过摄像机获取视频数据。

可选的，雷达的类别可以是8线、16线、24线、32线、64线或者128线的激光雷达，也可以是毫米波雷达；摄像机的类别可以是枪型相机、半球型相机或者球型相机。

具体地，点云数据是根据路侧激光雷达对待测区域进行检测得到的，服务器预先将激光雷达和摄像机进行采样频率和时间的同步处理，以通过激光雷达和摄像机分别获取同一时刻、同一场景下的点云数据和视频数据。

可选地，在激光雷达和摄像机在道路侧的相对位置和相对角度确定后，调整激光雷达和摄像机的采样频率，使得激光雷达和摄像机的采样频率相同或者近似相同。例如，调整激光雷达和摄像机的采样频率之差小于频率阈值。进一步对激光雷达和摄像机进行时间同步处理，实时获取激光雷达和摄像机精确到毫秒的一组采样时间戳t1、t2进行时间匹配(如果不能直接获取，可以通过时间轴匹配转换转成同一时间轴下的时间戳，基准时间轴为t，根据时间轴转换差值Δt，转换时间t’＝t-Δt)，具体是计算采样时间戳t1、t2差值的绝对值|tx-ty|是否小于设定的固定值δ，例如，δ＝10ms。其中，若|tx-ty|＜δ，则认为采样时间戳t1、t2分别对应的点云数据和视频数据为同一时刻获取到的；若|tx-ty|＞δ，则按照一定的速率寻找下一组采样时间戳进行时间匹配。需要说明的是，也可以采用其他方式进行时间同步处理，本申请实施例不对此进行限制。

S220、对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果。

其中，第一检测结果包括在激光雷达对应覆盖区域内点云目标的位置、尺寸、速度、加速度、航向角以及类别等检测信息，点云目标为对点云数据进行目标检测得到的目标物。第二检测结果包括摄像机对应覆盖区域内视频目标的类别、颜色、纹理、位置以及速度等检测信息，视频目标为对视频数据进行目标检测得到的目标物。

具体地，服务器可采用预先训练好的机器学习模型分别对点云数据和视频数据进行目标检测，得到点云数据对应的第一检测结果，以及视频数据对应的第二检测结果。例如，对于点云数据采用SECOND深度学习模型进行目标检测，得到第一检测结果，对于视频数据采用YOLOv3深度学习模型进行目标检测，得到第二检测结果。

可选地，服务器还可以采用卡尔曼算法等跟踪算法对点云数据和/或视频数据进行处理，对应得到第一检测结果和/或第二检测结果。

S230、对第一检测结果与第二检测结果进行融合，得到初始融合结果。

其中，第一检测结果和第二检测结果均包括至少一个目标物的检测信息。例如，目标物的位置。

可选地，服务器可根据第一检测结果中点云目标的位置与第二检测结果中视频目标的位置，对第一检测结果和第二检测结果进行目标物的融合，得到初始融合结果。

具体地，服务器获取第一检测结果中每一点云目标的位置与第二检测结果中每一视频目标的位置之间的距离，并将距离小于预设的距离阈值的第一检测结果中的点云目标和第二检测结果中的视频目标确定为同一目标物，若存在第一检测结果中某一点云目标与第二检测结果中所有视频目标的距离均大于预设的距离阈值，则将第一检测结果中的该点云目标作为单独的目标物，同理，若存在第二检测结果中某一视频目标与第一检测结果中所有点云目标的距离均大于预设的距离阈值，则将该第二检测结果中的该视频目标作为单独的目标物，进而得到初始融合结果中的目标物。例如，第一检测结果包括A1～A5，5个点云目标，第二检测结果包括B1～B6，6个视频目标，其中，点云目标A2与视频目标B2之间、点云目标A3与视频目标B3之间，以及点云目标A5与视频目标B5之间的距离均小于预设的距离阈值，服务器则将点云目标A2与视频目标B2确定为同一目标物，点云目标A3与视频目标B3确定为同一目标物，以及A5与视频目标B5确定为同一目标物，将点云目标A1、点云目标A4、视频目标B1、视频目标B4以及视频目标B6确定为单独的目标物，最终得到的初始融合结果中的目标物则包括A1、A2/B2、A3/B3、A4、B4、A5/B5、A6/B6，对应包括每一目标物的第一检测结果和/或第二检测结果。

S240、判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果。

其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

具体地，服务器可根据初始融合结果中目标物的第一检测结果和第二检测结果确定初始融合结果是否需要修正，以及对应的修正类型，进而根据确定的修正类型对初始融合结果进行针对性修正，最终输出数据融合结果。

可选地，对于初始融合结果中同时具有第一检测结果和第二检测结果的目标物，服务器可根据该目标物第一检测结果和第二检测结果的数量关系确定是否需要对初始融合结果进行多目标误判修正。

可选地，对于初始融合结果中同时具有第一检测结果和第二检测结果的目标物，服务器可根据该目标物在第一检测结果和第二检测结果中得到的类别的置信度是否相同，确定是否需要对初始融合结果进行置信度修正。

可选地，服务器可根据初始融合结果中的目标物是否具有第二检测结果，以及第二检测结果中是否具有目标物的颜色信息，确定是否需要对初始融合结果进行目标颜色修正。

可选地，服务器可根据初始融合结果中的目标物是否同时具有第一检测结果和第二检测结果，确定是否需要对初始融合结果进行漏检修正。

可选地，对于初始融合结果中具有第一检测结果的目标物，服务器可根据该目标物在第一检测结果中得到的检测框的大小，确定是否需要对初始融合结果进行虚检修正。

可选地，对于初始融合结果中具有第一检测结果的目标物，服务器可根据该目标物在第一检测结果中得到的检测框的大小，确定是否需要对初始融合结果进行虚检修正。

可选地，对于初始融合结果中同时具有第一检测结果和第二检测结果的目标物，服务器可根据该目标物在第一检测结果和第二检测结果中得到的行驶轨迹，确定是否需要对初始融合结果进行轨迹修正。

本实施例中，上述方法采用了不同类型的传感器采集到的感知数据进行目标检测，具体利用了激光雷达和摄像机采集到的点云数据和视频数据进行目标检测，并对点云数据得到的第一检测结果和视频数据得到的第二检测结果进行融合，利用根据不同传感器采集的感知数据得到的检测结果的准确特性对初始融合结果加以修正，输出数据融合结果，得到了更为准确的目标物的信息，进而提高了目标检测的准确性。同时，初始融合结果中汇集了根据点云数据得到的第一检测结果和根据视频数据得到的第二检测结果，这样，在第一检测结果中出现某目标物，而第二检测结果中未出现该目标物，或者，第二检测结果中出现某目标物，而第一检测结果中未出现该目标物，修正初始融合结果的过程可将两种检测结果进行互补，以有效避免了漏检问题。

在一个实施例中，为提高第一检测结果和第二检测结果融合的准确性，如图3所示，上述S230包括：

S310、根据外参矩阵将第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将点云目标从三维坐标系转换至第二检测结果中视频目标所在的二维坐标系。

具体地，在对激光雷达和摄像机进行采样频率和时间的同步处理后，进一步通过标定方法获取激光雷达和摄像机之间的内参矩阵和外参矩阵。其中，外参矩阵用于实现激光雷达的点云坐标系和摄像机的三维坐标系之间的坐标转换，使得第一检测结果中的点云目标在点云坐标系下的三维坐标转换至摄像机的三维坐标系下，内参矩阵用于实现摄像机的三维坐标系和第二检测结果中视频目标所在的二维坐标系之间的坐标转换，以进一步将点云目标在摄像机的三维坐标系下的三维坐标转换至视频目标所在的二维坐标系下，得到点云目标在二维坐标系中的二维坐标。

可选的，标定方法可以是棋盘格标定法。

S320、根据二维坐标系中的点云目标和视频目标确定初始融合结果中的目标物。

其中，信息匹配概率大于匹配阈值的点云目标和视频目标为同一目标物，信息匹配概率用于表征点云目标与视频目标的位置重叠度。

具体地，服务器将第一检测结果中点云目标的检测框转换至视频目标所在的二维坐标系，并获取点云目标的检测框与第二检测结果中视频目标的检测框之间的位置重叠度，如交并比(Intersection over Union，IOU)，作为点云目标与视频目标之间的信息匹配概率，并将信息匹配概率大于匹配阈值(如，0.6)的点云目标和视频目标确定为同一目标物，其余点云目标和视频目标作为单独的目标物，进而得到初始融合结果中的目标物。

本实施例中，服务器根据外参矩阵和内参矩阵将第一检测结果中的点云目标转换至第二检测结果中视频目标所在的二维坐标系中，进而在二维坐标系中，根据点云目标与视频目标的信息匹配概率确定初始融合结果中的目标物，通过外参矩阵和内参矩阵将点云目标和视频目标转换至同一维度，再进行融合，提高了第一检测结果和第二检测结果融合的准确性。

在一个实施例中，若实际目标物距离传感器(激光雷达/摄像机)过近，在根据传感器采集到的感知数据进行目标检测时，易发生将多个目标物识别为一个目标物的多目标误判，对应需要进行多目标误判修正。因此，若修正类型为多目标误判修正，如图4所示，上述S240包括：

S410、若初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在初始融合结果中的多个视频目标分别标记为不同的目标物。

S420、若初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在初始融合结果中的多个点云目标分别标记为不同的目标物。

具体地，若初始融合结果中存在目标物对应的一个点云目标与多个视频目标之间信息匹配概率均大于第一匹配阈值，服务器则确定第一检测结果中存在将多个点云目标检测为一个点云目标的误判；若初始融合结果存在目标物对应的一个视频目标与多个点云目标之间信息匹配概率均大于第二匹配阈值，服务器则确定第二检测结果中存在将多个视频目标检测为一个视频目标的误判。对于上述多目标误判的情况，服务器则将目标物对应的多个视频目标或者多个点云目标分别标记为不同的目标物。例如，初始融合结果中包括C1，1个点云目标，D1～D5，5个视频目标，其中，点云目标C1分别与视频目标D1～D3的之间信息匹配概率均大于第一匹配阈值，表征第一检测结果中存在将三个点云目标误判为一个点云目标的情况，服务器则将第二检测结果得到的5个视频目标D1～D5分别标记为不同的目标物，并作为输出的数据融合结果中的目标物。

本实施例中，服务器在初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值，或者目标物对应的一个视频目标与多个点云目标之间信息匹配概率均大于第二匹配阈值的情况下，则确定初始融合结果中存在多目标误判，对应将初始融合结果中的多个视频目标/点云目标分别标记为不同的目标物，以此实现对初始融合结果的多目标误判修正，提高最终输出的数据融合结果中目标物的信息的准确性，进而提高目标检测的准确性。

在一个实施例中，由于传感器采集的是目标物不同类型、维度的感知数据，进行目标检测后，对应得到的检测结果也有所差异，对于同一目标物，若根据不同传感器采集到的感知数据进行目标检测，得到的目标物的类别不相同，即存在类别的置信度误判，对应需要进行置信度修正。因此，若修正类型为置信度修正，如图5所示，上述S240包括：

S510、获取初始融合结果包括的目标物的第一置信度和第二置信度，第一置信度为根据点云数据确定的目标物的类别的置信度，第二置信度为根据视频数据确定的目标物的类别的置信度。

其中，对于初始融合结果中同时具有第一检测结果和第二检测结果的目标物，若该目标物的第一检测结果中目标物的类别的第一置信度与第二检测结果中该目标物的类别的第二置信度不相同，服务器则确定初始融合结果中存在置信度误判，即第一检测结果或者第二检测结果中存在目标物类别的误判，对应需要进行置信度修正。

S520、将目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别。

具体地，服务器对初始融合结果中目标物的第一置信度和第二置信度进行转换处理，将第一置信度和第二置信度转换至同一参考标准下，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为数据融合结果中该目标物的类别。例如，目标物E1的第一置信度为60％(目标物的类别为公交车)，第二置信度为80％(目标物的类别为箱体货车)，服务器则将较大的置信度即第二置信度所对应的类别即箱体货车作为输出的数据融合结果中该目标物E1的类别，以此实现对初始融合结果的置信度修正。

可选地，修正类型还包括类别修正，对于初始融合结果中同时具有第一检测结果和第二检测结果的目标物，若第一检测结果中目标物的类别为人，二第二检测结果中目标物的类别为非机动车，服务器则将非机动车作为目标物的类别，并作为数据融合结果输出。因为，在实际应用中，对于人驾驶非机动车(如自行车)的情况，由于人和驾驶非机动车的距离比较紧密，容易产生将非机动车识别为人的误判，因此，在这种对于同一目标物，一种检测结果为目标物为人，另一种检测结果为目标物为非机动车，服务器则将非机动车作为目标物的类别，并作为数据融合结果输出。

本实施例中，对于初始融合结果中同时具有第一检测结果和第二检测结果的目标物，服务器将该目标物的第一置信度和第二置信度转换至同一参考标准下，若该目标物的第一置信度与第二置信度不同，服务器则确定初始融合结果中存在置信度误判，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别，以此实现对初始融合结果的置信度修正，提高最终输出的数据融合结果中目标物的信息的准确性，进而提高目标检测的准确性。

在一个实施例中，摄像机采集到的视频数据中包括视频目标的颜色信息，而激光雷达采集到的点云数据中没有点云目标的颜色信息，若对应最终的数据融合结果中有对目标物的颜色信息的需求，对应需要进行目标颜色修正。因此，若修正类型为目标颜色修正，如图6所示，上述S240包括：

S610、检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标。

S620、若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，则基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息。

其中，根据点云数据得到的第一检测结果中，不存在点云目标的颜色信息，而根据视频数据得到的第二检测结果中，可以存在视频目标物的颜色信息。

具体地，服务器检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标，若存在，且基于视频数据得到的第二检测结果中包括视频目标的颜色信息，则对初始融合结果中对应目标物的颜色进行补充，即将第二检测结果中得到的该视频目标的颜色信息，作为对应目标物的颜色信息，并作为数据融合结果输出，以此实现对初始融合结果的目标颜色修正。

本实施例中，服务器在初始融合结果包括的目标物在第二检测结果中存在对应的视频目标的情况下，基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息，以此实现对初始融合结果的目标颜色修正，提高最终输出的数据融合结果中目标物的信息的准确性，进而提高目标检测的准确性。

在一个实施例中，不同传感器可能存在位置盲区、物体遮挡、环境光线等外界因素导致的数据采集受限，进而导致检测结果中出现漏检，对应需要进行漏检修正。因此，若修正类型为漏检修正，如图7所示，上述S240包括：

S710、若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，在第二检测结果中不存在对应的视频目标，则将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为目标物的第二检测结果。

具体地，若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，而在第二检测结果中不存在对应的视频目标，服务器则确定第二检测结果中存在漏检，则将该目标物对应的点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为该目标物的第二检测结果。

S720、若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，在第一检测结果中不存在对应的点云目标，则将视频目标的第二检测结果通过互学习模型转换至点云数据的点云坐标系中，作为目标物的第一检测结果。

具体地，若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，而在第一检测结果中不存在对应的点云目标，服务器则确定第一检测结果中存在漏检，则将该目标物对应的视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的点云坐标系中，作为该目标物的第一检测结果。

本实施例中，服务器在始融合结果包括的目标物在第一检测结果中存在对应的点云目标，而在第二检测结果中不存在对应的视频目标的情况下，将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为该目标物的第二检测结果；在始融合结果包括的目标物在第二检测结果中存在对应的视频目标，而在第一检测结果中不存在对应的点云目标的情况下，将视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的二维坐标系中，作为目标物的第一检测结果，以此实现对初始融合结果的漏检修正，对应提高第一检测结果/第二检测结果的准确性。

在一个实施例中，类别的置信度用于表征目标物为该类别的可能性，若对应的检测结果中某一目标物的置信度过小，则可能存在虚检，对应需要进行虚检修正。因此，若修正类型为虚检修正，如图8所示，上述S240包括：

S810、获取初始融合结果包括的目标物的第一置信度，第一置信度为根据点云数据确定的目标物的类别的置信度。

具体地，服务器获取初始融合结果中目标物的第一置信度，即根据点云数据确定的第一检测结果中对应该目标物的点云目标的类别的置信度。

S820、在第一置信度小于置信度阈值的情况下，获取初始融合结果包括的目标物在第一检测结果中对应的检测框的面积。

S830、若检测框的面积小于面积阈值，则从初始融合结果中剔除目标物。

具体地，服务器比较该目标物的第一置信度与预设置信度阈值的大小，若该第一置信度小于置信度阈值，则获取初始融合结果中目标物所对应的点云目标在第一检测结果中检测框的面积，并比较该检测框的面积与预设的面积阈值，若该检测框的面积小于面积阈值，服务器则确定初始融合结果中存在激光雷达距离实际目标太远所导致的虚检，则从初始融合结果中剔除该目标物。实际应用中，目标检测的得到的检测框越大，表征目标物越大，或者目标物距离传感器越近，而基于大目标物的感知数据进行目标检测，或者近距离采集感知数据进行目标检测，得到的检测结果越准确可信，反之，基于小目标物的感知数据进行目标检测，或者远距离采集感知数据进行目标检测，得到的检测结果也就越不可信。

本实施例中，服务器获取初始融合结果中目标物对应的点云目标在第一检测结果中的第一置信度，在第一置信度小于预设的置信度阈值的情况下，进一步获取目标物对应的点云目标在第一检测结果中检测框的面积，并在检测框的面积小于预设的面积阈值的情况下，从初始融合结果中剔除该目标物，以此实现对初始融合结果的虚检修正，提高最终输出的数据融合结果中目标物的信息的准确性，进而提高目标检测的准确性。

在一个实施例中，对于同一目标物，不同检测结果中行驶轨迹是否发生跳变的判断记过不同，则对应需要进行轨迹修正。因此，若修正类型为轨迹修正，如图9所示，上述S240包括：

S910、获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向。

可选地，服务器可以从点云数据中获取多个不同时刻对应的点云数据，获取该目标物所对应的点云目标在各个时刻的点云数据中对应的坐标，进而确定出该目标物所对应的点云目标的行驶轨迹，以及轨迹行驶方向。同理，确定出该目标物对应的视频目标的轨迹行驶方向。

S920、若点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。

其中，轨迹行驶方向发生跳变是指行轨迹行驶方向发生了180度的变化。

具体地，服务器可以根据该目标物对应的点云目标的行驶轨迹确定点云目标的轨迹行驶方向是否发生跳变，并根据该目标物对应的视频目标的行驶轨迹确定视频目标的轨迹行驶方向是否发生跳变。其中，若该目标物对应的点云目标的轨迹行驶方向与该目标物对应的视频目标的轨迹行驶方向是否发生跳变的情况不一致，服务器则确定初始融合结果中存在轨迹行驶方向跳变的误判，对应需要进行轨迹修正。

由于根据点云数据获取的是目标物的轮廓位置，对目标物的头尾判断的效果较差，因此，容易发生目标物的头尾识别错误的情况，这种情况下，存在目标物实质上并没有改变行驶方向，而是激光雷达检测错误导致的行驶方向发生跳变的情况，这样基于点云数据确定的点云目标的轨迹行驶方向就不准确。因此，在同一目标物对应的点云目标的轨迹行驶方向发生跳变，而对应的视频目标的轨迹行驶方向未发生跳变的情况下，服务器则根据对应视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。

本申请实施例中，服务器获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向，在点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变的情况下，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向，以此实现对初始融合结果的轨迹修正，提高最终输出的数据融合结果中目标物的信息的准确性，进而提高目标检测的准确性。

应该理解的是，虽然图2-图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种多源融合感知系统，包括：数据获取模块1001、目标检测模块1002、目标融合模块1103以及结果修正模块1004，其中：

数据获取模块1001用于获取同一时刻、同一场景下的点云数据和视频数据；

目标检测模块1002用于对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；

目标融合模块1003用于对第一检测结果与第二检测结果进行融合，得到初始融合结果；

结果修正模块1004用于判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

在其中一个实施例中，目标融合模块1003具体用于：

根据外参矩阵将第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将点云目标从三维坐标系转换至第二检测结果中视频目标所在的二维坐标系；根据二维坐标系中的点云目标和视频目标确定初始融合结果中的目标物；中，信息匹配概率大于匹配阈值的点云目标和视频目标为同一目标物，信息匹配概率用于表征点云目标与视频目标的位置重叠度。

在其中一个实施例中，修正类型为多目标误判修正，结果修正模块1004具体用于：

若初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在初始融合结果中的多个视频目标分别标记为不同的目标物；若初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在初始融合结果中的多个点云目标分别标记为不同的目标物。

在其中一个实施例中，修正类型为置信度修正，结果修正模块1004具体用于：

获取初始融合结果包括的目标物的第一置信度和第二置信度，第一置信度为根据点云数据确定的目标物的类别的置信度，第二置信度为根据视频数据确定的目标物的类别的置信度；将目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别。

在其中一个实施例中，修正类型为目标颜色修正，结果修正模块1004具体用于：

检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标；若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，则基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息。

在其中一个实施例中，修正类型为漏检修正，结果修正模块1004具体用于：

若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，在第二检测结果中不存在对应的视频目标，则将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为目标物的第二检测结果；若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，在第一检测结果中不存在对应的点云目标，则将视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的点云坐标系中，作为目标物的第一检测结果。

在其中一个实施例中，修正类型为虚检修正，结果修正模块1004具体用于：

获取初始融合结果包括的目标物的第一置信度，第一置信度为根据点云数据确定的目标物的类别的置信度；在第一置信度小于置信度阈值的情况下，获取初始融合结果包括的目标物在第一检测结果中对应的检测框的面积；若检测框的面积小于面积阈值，则从初始融合结果中剔除目标物。

在其中一个实施例中，修正类型为轨迹修正，结果修正模块1004具体用于：

获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向；若点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。

在其中一个实施例中，点云数据是根据路侧激光雷达对待测区域进行检测得到的。

关于多源融合感知系统的具体限定可以参见上文中对于多传感数据融合方法的限定，在此不再赘述。上述多源融合感知系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多传感数据融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的多源融合感知系统的限定，具体的多源融合感知系统可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取同一时刻、同一场景下的点云数据和视频数据；对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；对第一检测结果与第二检测结果进行融合，得到初始融合结果；判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据外参矩阵将第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将点云目标从三维坐标系转换至第二检测结果中视频目标所在的二维坐标系；根据二维坐标系中的点云目标和视频目标确定初始融合结果中的目标物；其中，信息匹配概率大于匹配阈值的点云目标和视频目标为同一目标物，信息匹配概率用于表征点云目标与视频目标的位置重叠度。

在一个实施例中，修正类型为多目标误判修正，处理器执行计算机程序时还实现以下步骤：

若初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在初始融合结果中的多个视频目标分别标记为不同的目标物；若初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在初始融合结果中的多个点云目标分别标记为不同的目标物。

在一个实施例中，修正类型为置信度修正，处理器执行计算机程序时还实现以下步骤：

获取初始融合结果包括的目标物的第一置信度和第二置信度，第一置信度为根据点云数据确定的目标物的类别的置信度，第二置信度为根据视频数据确定的目标物的类别的置信度；将目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别。

在一个实施例中，修正类型为目标颜色修正，处理器执行计算机程序时还实现以下步骤：

检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标；若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，则基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息。

在一个实施例中，修正类型为漏检修正，处理器执行计算机程序时还实现以下步骤：

若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，在第二检测结果中不存在对应的视频目标，则将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为目标物的第二检测结果；若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，在第一检测结果中不存在对应的点云目标，则将视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的点云坐标系中，作为目标物的第一检测结果。

在一个实施例中，修正类型为虚检修正，处理器执行计算机程序时还实现以下步骤：

获取初始融合结果包括的目标物的第一置信度，第一置信度为根据点云数据确定的目标物的类别的置信度；在第一置信度小于置信度阈值的情况下，获取初始融合结果包括的目标物在第一检测结果中对应的检测框的面积；若检测框的面积小于面积阈值，则从初始融合结果中剔除目标物。

在一个实施例中，修正类型为轨迹修正，处理器执行计算机程序时还实现以下步骤：

获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向；若点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。

在一个实施例中，点云数据是根据路侧激光雷达对待测区域进行检测得到的。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取同一时刻、同一场景下的点云数据和视频数据；对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；对第一检测结果与第二检测结果进行融合，得到初始融合结果；判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据外参矩阵将第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将点云目标从三维坐标系转换至第二检测结果中视频目标所在的二维坐标系；根据二维坐标系中的点云目标和视频目标确定初始融合结果中的目标物；其中，信息匹配概率大于匹配阈值的点云目标和视频目标为同一目标物，信息匹配概率用于表征点云目标与视频目标的位置重叠度。

在一个实施例中，修正类型为多目标误判修正，计算机程序被处理器执行时还实现以下步骤：

若初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在初始融合结果中的多个视频目标分别标记为不同的目标物；若初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在初始融合结果中的多个点云目标分别标记为不同的目标物。

在一个实施例中，修正类型为置信度修正，计算机程序被处理器执行时还实现以下步骤：

获取初始融合结果包括的目标物的第一置信度和第二置信度，第一置信度为根据点云数据确定的目标物的类别的置信度，第二置信度为根据视频数据确定的目标物的类别的置信度；将目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别。

在一个实施例中，修正类型为目标颜色修正，计算机程序被处理器执行时还实现以下步骤：

检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标；若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，则基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息。

在一个实施例中，修正类型为漏检修正，计算机程序被处理器执行时还实现以下步骤：

若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，在第二检测结果中不存在对应的视频目标，则将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为目标物的第二检测结果；若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，在第一检测结果中不存在对应的点云目标，则将视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的点云坐标系中，作为目标物的第一检测结果。

在一个实施例中，修正类型为虚检修正，计算机程序被处理器执行时还实现以下步骤：

获取初始融合结果包括的目标物的第一置信度，第一置信度为根据点云数据确定的目标物的类别的置信度；在第一置信度小于置信度阈值的情况下，获取初始融合结果包括的目标物在第一检测结果中对应的检测框的面积；若检测框的面积小于面积阈值，则从初始融合结果中剔除目标物。

在一个实施例中，修正类型为轨迹修正，计算机程序被处理器执行时还实现以下步骤：

获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向；若点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。

在一个实施例中，点云数据是根据路侧激光雷达对待测区域进行检测得到的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种多传感数据融合方法，其特征在于，包括如下步骤：

获取同一时刻、同一场景下的点云数据和视频数据；

对所述点云数据进行目标检测得到第一检测结果，对所述视频数据进行目标检测得到第二检测结果；

对所述第一检测结果与所述第二检测结果进行融合，得到初始融合结果；

判断所述初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正所述初始融合结果，输出数据融合结果；其中，所述修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一检测结果与所述第二检测结果进行融合，得到初始融合结果，包括：

根据外参矩阵将所述第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将所述点云目标从所述三维坐标系转换至所述第二检测结果中视频目标所在的二维坐标系；

根据所述二维坐标系中的点云目标和所述视频目标确定所述初始融合结果中的目标物；其中，信息匹配概率大于匹配阈值的所述点云目标和所述视频目标为同一所述目标物，所述信息匹配概率用于表征所述点云目标与所述视频目标的位置重叠度。

3.根据权利要求2所述的方法，其特征在于，所述修正类型为所述多目标误判修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：

若所述初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在所述初始融合结果中的所述多个视频目标分别标记为不同的目标物；

若所述初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在所述初始融合结果中的所述多个点云目标分别标记为不同的目标物。

4.根据权利要求1所述的方法，其特征在于，所述修正类型为置信度修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：

获取所述初始融合结果包括的目标物的第一置信度和第二置信度，所述第一置信度为根据所述点云数据确定的所述目标物的类别的置信度，所述第二置信度为根据所述视频数据确定的所述目标物的类别的置信度；

将所述目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为所述目标物的类别。

5.根据权利要求1所述的方法，其特征在于，所述修正类型为所述目标颜色修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：

检测所述初始融合结果包括的目标物在所述第二检测结果中是否存在对应的视频目标；

若所述初始融合结果包括的目标物在所述第二检测结果中存在对应的视频目标，则基于所述视频数据获取所述对应的视频目标的颜色信息，并将所述颜色信息作为所述目标物的颜色信息。

6.根据权利要求1所述的方法，其特征在于，所述修正类型为所述漏检修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：

若所述初始融合结果包括的目标物在所述第一检测结果中存在对应的点云目标，在所述第二检测结果中不存在对应的视频目标，则将所述点云目标的第一检测结果映射至所述第二检测结果中视频目标所在的二维坐标系中，作为所述目标物的第二检测结果；

若所述初始融合结果包括的目标物在所述第二检测结果中存在对应的视频目标，在所述第一检测结果中不存在对应的点云目标，则将所述视频目标的第二检测结果通过互学习模型转换至所述第一检测结果中点云目标所在的点云坐标系中，作为所述目标物的第一检测结果。

7.根据权利要求1所述的方法，其特征在于，所述修正类型为虚检修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：

获取所述初始融合结果包括的目标物的第一置信度，所述第一置信度为根据所述点云数据确定的所述目标物的类别的置信度；

在所述第一置信度小于置信度阈值的情况下，获取所述初始融合结果包括的目标物在所述第一检测结果中对应的检测框的面积；

若所述检测框的面积小于面积阈值，则从所述初始融合结果中剔除所述目标物。

8.根据权利要求1所述的方法，其特征在于，所述修正类型为所述轨迹修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：

获取所述初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向；

若所述点云目标的轨迹行驶方向发生跳变，而所述视频目标的轨迹行驶方向未发生跳变，则根据所述视频目标的轨迹行驶方向确定所述初始融合结果包括的目标物的行驶方向。

9.根据权利要求1所述的方法，其特征在于，所述点云数据是根据路侧激光雷达对待测区域进行检测得到的。

10.一种多源融合感知系统，其特征在于，所述系统包括：

数据获取模块，用于获取同一时刻、同一场景下的点云数据和视频数据；

目标检测模块，用于对所述点云数据进行目标检测得到第一检测结果，对所述视频数据进行目标检测得到第二检测结果；

目标融合模块，用于对所述第一检测结果与所述第二检测结果进行融合，得到初始融合结果；

结果修正模块，用于判断所述初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正所述初始融合结果，输出数据融合结果；其中，所述修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images