CN115331447A - 基于传感器融合的数据关联方法以及装置 - Google Patents

Abstract

本申请提供了一种基于传感器融合的数据关联方法以及装置，该方法包括：获取车辆的传感器采集的点云数据以及图像数据，并对点云数据进行特征提取，得到多个第一距离，以及对图像数据进行特征提取，得到多个目标特征，目标特征包括初始距离，第一距离以及初始距离均为车辆与待测目标之间的距离；采用预定模型处理多个目标特征，得到多个第二距离，预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，历史特征为目标特征的历史数据，历史距离为历史特征对应的待测目标与车辆之间的实际距离；对多个第一距离以及多个第二距离进行数据关联。本申请解决了自动驾驶车辆的相机在部分工况下测距误差较大的问题。

Description

基于传感器融合的数据关联方法以及装置

技术领域

本申请涉及自动驾驶领域，具体而言，涉及一种基于传感器融合的数据关联方法、关联装置、计算机可读存储介质、处理器以及自动驾驶系统。

背景技术

在辅助驾驶目标感知系统中，受传感器物理特性和自身设计缺陷影响，单传感器已无法满足复杂场景下障碍物精确感知。多传感器融合已成为当前智能驾驶感知领域的主流目标感知方法。

多传感器融合目前分为在所有传感器提供的原始信号融合成一个传感器数据再进行目标特征提取的前融合和各个传感器信号提取出特征后进行目标特征融合的后融合。目前辅助驾驶目标感知基本都是采用相机和毫米波雷达进行融合感知，感知融合策略主要是选用后融合。

后融合主要分为目标前处理、目标关联以及目标跟踪。其中最主要的就是目标关联，它决定着目标航迹的形成，直接影响到感知输出目标的稳定性和准确性，从而影响了车辆辅助驾驶功能的运行。为了保证辅助驾驶中的毫米波雷达目标与相机目标关联的准确性，目前业界主要采用的后融合目标关联方法如下：①根据目标类型、目标速度方向建立复杂的基于欧式距离和径向相似度的匹配逻辑，不同状态下的相机目标在不同阈值下进行与毫米波雷达目标的关联；②根据相机目标与毫米波雷达的特征建立目标之间的误差矩阵，采用匈牙利匹配的方法最小化误差矩阵完成目标的关联；③选定特定的波门计算波门内所有目标的关联概率，根据关联概率以及关联联合事件计算目标的最大后验估计完成目标的关联。

目前采用上述关联方法进行相机和毫米波雷达目标之间的关联依然存在如下问题：当前相机目标测距准确度并没达到全距离全天候都足够准确的程度，在远距离或者雨雾天气，相机目标的距离误差有点大，在这种误差下，目前的关联策略相机目标的关联率十分低，影响最后融合感知的性能。

因此，亟需一种方法，来解决现有技术中相机在部分工况下测距误差较大，影响多传感器的融合感知性能的问题。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种基于传感器融合的数据关联方法、关联装置、计算机可读存储介质、处理器以及自动驾驶系统，以解决现有技术中自动驾驶车辆的相机在部分工况下测距误差较大，影响多传感器的融合感知性能的问题。

根据本发明实施例的一个方面，提供了一种基于传感器融合的数据关联方法，包括：获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标之间的距离；采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；对多个所述第一距离以及多个所述第二距离进行数据关联。

可选地，所述初始距离为所述传感器测得的所述车辆与所述待测目标在第一方向上的距离分量，所述第一方向为所述车辆的行驶方向，对所述图像数据进行特征提取，得到多个目标特征，包括：对所述图像数据进行特征提取，得到各所述待测目标的类别、各所述待测目标对应的所述初始距离、第三距离、各所述待测目标沿所述第一方向的移动速度以及检测车道线长度，所述初始距离、所述第三距离、所述移动速度、所述类别以及所述车道线长度构成所述目标特征，其中，所述第三距离为所述传感器测得的所述车辆与所述待测目标在第二方向上的距离分量，所述第一方向与所述第二方向垂直，所述车道线长度为左车道线的长度与右车道线的长度的较大值，所述左车道线以及所述右车道线为所述车辆所在车道的车道线。

可选地，在采用预定模型处理多个所述目标特征之前，所述方法还包括：获取训练集

，其中，

为所述训练集，

为第i个所述历史特征，

为第i个所述历史距离，

，所述训练集中任意两个所述历史特征不同；建立最小二乘支持向量机模型

，其中，

，

为预设的所述最小二乘支持向量机模型的核函数，

是

矩阵，

中的元素

，

为所述目标特征，

为所述第二距离，I为单位矩阵，

为预设常量，

；将所述训练集代入所述最小二乘支持向量机模型，得到所述预定模型。

可选地，所述核函数为径向基函数核。

可选地，所述历史特征与对应的所述历史距离构成一个样本数据，在对多个所述第一距离以及多个所述第二距离进行数据关联之后，所述方法还包括：根据关联后的所述第一距离以及所述第二距离，确定所述目标特征为新的历史特征，关联后的所述第一距离为新的历史距离；确定所述训练集中，是否存在与所述新的历史特征相同的所述历史特征，以及是否存在于新的历史距离相同的所述历史距离；在不存在与所述新的历史特征相同的所述历史特征，且不存在与所述新的历史距离相同的所述历史距离的情况下，添加所述新的历史特征以及所述新的历史距离至所述训练集，并将预定样本数据从所述训练集中剔除，得到更新后的所述训练集，所述预定样本数据为最早添加至所述训练集中的所述样本数据；在存在与所述新的历史特征相同的所述历史特征的情况下，确定不更新所述训练集。

可选地，对多个所述第一距离以及多个所述第二距离进行数据关联，包括：获取关联阈值；计算各所述第二距离与所有的所述第一距离之间的差值，并确定小于或者等于所述关联阈值的所述差值为目标差值；在所述第二距离对应的所述目标差值有多个的情况下，确定多个所述目标差值中的最小值对应的所述第一距离与所述第二距离匹配；在所述第二距离对应的所述目标差值有一个的情况下，确定所述目标差值对应的所述第一距离与所述第二距离匹配。

根据本发明实施例的另一方面，还提供了一种基于传感器融合的数据关联方法，包括：获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标在第一方向上的距离，所述第三距离为所述传感器测得的所述车辆与所述待测目标在第二方向上的距离，所述第一方向与第二方向垂直，所述移动速度为所述待测目标沿所述第一方向的移动速度，所述类别为所述待测目标的类别，所述车道线长度为左车道线的长度与右车道线的长度的较大值，所述左车道线以及所述右车道线为所述车辆所在车道的车道线；采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；对多个所述第一距离以及多个所述第二距离进行数据关联。

可选地，在采用预定模型处理多个所述目标特征之前，所述方法还包括：获取训练集

，其中，

为所述训练集，

为第i个所述历史特征，

为第i个所述历史距离，

，所述训练集中任意两个所述历史特征不同；建立最小二乘支持向量机模型

，其中，

，

，

是

矩阵，

中的元素

，

为所述目标特征，

为所述第二距离，I为单位矩阵，

为预设常量，

；将所述训练集代入所述最小二乘支持向量机模型，得到所述预定模型。

可选地，所述历史特征与对应的所述历史距离构成一个样本数据，在对多个所述第一距离以及多个所述第二距离进行数据关联之后，所述方法还包括：根据关联后的所述第一距离以及所述第二距离，确定所述目标特征为新的历史特征，关联后的所述第一距离为新的历史距离；确定所述训练集中，是否存在与所述新的历史特征相同的所述历史特征，以及是否存在于新的历史距离相同的所述历史距离；在不存在与所述新的历史特征相同的所述历史特征，且不存在与所述新的历史距离相同的所述历史距离的情况下，添加所述新的历史特征以及所述新的历史距离至所述训练集，并将预定样本数据从所述训练集中剔除，得到更新后的所述训练集，所述预定样本数据为最早添加至所述训练集中的所述样本数据；在存在与所述新的历史特征相同的所述历史特征的情况下，确定不更新所述训练集。

可选地，对多个所述第一距离以及多个所述第二距离进行数据关联，包括：采用贪心算法匹配多个所述第一距离与多个所述第二距离，以确定与各所述第一距离匹配的所述第二距离。

根据本发明实施例的另一方面，还提供了一种基于传感器融合的数据关联装置，包括：第一获取单元，用于获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标之间的距离；第一处理单元，用于采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；第一关联单元，用于对多个所述第一距离以及多个所述第二距离进行数据关联。

根据本发明实施例的又一方面，还提供了一种基于传感器融合的数据关联装置，包括：第二获取单元，用于获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标在第一方向上的距离，所述第三距离为所述传感器测得的所述车辆与所述待测目标在第二方向上的距离，所述第一方向与第二方向垂直，所述移动速度为所述待测目标沿所述第一方向的移动速度，所述类别为所述待测目标的类别，所述车道线长度为左车道线的长度与右车道线的长度的较大值，所述左车道线以及所述右车道线为所述车辆所在车道的车道线；第二处理单元，用于采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；第二关联单元，用于对多个所述第一距离以及多个所述第二距离进行数据关联。

根据本发明实施例的再一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。

根据本发明实施例的又一方面，还提供了一种自动驾驶系统，包括自动驾驶车辆以及所述自动驾驶车辆的控制器，其中，所述自动驾驶车辆包括传感器；所述自动驾驶车辆的控制器包括一个或多个处理器，存储器以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。

采用本申请的技术方案，的基于传感器融合的数据关联方法中，首先对获取的点云数据以及图像数据进行特征提取，分别得到表征车辆与待测目标之间距离的第一距离以及目标特征，目标特征包括表征车辆与待测目标之间距离的初始距离；之后采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，预定模型为对目标特征的历史数据以及表征待测目标与车辆之间实际距离的历史距离进行非线性回归分析得到的；最后，对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的实施例的基于传感器融合的数据关联方法的流程示意图；

图2示出了根据本申请的实施例的预定模型的构建架构示意图；

图3示出了根据本申请的实施例的相机数据以及毫米波雷达数据的关联流程图；

图4示出了根据本申请的实施例的样本数据的生成架构图；

图5示出了根据本申请的实施例的基于传感器融合的数据关联方法的又一流程示意图；

图6示出了根据本申请的实施例的基于传感器融合的数据关联装置的示意图；

图7示出了根据本申请的实施例的基于传感器融合的数据关联装置的又一示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应该理解的是，当元件（诸如层、膜、区域、或衬底）描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。

正如背景技术中所说的，现有技术中自动驾驶车辆的相机在部分工况下测距误差较大，影响多传感器的融合感知性能，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种基于传感器融合的数据关联方法、关联装置、计算机可读存储介质、处理器以及自动驾驶系统。

根据本申请的实施例，提供了一种基于传感器融合的数据关联方法。

图1是根据本申请实施例的基于传感器融合的数据关联方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标之间的距离；

需要说明的是，上述车辆为自动驾驶车辆，上述传感器包括相机、激光雷达和/或毫米波雷达，上述点云数据为采用激光雷达或者毫米波雷达得到的点云数据，上述图像数据为采用相机得到的图像数据。

本申请实施例中，上述点云数据为车辆上的毫米波雷达采集得到的点云数据。

根据本申请的一种具体的实施例，上述初始距离为上述传感器测得的上述车辆与上述待测目标在第一方向上的距离分量，上述第一方向为上述车辆的行驶方向。对上述图像数据进行特征提取，得到多个目标特征的具体实现过程可以如下：

对上述图像数据进行特征提取，得到各上述待测目标的类别、各上述待测目标对应的上述初始距离、第三距离、各上述待测目标沿上述第一方向的移动速度以及检测车道线长度，上述初始距离

、上述第三距离

、上述移动速度

、上述类别

以及上述车道线长度

构成上述目标特征

，即目标特征为由上述五个特征组成的向量。其中，上述第三距离为上述传感器测得的上述车辆与上述待测目标在第二方向上的距离分量，上述第一方向与上述第二方向垂直，上述车道线长度为左车道线的长度与右车道线的长度的较大值，上述左车道线以及上述右车道线为上述车辆所在车道的车道线。

上述实施例中，根据相机输出图像数据的多目标属性，除了从上述图像数据中获取上述初始距离之外，还获取与上述初始距离相关的第三距离、移动速度、待测目标的类别以及车道线长度，上述初始距离、上述第三距离、上述移动速度、上述类别以及上述车道线长度构成上述目标特征，为后续的相机距离补偿以及相机数据与毫米波雷达数据的关联提供了准确的数据依据。

步骤S102，采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

需要说明的是，上述第二距离为通过上述预定模型对上述初始距离进行补偿得到的距离。

上述过程中，通过非线性回归分析法分析历史特征与历史距离之间的关系，得到预定模型，再采用该预定模型对包括上述初始距离的目标特征进行处理，得到第二距离，保证了得到的第二距离比较接近待测目标与车辆之间的真实距离，从而消除了相机在部分工况下的测距误差过大的问题，保证了得到的上述第二距离较为准确。

具体地，历史数据中，与相机数据（历史初始距离）匹配上的激光雷达数据（历史第一距离）就是上述历史距离。

在采用预定模型处理多个上述目标特征之前，上述方法还包括：

步骤S201，获取训练集

，其中，

为上述训练集，

为第i个上述历史特征，

为第i个上述历史距离，

，上述训练集中任意两个上述历史特征不同；

步骤S202，建立最小二乘支持向量机模型

，

其中，

，

为预设的上述最小二乘支持向量机模型的核函数，

是

矩阵，

中的元素

，

为上述目标特征，

为上述第二距离，I为单位矩阵，

为预设常量，

，

，“

”表示内积；

步骤S203，将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型。

上述的核函数可以采用最小二乘支持向量机中任意合适的核函数，本申请选用径向基函数核作为上述核函数，即

。

上述过程的具体流程如图2所示。上述实施例中，通过最小二乘支持向量机回归这种非线性回归方式，来拟合相机目标的5个特征（即初始距离、第三距离、移动速度、类别、车道线长度）与第二距离之间的关系，可以简化相机测距误差修正的过程，从而较为容易地解决现有技术中相机在部分工况下的测距误差过大的问题。并且，通过最小二乘支持向量机回归方法得到的上述预定模型不仅可以拥有良好的拟合性能，还可以保证模型泛化能力较强，从而保证得到的第二距离具有足够高的准确性。

上述历史特征由历史初始距离、历史第三距离、历史移动速度、历史类别以及历史车道线长度构成，其中，上述历史初始距离为上述初始距离的历史数据，也就是历史过程传感器测得的车辆与目标在上述第一方向上的距离。同样的，上述历史第三距离、上述历史移动速度、上述历史类别以及上述历史车道线长度依次对应为上述第三距离、上述移动速度、上述类别以及上述车道线长度的历史数据。

本申请中，为了简化计算过程，将车辆的类别划分为小车、大车以及其他车辆，将上述的第二距离按区间划分为{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}。当然，上述类别的划分以及移动速度的区间划分，并不限于上述的划分方式，还可以按照其他方式划分。

具体地，在将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型之后，在采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离之前，上述方法还包括：确定上述预定模型是否合格，合格条件为上述训练集中的样本数据的数量N是否大于或者等于预定数值，上述训练集的样本数据是否覆盖所有的上述类别，以及上述训练集中，每一个上述类别对应的样本数据是否覆盖所有的第二距离区间，在上述样本数据的数量N大于或者等于上述预定数值、上述样本数据覆盖所有的上述类别以及每一个上述类别对应的样本数据覆盖所有的第二距离区间的情况下，确定上述预定模型合格。具体的流程如图3所示。

在本申请中，需要预测的是相机目标纵向距离（即上述第二距离），为了保证非线性回归拟合的准确性，需要保证在它的取值范围内的样本足够充分，使得上述预定模型经过足够多的训练样本进行训练。也就是说上述训练集中的数据要足够多。

当然，为了防止上述预定模型很难启动工作，本申请只要保证不同车辆的类别对应的上述第二距离在检测范围内的数值能够得到遍历就可以，即保证：

小车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

大车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

其他车辆：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

每种类别对应的第二距离，在上述的每个区间都有一个样本即可样本。但是在实际的应用过程中，由于场景限制以及相机的检测特性，本申请设置上述预定模型合格的条件是满足区间{[10.0~11.0]，……，[119.0~120.0]}即可。

步骤S103，对多个上述第一距离以及多个上述第二距离进行数据关联。

对多个上述第一距离以及多个上述第二距离进行数据关联，包括：

步骤S1031，获取关联阈值；

步骤S1032，计算各上述第二距离与所有的上述第一距离之间的差值，并确定小于或者等于上述关联阈值的上述差值为目标差值；

步骤S1033，在上述第二距离对应的上述目标差值有多个的情况下，确定多个上述目标差值中的最小值对应的上述第一距离与上述第二距离匹配；

步骤S1034，在上述第二距离对应的上述目标差值有一个的情况下，确定上述目标差值对应的上述第一距离与上述第二距离匹配。

上述过程将满足关联阈值且距离最近的第一距离和第二距离匹配在一起，实现了通过简单的贪心算法进行相机数据与毫米波数据的数据关联，算法复杂度是log(n)。由于补偿后的相机测距（即上述第二距离）与真实距离之间的误差大幅度缩小，因此上述过程采用最简单的关联策略——贪心算法，直接将距离最近的毫米波雷达目标和相机目标匹配在一起，而无需通过选定特定的波门计算波门内所有目标的关联概率，根据关联概率以及关联联合事件计算目标的最大后验估计完成目标的关联的方法，来进行数据关联。相比于上述的关联方法，本申请的数据关联的复杂度大幅度降低，消耗的算力也大幅度降低。

另外，相比于现有技术中根据相机目标与毫米波雷达的特征建立目标之间的误差矩阵，再采用匈牙利匹配的方法，本申请由于补偿了相机目标纵向距离，解决了相机在部分工况下测距不准确的问题，因此本申请的相机纵向距离与毫米波纵向距离的关联率更高，误关联率更少，关联准确度更高。

上述历史特征与对应的上述历史距离构成一个样本数据，在对多个上述第一距离以及多个上述第二距离进行数据关联之后，上述方法还包括：

步骤S301，根据关联后的上述第一距离以及上述第二距离，确定上述目标特征为新的历史特征，关联后的上述第一距离为新的历史距离；

步骤S302，确定上述训练集中，是否存在与上述新的历史特征相同的上述历史特征，以及是否存在于新的历史距离相同的上述历史距离；

步骤S303，在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离构成的新的样本数据

至上述训练集，并将预定样本数据从上述训练集中剔除，得到更新后的上述训练集，上述预定样本数据为最早添加至上述训练集中的上述样本数据，也就是将训练集

变更为训练集

；

步骤S304，在存在与上述新的历史特征相同的上述历史特征的情况下，确定不更新上述训练集。

具体地，得到新的上述样本数据的流程如图4所示，上述过程用匹配上的毫米波雷达目标和相机目标组成新的训练样本更新训练集，来实时在线补偿通过现有的相机测距结果生成的训练集。相比现有技术中，在目前辅助驾驶规模化量产的情况下，不同车型传感器的安装差异所引发的传感器目标测距的差异，当前关联策略设定各种各样的阈值、波门门限或者误差方程系数，面对这种差异无法自适应调节很可能导致关联性能在不同车上表现不同，甚至出现部分车的辅助驾驶感知性能不满足功能需求。而本申请采用非线性回归的方法得到补偿后的新的相机目标纵向距离，同时非线性回归的训练集一直在随着传感器数据更新而不断改变，从而使得它不依赖传感器安装位置和车型变化，解决了不同车型相机安装标定所带来的差异化问题，保证了关联算法的泛化能力。相对于根据目标类型、目标速度方向建立复杂的基于欧式距离和径向相似度的匹配逻辑，不同状态下的相机目标在不同阈值下进行与毫米波雷达目标的关联的方法，本申请的通用性更强，不需要根据不同车型不同传感器特性设置各种各样的阈值参数，更加符合辅助驾驶系统量产的需求。

另外，在将一个数据补充进训练集中的情况下，会从训练集中剔除最早的样本数据，保证训练集中样本数据的数量始终保持一定，且保证了训练集的实时性较好。在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离至上述训练集，即实现了对训练集中的样本数据的重复性检查，保证了训练集的实用性较好。

上述的重复性检查是将新的历史特征中的五个特征与训练集中的每个样本数据的历史特征进行比较，如果在训练集中有与该五个特征重复的样本数据，则不生成新的历史特征对应的样本数据。这里所说的重复指在相应的区间里唯一，即类别三选一（大车、小车、其他）；历史距离在180m内每间隔2m内唯一、历史第三距离在左车道、当前车道和右车道三个车道唯一；历史距离在低速、同向高速、逆向高速三个区间唯一等等。

为了减少计算量，除了上述的重复性检查，本申请还可以对新的历史特征以及新的历史距离进行奇异性检查，具体如下：由于目前本申请的类别只包括大车、小车以及其他车辆，不处理行人和二轮车，因此在新的历史特征为行人或者二轮车的数据时，不生成对应的新的样本数据；针对历史距离只处理0~180米内的目标，因此在历史距离大于180米的情况下，不生成对应的新的样本数据；针对历史第三距离只处理当前车道和左右侧车道内的目标，在新的历史特征中的历史第三距离为其他车道的目标时，不生成对应的新的样本数据。

当然，上述的奇异性检查只是示例出了部分的检查内容，本领域技术人员可以在上述奇异性检查内容的基础上增加或者调整。

本申请的基于传感器融合的数据关联方法中，首先对获取的点云数据以及图像数据进行特征提取，分别得到表征上述车辆与待测目标之间距离的第一距离以及目标特征，上述目标特征包括表征上述车辆与待测目标之间距离的初始距离；之后采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；最后，对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

根据本申请实施例的另一方面，还提供了一种基于传感器融合的数据关联方法。图5是根据本申请实施例的基于传感器融合的数据关联方法的流程图。如图5所示，该方法包括以下步骤：

步骤S401，获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标在第一方向上的距离，上述第三距离为上述传感器测得的上述车辆与上述待测目标在第二方向上的距离，上述第一方向与第二方向垂直，上述移动速度为上述待测目标沿上述第一方向的移动速度，上述类别为上述待测目标的类别，上述车道线长度为左车道线的长度与右车道线的长度的较大值，上述左车道线以及上述右车道线为上述车辆所在车道的车道线；

需要说明的是，上述车辆为自动驾驶车辆，上述传感器包括相机、激光雷达和/或毫米波雷达，上述点云数据为采用激光雷达或者毫米波雷达得到的点云数据，上述图像数据为采用相机得到的图像数据。

本申请实施例中，上述点云数据为车辆上的毫米波雷达采集得到的点云数据。上述第一方向为车辆的行驶方向，上述初始距离为纵向距离。当然，上述第一方向并不限于车辆的行驶方向，其还可以为垂直于车辆的行驶方向的方向，上述初始距离还可以为横向距离。

上述实施例中，根据相机输出图像数据的多目标属性，从上述图像数据中获取初始距离、第三距离、移动速度、待测目标的类别以及车道线长度，上述初始距离

、上述第三距离

、上述移动速度

、上述类别

以及上述车道线长度

构成上述目标特征

，即目标特征为由上述五个特征组成的向量，为后续的相机距离补偿以及相机数据与毫米波雷达数据的关联提供了准确的数据依据。

步骤S402，采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

需要说明的是，上述第二距离为通过上述预定模型对上述初始距离进行补偿得到的距离。

上述过程中，通过非线性回归分析法分析历史特征与历史距离之间的关系，得到预定模型，再采用该预定模型对包括上述初始距离的目标特征进行处理，得到第二距离，保证了得到的第二距离比较接近待测目标与车辆之间的真实距离，从而消除了相机在部分工况下的测距误差过大的问题，保证了得到的上述第二距离较为准确。

具体地，历史数据中，与相机数据（历史初始距离）匹配上的激光雷达数据（历史第一距离）就是上述历史距离。

在采用预定模型处理多个上述目标特征之前，上述方法还包括：获取训练集

，其中，

为上述训练集，

为第i个上述历史特征，

为第i个上述历史距离，

，上述训练集中任意两个上述历史特征不同；建立最小二乘支持向量机模型

，其中，

，

，

是

矩阵，

中的元素

，

为上述目标特征，

为上述第二距离，I为单位矩阵，

为预设常量，

；将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型。

上述过程的具体流程如图2所示。上述实施例中，通过最小二乘支持向量机回归这种非线性回归方式，来拟合相机目标的5个特征（即初始距离、第三距离、移动速度、类别、车道线长度）与第二距离之间的关系，可以简化相机测距误差修正的过程，从而较为容易地解决现有技术中相机在部分工况下的测距误差过大的问题。并且，通过最小二乘支持向量机回归方法得到的上述预定模型不仅可以拥有良好的拟合性能，还可以保证模型泛化能力较强，从而保证得到的第二距离具有足够高的准确性。

上述历史特征由历史初始距离、历史第三距离、历史移动速度、历史类别以及历史车道线长度构成，其中，上述历史初始距离为上述初始距离的历史数据，也就是历史过程传感器测得的车辆与目标在上述第一方向上的距离。同样的，上述历史第三距离、上述历史移动速度、上述历史类别以及上述历史车道线长度依次对应为上述第三距离、上述移动速度、上述类别以及上述车道线长度的历史数据。

本申请中，为了简化计算过程，将车辆的类别划分为小车、大车以及其他车辆，将上述的第二距离按区间划分为{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}。当然，上述类别的划分以及移动速度的区间划分，并不限于上述的划分方式，还可以按照其他方式划分。

具体地，在将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型之后，在采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离之前，上述方法还包括：确定上述预定模型是否合格，合格条件为上述训练集中的样本数据的数量N是否大于或者等于预定数值，上述训练集的样本数据是否覆盖所有的上述类别，以及上述训练集中，每一个上述类别对应的样本数据是否覆盖所有的第二距离区间，在上述样本数据的数量N大于或者等于上述预定数值、上述样本数据覆盖所有的上述类别以及每一个上述类别对应的样本数据覆盖所有的第二距离区间的情况下，确定上述预定模型合格。具体的流程如图3所示。

在本申请中，需要预测的是相机目标纵向距离（即上述第二距离），为了保证非线性回归拟合的准确性，需要保证在它的取值范围内的样本足够充分，使得上述预定模型经过足够多的训练样本进行训练。也就是说上述训练集中的数据要足够多。

当然，为了防止上述预定模型很难启动工作，本申请只要保证不同车辆的类别对应的上述第二距离在检测范围内的数值能够得到遍历就可以，即保证：

小车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

大车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

其他车辆：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

每种类别对应的第二距离，在上述的每个区间都有一个样本即可样本。但是在实际的应用过程中，由于场景限制以及相机的检测特性，本申请设置上述预定模型合格的条件是满足区间{[10.0~11.0]，……，[119.0~120.0]}即可。

步骤S403，对多个上述第一距离以及多个上述第二距离进行数据关联。

对多个上述第一距离以及多个上述第二距离进行数据关联，具体包括：采用贪心算法匹配多个上述第一距离与多个上述第二距离，以确定与各上述第一距离匹配的上述第二距离。

上述过程通过贪心算法进行相机数据与毫米波数据的数据关联。由于补偿后的相机测距（即上述第二距离）与真实距离之间的误差大幅度缩小，因此上述过程采用最简单的关联策略——贪心算法，直接将距离最近的毫米波雷达目标和相机目标匹配在一起，而无需通过选定特定的波门计算波门内所有目标的关联概率，根据关联概率以及关联联合事件计算目标的最大后验估计完成目标的关联的方法，来进行数据关联。相比于上述的关联方法，本申请的数据关联的复杂度大幅度降低，消耗的算力也大幅度降低。

另外，相比于现有技术中根据相机目标与毫米波雷达的特征建立目标之间的误差矩阵，再采用匈牙利匹配的方法，本申请由于补偿了相机目标纵向距离，解决了相机在部分工况下测距不准确的问题，因此本申请的相机纵向距离与毫米波纵向距离的关联率更高，误关联率更少，关联准确度更高。

上述历史特征与对应的上述历史距离构成一个样本数据，在对多个上述第一距离以及多个上述第二距离进行数据关联之后，上述方法还包括：根据关联后的上述第一距离以及上述第二距离，确定上述目标特征为新的历史特征，关联后的上述第一距离为新的历史距离；确定上述训练集中，是否存在与上述新的历史特征相同的上述历史特征，以及是否存在于新的历史距离相同的上述历史距离；在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离至上述训练集，并将预定样本数据从上述训练集中剔除，得到更新后的上述训练集，上述预定样本数据为最早添加至上述训练集中的上述样本数据；在存在与上述新的历史特征相同的上述历史特征的情况下，确定不更新上述训练集。

具体地，得到新的上述样本数据的流程如图4所示，上述过程用匹配上的毫米波雷达目标和相机目标组成新的训练样本更新训练集，来实时在线补偿通过现有的相机测距结果生成的训练集。相比现有技术中，在目前辅助驾驶规模化量产的情况下，不同车型传感器的安装差异所引发的传感器目标测距的差异，当前关联策略设定各种各样的阈值、波门门限或者误差方程系数，面对这种差异无法自适应调节很可能导致关联性能在不同车上表现不同，甚至出现部分车的辅助驾驶感知性能不满足功能需求。而本申请采用非线性回归的方法得到补偿后的新的相机目标纵向距离，同时非线性回归的训练集一直在随着传感器数据更新而不断改变，从而使得它不依赖传感器安装位置和车型变化，解决了不同车型相机安装标定所带来的差异化问题，保证了关联算法的泛化能力。相对于根据目标类型、目标速度方向建立复杂的基于欧式距离和径向相似度的匹配逻辑，不同状态下的相机目标在不同阈值下进行与毫米波雷达目标的关联的方法，本申请的通用性更强，不需要根据不同车型不同传感器特性设置各种各样的阈值参数，更加符合辅助驾驶系统量产的需求。

另外，在将一个数据补充进训练集中的情况下，会从训练集中剔除最早的样本数据，保证训练集中样本数据的数量始终保持一定，且保证了训练集的实时性较好。在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离至上述训练集，即实现了对训练集中的样本数据的重复性检查，保证了训练集的实用性较好。

上述的重复性检查是将新的历史特征中的五个特征与训练集中的每个样本数据的历史特征进行比较，如果在训练集中有与该五个特征重复的样本数据，则不生成新的历史特征对应的样本数据。这里所说的重复指在相应的区间里唯一，即类别三选一（大车、小车、其他）；历史距离在180m内每间隔2m内唯一、历史第三距离在左车道、当前车道和右车道三个车道唯一；历史距离在低速、同向高速、逆向高速三个区间唯一等等。

为了减少计算量，除了上述的重复性检查，本申请还可以对新的历史特征以及新的历史距离进行奇异性检查，具体如下：由于目前本申请的类别只包括大车、小车以及其他车辆，不处理行人和二轮车，因此在新的历史特征为行人或者二轮车的数据时，不生成对应的新的样本数据；针对历史距离只处理0~180米内的目标，因此在历史距离大于180米的情况下，不生成对应的新的样本数据；针对历史第三距离只处理当前车道和左右侧车道内的目标，在新的历史特征中的历史第三距离为其他车道的目标时，不生成对应的新的样本数据。

当然，上述的奇异性检查只是示例出了部分的检查内容，本领域技术人员可以在上述奇异性检查内容的基础上增加或者调整。

本申请的基于传感器融合的数据关联方法中，首先，对车辆测得的点云数据进行特征提取，得到多个第一距离，对车辆测得的图像数据进行特征提取，得到多个目标特征，其中，目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，第一距离以及初始距离分别为车辆与待测目标在第一方向上的距离，第三距离为车辆与待测目标在与第一方向垂直的第二方向上的距离，移动速度为待测目标沿第一方向的移动速度，上述类别为上述待测目标的类别，车道线长度为左车道线的长度与右车道线的长度的较大值；之后，采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；最后，对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法处理从相机中提取出的5个目标特征，来对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种基于传感器融合的数据关联装置，需要说明的是，本申请实施例的基于传感器融合的数据关联装置可以用于执行本申请实施例所提供的用于基于传感器融合的数据关联方法。以下对本申请实施例提供的基于传感器融合的数据关联装置进行介绍。

图6是根据本申请实施例的基于传感器融合的数据关联装置的示意图。如图6所示，该装置包括：

第一获取单元10，用于获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标之间的距离；

需要说明的是，上述车辆为自动驾驶车辆，上述传感器包括相机、激光雷达和/或毫米波雷达，上述点云数据为采用激光雷达或者毫米波雷达得到的点云数据，上述图像数据为采用相机得到的图像数据。

本申请实施例中，上述点云数据为车辆上的毫米波雷达采集得到的点云数据。

根据本申请的一种具体的实施例，上述初始距离为上述传感器测得的上述车辆与上述待测目标在第一方向上的距离分量，上述第一方向为上述车辆的行驶方向。上述第一获取单元包括：

提取模块，用于对上述图像数据进行特征提取，得到各上述待测目标的类别、各上述待测目标对应的上述初始距离、第三距离、各上述待测目标沿上述第一方向的移动速度以及检测车道线长度，上述初始距离

、上述第三距离

、上述移动速度

、上述类别

以及上述车道线长度

构成上述目标特征

，即目标特征为由上述五个特征组成的向量。其中，上述第三距离为上述传感器测得的上述车辆与上述待测目标在第二方向上的距离分量，上述第一方向与上述第二方向垂直，上述车道线长度为左车道线的长度与右车道线的长度的较大值，上述左车道线以及上述右车道线为上述车辆所在车道的车道线。

上述实施例中，根据相机输出图像数据的多目标属性，除了从上述图像数据中获取上述初始距离之外，还获取与上述初始距离相关的第三距离、移动速度、待测目标的类别以及车道线长度，上述初始距离、上述第三距离、上述移动速度、上述类别以及上述车道线长度构成上述目标特征，为后续的相机距离补偿以及相机数据与毫米波雷达数据的关联提供了准确的数据依据。

第一处理单元20，用于采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

需要说明的是，上述第二距离为通过上述预定模型对上述初始距离进行补偿得到的距离。

上述过程中，通过非线性回归分析法分析历史特征与历史距离之间的关系，得到预定模型，再采用该预定模型对包括上述初始距离的目标特征进行处理，得到第二距离，保证了得到的第二距离比较接近待测目标与车辆之间的真实距离，从而消除了相机在部分工况下的测距误差过大的问题，保证了得到的上述第二距离较为准确。

具体地，历史数据中，与相机数据（历史初始距离）匹配上的激光雷达数据（历史第一距离）就是上述历史距离。

上述装置还包括：

第三获取单元，用于在采用预定模型处理多个上述目标特征之前，获取训练集

，其中，

为上述训练集，

为第i个上述历史特征，

为第i个上述历史距离，

，上述训练集中任意两个上述历史特征不同；

第一建立单元，用于建立最小二乘支持向量机模型

，

其中，

，

为预设的上述最小二乘支持向量机模型的核函数，

是

矩阵，

中的元素

，

为上述目标特征，

为上述第二距离，I为单位矩阵，

为预设常量，

，

，“

”表示内积；

第一代入单元，用于将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型。

上述的核函数可以采用最小二乘支持向量机中任意合适的核函数，本申请选用径向基函数核作为上述核函数，即

。

上述过程的具体流程如图2所示。上述实施例中，通过最小二乘支持向量机回归这种非线性回归方式，来拟合相机目标的5个特征（即初始距离、第三距离、移动速度、类别、车道线长度）与第二距离之间的关系，可以简化相机测距误差修正的过程，从而较为容易地解决现有技术中相机在部分工况下的测距误差过大的问题。并且，通过最小二乘支持向量机回归方法得到的上述预定模型不仅可以拥有良好的拟合性能，还可以保证模型泛化能力较强，从而保证得到的第二距离具有足够高的准确性。

上述历史特征由历史初始距离、历史第三距离、历史移动速度、历史类别以及历史车道线长度构成，其中，上述历史初始距离为上述初始距离的历史数据，也就是历史过程传感器测得的车辆与目标在上述第一方向上的距离。同样的，上述历史第三距离、上述历史移动速度、上述历史类别以及上述历史车道线长度依次对应为上述第三距离、上述移动速度、上述类别以及上述车道线长度的历史数据。

本申请中，为了简化计算过程，将车辆的类别划分为小车、大车以及其他车辆，将上述的第二距离按区间划分为{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}。当然，上述类别的划分以及移动速度的区间划分，并不限于上述的划分方式，还可以按照其他方式划分。

具体地，上述装置还包括：第一确定单元，用于在将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型之后，在采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离之前，确定上述预定模型是否合格，合格条件为上述训练集中的样本数据的数量N是否大于或者等于预定数值，上述训练集的样本数据是否覆盖所有的上述类别，以及上述训练集中，每一个上述类别对应的样本数据是否覆盖所有的第二距离区间，在上述样本数据的数量N大于或者等于上述预定数值、上述样本数据覆盖所有的上述类别以及每一个上述类别对应的样本数据覆盖所有的第二距离区间的情况下，确定上述预定模型合格。具体的流程如图3所示。

在本申请中，需要预测的是相机目标纵向距离（即上述第二距离），为了保证非线性回归拟合的准确性，需要保证在它的取值范围内的样本足够充分，使得上述预定模型经过足够多的训练样本进行训练。也就是说上述训练集中的数据要足够多。

当然，为了防止上述预定模型很难启动工作，本申请只要保证不同车辆的类别对应的上述第二距离在检测范围内的数值能够得到遍历就可以，即保证：

小车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

大车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

其他车辆：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

每种类别对应的第二距离，在上述的每个区间都有一个样本即可样本。但是在实际的应用过程中，由于场景限制以及相机的检测特性，本申请设置上述预定模型合格的条件是满足区间{[10.0~11.0]，……，[119.0~120.0]}即可。

第一关联单元30，用于对多个上述第一距离以及多个上述第二距离进行数据关联。

上述第一关联单元具体包括：

第一获取模块，用于获取关联阈值；

第一计算模块，用于计算各上述第二距离与所有的上述第一距离之间的差值，并确定小于或者等于上述关联阈值的上述差值为目标差值；

第一确定模块，用于在上述第二距离对应的上述目标差值有多个的情况下，确定多个上述目标差值中的最小值对应的上述第一距离与上述第二距离匹配；

第二确定模块，用于在上述第二距离对应的上述目标差值有一个的情况下，确定上述目标差值对应的上述第一距离与上述第二距离匹配。

上述过程将满足关联阈值且距离最近的第一距离和第二距离匹配在一起，实现了通过简单的贪心算法进行相机数据与毫米波数据的数据关联，算法复杂度是log(n)。由于补偿后的相机测距（即上述第二距离）与真实距离之间的误差大幅度缩小，因此上述过程采用最简单的关联策略——贪心算法，直接将距离最近的毫米波雷达目标和相机目标匹配在一起，而无需通过选定特定的波门计算波门内所有目标的关联概率，根据关联概率以及关联联合事件计算目标的最大后验估计完成目标的关联的方法，来进行数据关联。相比于上述的关联方法，本申请的数据关联的复杂度大幅度降低，消耗的算力也大幅度降低。

另外，相比于现有技术中根据相机目标与毫米波雷达的特征建立目标之间的误差矩阵，再采用匈牙利匹配的方法，本申请由于补偿了相机目标纵向距离，解决了相机在部分工况下测距不准确的问题，因此本申请的相机纵向距离与毫米波纵向距离的关联率更高，误关联率更少，关联准确度更高。

上述历史特征与对应的上述历史距离构成一个样本数据，上述装置还包括：

第二确定单元，用于在对多个上述第一距离以及多个上述第二距离进行数据关联之后，根据关联后的上述第一距离以及上述第二距离，确定上述目标特征为新的历史特征，关联后的上述第一距离为新的历史距离；

第三确定单元，用于确定上述训练集中，是否存在与上述新的历史特征相同的上述历史特征，以及是否存在于新的历史距离相同的上述历史距离；

第一添加单元，用于在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离构成的新的样本数据

至上述训练集，并将预定样本数据从上述训练集中剔除，得到更新后的上述训练集，上述预定样本数据为最早添加至上述训练集中的上述样本数据，也就是将训练集

变更为训练集

；

第四确定单元，用于在存在与上述新的历史特征相同的上述历史特征的情况下，确定不更新上述训练集。

具体地，得到新的上述样本数据的流程如图4所示，上述过程用匹配上的毫米波雷达目标和相机目标组成新的训练样本更新训练集，来实时在线补偿通过现有的相机测距结果生成的训练集。相比现有技术中，在目前辅助驾驶规模化量产的情况下，不同车型传感器的安装差异所引发的传感器目标测距的差异，当前关联策略设定各种各样的阈值、波门门限或者误差方程系数，面对这种差异无法自适应调节很可能导致关联性能在不同车上表现不同，甚至出现部分车的辅助驾驶感知性能不满足功能需求。而本申请采用非线性回归的方法得到补偿后的新的相机目标纵向距离，同时非线性回归的训练集一直在随着传感器数据更新而不断改变，从而使得它不依赖传感器安装位置和车型变化，解决了不同车型相机安装标定所带来的差异化问题，保证了关联算法的泛化能力。相对于根据目标类型、目标速度方向建立复杂的基于欧式距离和径向相似度的匹配逻辑，不同状态下的相机目标在不同阈值下进行与毫米波雷达目标的关联的方法，本申请的通用性更强，不需要根据不同车型不同传感器特性设置各种各样的阈值参数，更加符合辅助驾驶系统量产的需求。

另外，在将一个数据补充进训练集中的情况下，会从训练集中剔除最早的样本数据，保证训练集中样本数据的数量始终保持一定，且保证了训练集的实时性较好。在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离至上述训练集，即实现了对训练集中的样本数据的重复性检查，保证了训练集的实用性较好。

上述的重复性检查是将新的历史特征中的五个特征与训练集中的每个样本数据的历史特征进行比较，如果在训练集中有与该五个特征重复的样本数据，则不生成新的历史特征对应的样本数据。这里所说的重复指在相应的区间里唯一，即类别三选一（大车、小车、其他）；历史距离在180m内每间隔2m内唯一、历史第三距离在左车道、当前车道和右车道三个车道唯一；历史距离在低速、同向高速、逆向高速三个区间唯一等等。

为了减少计算量，除了上述的重复性检查，本申请还可以对新的历史特征以及新的历史距离进行奇异性检查，具体如下：由于目前本申请的类别只包括大车、小车以及其他车辆，不处理行人和二轮车，因此在新的历史特征为行人或者二轮车的数据时，不生成对应的新的样本数据；针对历史距离只处理0~180米内的目标，因此在历史距离大于180米的情况下，不生成对应的新的样本数据；针对历史第三距离只处理当前车道和左右侧车道内的目标，在新的历史特征中的历史第三距离为其他车道的目标时，不生成对应的新的样本数据。

当然，上述的奇异性检查只是示例出了部分的检查内容，本领域技术人员可以在上述奇异性检查内容的基础上增加或者调整。

本申请的基于传感器融合的数据关联装置中，通过第一获取单元对获取的点云数据以及图像数据进行特征提取，分别得到表征上述车辆与待测目标之间距离的第一距离以及目标特征，上述目标特征包括表征上述车辆与待测目标之间距离的初始距离；通过第一处理单元采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；通过第一关联单元对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

本申请实施例还提供了一种基于传感器融合的数据关联装置，需要说明的是，本申请实施例的基于传感器融合的数据关联装置可以用于执行本申请实施例所提供的用于基于传感器融合的数据关联方法。以下对本申请实施例提供的基于传感器融合的数据关联装置进行介绍。

图7是根据本申请实施例的基于传感器融合的数据关联装置的示意图。如图7所示，该装置包括：

第二获取单元40，用于获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标在第一方向上的距离，上述第三距离为上述传感器测得的上述车辆与上述待测目标在第二方向上的距离，上述第一方向与第二方向垂直，上述移动速度为上述待测目标沿上述第一方向的移动速度，上述类别为上述待测目标的类别，上述车道线长度为左车道线的长度与右车道线的长度的较大值，上述左车道线以及上述右车道线为上述车辆所在车道的车道线；

需要说明的是，上述车辆为自动驾驶车辆，上述传感器包括相机、激光雷达和/或毫米波雷达，上述点云数据为采用激光雷达或者毫米波雷达得到的点云数据，上述图像数据为采用相机得到的图像数据。

本申请实施例中，上述点云数据为车辆上的毫米波雷达采集得到的点云数据。上述第一方向为车辆的行驶方向，上述初始距离为纵向距离。当然，上述第一方向并不限于车辆的行驶方向，其还可以为垂直于车辆的行驶方向的方向，上述初始距离还可以为横向距离。

上述实施例中，根据相机输出图像数据的多目标属性，从上述图像数据中获取初始距离、第三距离、移动速度、待测目标的类别以及车道线长度，上述初始距离

、上述第三距离

、上述移动速度

、上述类别

以及上述车道线长度

构成上述目标特征

，即目标特征为由上述五个特征组成的向量，为后续的相机距离补偿以及相机数据与毫米波雷达数据的关联提供了准确的数据依据。

第二处理单元50，用于采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

需要说明的是，上述第二距离为通过上述预定模型对上述初始距离进行补偿得到的距离。

上述过程中，通过非线性回归分析法分析历史特征与历史距离之间的关系，得到预定模型，再采用该预定模型对包括上述初始距离的目标特征进行处理，得到第二距离，保证了得到的第二距离比较接近待测目标与车辆之间的真实距离，从而消除了相机在部分工况下的测距误差过大的问题，保证了得到的上述第二距离较为准确。

具体地，历史数据中，与相机数据（历史初始距离）匹配上的激光雷达数据（历史第一距离）就是上述历史距离。

上述装置还包括：

第四获取单元，用于在采用预定模型处理多个上述目标特征之前，获取训练集

，其中，

为上述训练集，

为第i个上述历史特征，

为第i个上述历史距离，

，上述训练集中任意两个上述历史特征不同；建立最小二乘支持向量机模型

，其中，

，

，

是

矩阵，

中的元素

，

为上述目标特征，

为上述第二距离，I为单位矩阵，

为预设常量，

；将上述训练集代入上述最小二乘支持向量机模型，得到上述预定模型。

上述过程的具体流程如图2所示。上述实施例中，通过最小二乘支持向量机回归这种非线性回归方式，来拟合相机目标的5个特征（即初始距离、第三距离、移动速度、类别、车道线长度）与第二距离之间的关系，可以简化相机测距误差修正的过程，从而较为容易地解决现有技术中相机在部分工况下的测距误差过大的问题。并且，通过最小二乘支持向量机回归方法得到的上述预定模型不仅可以拥有良好的拟合性能，还可以保证模型泛化能力较强，从而保证得到的第二距离具有足够高的准确性。

上述历史特征由历史初始距离、历史第三距离、历史移动速度、历史类别以及历史车道线长度构成，其中，上述历史初始距离为上述初始距离的历史数据，也就是历史过程传感器测得的车辆与目标在上述第一方向上的距离。同样的，上述历史第三距离、上述历史移动速度、上述历史类别以及上述历史车道线长度依次对应为上述第三距离、上述移动速度、上述类别以及上述车道线长度的历史数据。

本申请中，为了简化计算过程，将车辆的类别划分为小车、大车以及其他车辆，将上述的第二距离按区间划分为{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}。当然，上述类别的划分以及移动速度的区间划分，并不限于上述的划分方式，还可以按照其他方式划分。

具体地，上述装置还包括第五确定单元，上述第五确定单元用于确定上述预定模型是否合格，合格条件为上述训练集中的样本数据的数量N是否大于或者等于预定数值，上述训练集的样本数据是否覆盖所有的上述类别，以及上述训练集中，每一个上述类别对应的样本数据是否覆盖所有的第二距离区间，在上述样本数据的数量N大于或者等于上述预定数值、上述样本数据覆盖所有的上述类别以及每一个上述类别对应的样本数据覆盖所有的第二距离区间的情况下，确定上述预定模型合格。具体的流程如图3所示。

在本申请中，需要预测的是相机目标纵向距离（即上述第二距离），为了保证非线性回归拟合的准确性，需要保证在它的取值范围内的样本足够充分，使得上述预定模型经过足够多的训练样本进行训练。也就是说上述训练集中的数据要足够多。

当然，为了防止上述预定模型很难启动工作，本申请只要保证不同车辆的类别对应的上述第二距离在检测范围内的数值能够得到遍历就可以，即保证：

小车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

大车：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

其他车辆：{[0.0~1.0]，[1.0~2.0]，……，[179.0~180.0]}；

每种类别对应的第二距离，在上述的每个区间都有一个样本即可样本。但是在实际的应用过程中，由于场景限制以及相机的检测特性，本申请设置上述预定模型合格的条件是满足区间{[10.0~11.0]，……，[119.0~120.0]}即可。

第二关联单元60，用于对多个上述第一距离以及多个上述第二距离进行数据关联。

上述第二关联单元具体包括匹配模块，上述匹配模块用于采用贪心算法匹配多个上述第一距离与多个上述第二距离，以确定与各上述第一距离匹配的上述第二距离。

上述过程通过贪心算法进行相机数据与毫米波数据的数据关联。由于补偿后的相机测距（即上述第二距离）与真实距离之间的误差大幅度缩小，因此上述过程采用最简单的关联策略——贪心算法，直接将距离最近的毫米波雷达目标和相机目标匹配在一起，而无需通过选定特定的波门计算波门内所有目标的关联概率，根据关联概率以及关联联合事件计算目标的最大后验估计完成目标的关联的方法，来进行数据关联。相比于上述的关联方法，本申请的数据关联的复杂度大幅度降低，消耗的算力也大幅度降低。

另外，相比于现有技术中根据相机目标与毫米波雷达的特征建立目标之间的误差矩阵，再采用匈牙利匹配的方法，本申请由于补偿了相机目标纵向距离，解决了相机在部分工况下测距不准确的问题，因此本申请的相机纵向距离与毫米波纵向距离的关联率更高，误关联率更少，关联准确度更高。

上述历史特征与对应的上述历史距离构成一个样本数据，上述装置还包括：第六确定单元，用于在对多个上述第一距离以及多个上述第二距离进行数据关联之后，根据关联后的上述第一距离以及上述第二距离，确定上述目标特征为新的历史特征，关联后的上述第一距离为新的历史距离；第七确定单元，用于确定上述训练集中，是否存在与上述新的历史特征相同的上述历史特征，以及是否存在于新的历史距离相同的上述历史距离；第二添加单元，用于在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离至上述训练集，并将预定样本数据从上述训练集中剔除，得到更新后的上述训练集，上述预定样本数据为最早添加至上述训练集中的上述样本数据；第八确定单元，用于在存在与上述新的历史特征相同的上述历史特征的情况下，确定不更新上述训练集。

具体地，得到新的上述样本数据的流程如图4所示，上述过程用匹配上的毫米波雷达目标和相机目标组成新的训练样本更新训练集，来实时在线补偿通过现有的相机测距结果生成的训练集。相比现有技术中，在目前辅助驾驶规模化量产的情况下，不同车型传感器的安装差异所引发的传感器目标测距的差异，当前关联策略设定各种各样的阈值、波门门限或者误差方程系数，面对这种差异无法自适应调节很可能导致关联性能在不同车上表现不同，甚至出现部分车的辅助驾驶感知性能不满足功能需求。而本申请采用非线性回归的方法得到补偿后的新的相机目标纵向距离，同时非线性回归的训练集一直在随着传感器数据更新而不断改变，从而使得它不依赖传感器安装位置和车型变化，解决了不同车型相机安装标定所带来的差异化问题，保证了关联算法的泛化能力。相对于根据目标类型、目标速度方向建立复杂的基于欧式距离和径向相似度的匹配逻辑，不同状态下的相机目标在不同阈值下进行与毫米波雷达目标的关联的方法，本申请的通用性更强，不需要根据不同车型不同传感器特性设置各种各样的阈值参数，更加符合辅助驾驶系统量产的需求。

另外，在将一个数据补充进训练集中的情况下，会从训练集中剔除最早的样本数据，保证训练集中样本数据的数量始终保持一定，且保证了训练集的实时性较好。在不存在与上述新的历史特征相同的上述历史特征，且不存在与上述新的历史距离相同的上述历史距离的情况下，添加上述新的历史特征以及上述新的历史距离至上述训练集，即实现了对训练集中的样本数据的重复性检查，保证了训练集的实用性较好。

上述的重复性检查是将新的历史特征中的五个特征与训练集中的每个样本数据的历史特征进行比较，如果在训练集中有与该五个特征重复的样本数据，则不生成新的历史特征对应的样本数据。这里所说的重复指在相应的区间里唯一，即类别三选一（大车、小车、其他）；历史距离在180m内每间隔2m内唯一、历史第三距离在左车道、当前车道和右车道三个车道唯一；历史距离在低速、同向高速、逆向高速三个区间唯一等等。

为了减少计算量，除了上述的重复性检查，本申请还可以对新的历史特征以及新的历史距离进行奇异性检查，具体如下：由于目前本申请的类别只包括大车、小车以及其他车辆，不处理行人和二轮车，因此在新的历史特征为行人或者二轮车的数据时，不生成对应的新的样本数据；针对历史距离只处理0~180米内的目标，因此在历史距离大于180米的情况下，不生成对应的新的样本数据；针对历史第三距离只处理当前车道和左右侧车道内的目标，在新的历史特征中的历史第三距离为其他车道的目标时，不生成对应的新的样本数据。

当然，上述的奇异性检查只是示例出了部分的检查内容，本领域技术人员可以在上述奇异性检查内容的基础上增加或者调整。

本申请的基于传感器融合的数据关联装置中，通过第二获取单元对车辆测得的点云数据进行特征提取，得到多个第一距离，对车辆测得的图像数据进行特征提取，得到多个目标特征，其中，目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，第一距离以及初始距离分别为车辆与待测目标在第一方向上的距离，第三距离为车辆与待测目标在与第一方向垂直的第二方向上的距离，移动速度为待测目标沿第一方向的移动速度，上述类别为上述待测目标的类别，车道线长度为左车道线的长度与右车道线的长度的较大值；通过第二处理单元采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；通过第二关联单元对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法处理从相机中提取出的5个目标特征，来对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

上述基于传感器融合的数据关联装置包括处理器和存储器，上述的第一获取单元、第一处理单元、第一关联单元、第二获取单元、第二处理单元以及第二关联单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中自动驾驶车辆的相机在部分工况下测距误差较大，影响多传感器的融合感知性能的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述基于传感器融合的数据关联方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述基于传感器融合的数据关联方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标之间的距离；

步骤S102，采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

步骤S103，对多个上述第一距离以及多个上述第二距离进行数据关联，

或者执行程序时至少实现至少以下步骤：

步骤S401，获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标在第一方向上的距离，上述第三距离为上述传感器测得的上述车辆与上述待测目标在第二方向上的距离，上述第一方向与第二方向垂直，上述移动速度为上述待测目标沿上述第一方向的移动速度，上述类别为上述待测目标的类别，上述车道线长度为左车道线的长度与右车道线的长度的较大值，上述左车道线以及上述右车道线为上述车辆所在车道的车道线；

步骤S402，采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

步骤S403，对多个上述第一距离以及多个上述第二距离进行数据关联。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标之间的距离；

步骤S102，采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

步骤S103，对多个上述第一距离以及多个上述第二距离进行数据关联，

或者适于执行初始化有至少如下方法步骤的程序：

步骤S401，获取车辆的传感器采集的点云数据以及图像数据，并对上述点云数据进行特征提取，得到多个第一距离，以及对上述图像数据进行特征提取，得到多个目标特征，上述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，上述第一距离以及上述初始距离分别为上述传感器测得的上述车辆与待测目标在第一方向上的距离，上述第三距离为上述传感器测得的上述车辆与上述待测目标在第二方向上的距离，上述第一方向与第二方向垂直，上述移动速度为上述待测目标沿上述第一方向的移动速度，上述类别为上述待测目标的类别，上述车道线长度为左车道线的长度与右车道线的长度的较大值，上述左车道线以及上述右车道线为上述车辆所在车道的车道线；

步骤S402，采用预定模型处理多个上述目标特征，以对多个上述初始距离进行补偿，得到多个第二距离，上述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，上述历史特征为上述目标特征的历史数据，上述历史距离为上述历史特征对应的上述待测目标与上述车辆之间的实际距离；

步骤S403，对多个上述第一距离以及多个上述第二距离进行数据关联。

根据本申请实施例的又一方面，还提供了一种自动驾驶系统，包括自动驾驶车辆以及上述自动驾驶车辆的控制器，其中，上述自动驾驶车辆包括传感器；上述自动驾驶车辆的控制器包括一个或多个处理器，存储器以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的方法。

上述的自动驾驶系统包括自动驾驶车辆及其控制器，上述控制器用于执行任一种上述的方法，该方法通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好，从而保证了自动驾驶系统的性能较好。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1）、上述的基于传感器融合的数据关联方法中，首先对获取的点云数据以及图像数据进行特征提取，分别得到表征上述车辆与待测目标之间距离的第一距离以及目标特征，上述目标特征包括表征上述车辆与待测目标之间距离的初始距离；之后采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；最后，对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

2）、上述的基于传感器融合的数据关联方法中，首先，对车辆测得的点云数据进行特征提取，得到多个第一距离，对车辆测得的图像数据进行特征提取，得到多个目标特征，其中，目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，第一距离以及初始距离分别为车辆与待测目标在第一方向上的距离，第三距离为车辆与待测目标在与第一方向垂直的第二方向上的距离，移动速度为待测目标沿第一方向的移动速度，上述类别为上述待测目标的类别，车道线长度为左车道线的长度与右车道线的长度的较大值；之后，采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；最后，对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法处理从相机中提取出的5个目标特征，来对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

3）、上述的基于传感器融合的数据关联装置中，通过第一获取单元对获取的点云数据以及图像数据进行特征提取，分别得到表征上述车辆与待测目标之间距离的第一距离以及目标特征，上述目标特征包括表征上述车辆与待测目标之间距离的初始距离；通过第一处理单元采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；通过第一关联单元对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

4）、上述的基于传感器融合的数据关联装置中，通过第二获取单元对车辆测得的点云数据进行特征提取，得到多个第一距离，对车辆测得的图像数据进行特征提取，得到多个目标特征，其中，目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，第一距离以及初始距离分别为车辆与待测目标在第一方向上的距离，第三距离为车辆与待测目标在与第一方向垂直的第二方向上的距离，移动速度为待测目标沿第一方向的移动速度，上述类别为上述待测目标的类别，车道线长度为左车道线的长度与右车道线的长度的较大值；通过第二处理单元采用预定模型处理多个目标特征，来对多个初始距离进行补偿，得到多个第二距离，其中，上述预定模型为对上述目标特征的历史数据以及表征上述待测目标与上述车辆之间实际距离的历史距离进行非线性回归分析得到的；通过第二关联单元对多个第一距离以及补偿后得到的多个第二距离进行数据关联，来匹配相机目标与激光雷达目标。本申请通过非线性回归方法处理从相机中提取出的5个目标特征，来对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好。

5）、上述的自动驾驶系统包括自动驾驶车辆及其控制器，上述控制器用于执行任一种上述的方法，该方法通过非线性回归方法对相机的初始测距结果，也就是初始距离进行补偿，得到第二距离，该第二距离克服了相机由于远距离或者雨雾天气等影响导致的测试距离不准确的问题，保证了补偿后得到的第二距离接近实际距离，解决了相机在部分工况下的测距误差过大的问题，再将第二距离与雷达测距结果，即第一距离进行匹配，完成数据关联，可以使得关联成功率较高，避免了由于相机测距不准确导致的关联失败等问题，从而解决了由于相机的测距误差影响后续多传感器的融合感知性能的问题，保证了传感器的融合感知效果较好，从而保证了自动驾驶系统的性能较好。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种基于传感器融合的数据关联方法，其特征在于，包括：

获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标之间的距离；

采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；

对多个所述第一距离以及多个所述第二距离进行数据关联。

2.根据权利要求1所述的方法，其特征在于，所述初始距离为所述传感器测得的所述车辆与所述待测目标在第一方向上的距离分量，所述第一方向为所述车辆的行驶方向，对所述图像数据进行特征提取，得到多个目标特征，包括：

对所述图像数据进行特征提取，得到各所述待测目标的类别、各所述待测目标对应的所述初始距离、第三距离、各所述待测目标沿所述第一方向的移动速度以及检测车道线长度，所述初始距离、所述第三距离、所述移动速度、所述类别以及所述车道线长度构成所述目标特征，其中，所述第三距离为所述传感器测得的所述车辆与所述待测目标在第二方向上的距离分量，所述第一方向与所述第二方向垂直，所述车道线长度为左车道线的长度与右车道线的长度的较大值，所述左车道线以及所述右车道线为所述车辆所在车道的车道线。

3.根据权利要求1所述的方法，其特征在于，在采用预定模型处理多个所述目标特征之前，所述方法还包括：

获取训练集

，其中，

为所述训练集，

为第i个所述历史特征，

为第i个所述历史距离，

，所述训练集中任意两个所述历史特征不同；

建立最小二乘支持向量机模型

，

其中，

，

为预设的所述最小二乘支持向量机模型的核函数，

是

矩阵，

中的元素

，

为所述目标特征，

为所述第二距离，I为单位矩阵，

为预设常量，

；

将所述训练集代入所述最小二乘支持向量机模型，得到所述预定模型。

4.根据权利要求3所述的方法，其特征在于，所述核函数为径向基函数核。

5.根据权利要求3所述的方法，其特征在于，所述历史特征与对应的所述历史距离构成一个样本数据，在对多个所述第一距离以及多个所述第二距离进行数据关联之后，所述方法还包括：

根据关联后的所述第一距离以及所述第二距离，确定所述目标特征为新的历史特征，关联后的所述第一距离为新的历史距离；

确定所述训练集中，是否存在与所述新的历史特征相同的所述历史特征，以及是否存在于新的历史距离相同的所述历史距离；

在不存在与所述新的历史特征相同的所述历史特征，且不存在与所述新的历史距离相同的所述历史距离的情况下，添加所述新的历史特征以及所述新的历史距离至所述训练集，并将预定样本数据从所述训练集中剔除，得到更新后的所述训练集，所述预定样本数据为最早添加至所述训练集中的所述样本数据；

在存在与所述新的历史特征相同的所述历史特征的情况下，确定不更新所述训练集。

6.根据权利要求1至5中任一项所述的方法，其特征在于，对多个所述第一距离以及多个所述第二距离进行数据关联，包括：

获取关联阈值；

计算各所述第二距离与所有的所述第一距离之间的差值，并确定小于或者等于所述关联阈值的所述差值为目标差值；

在所述第二距离对应的所述目标差值有多个的情况下，确定多个所述目标差值中的最小值对应的所述第一距离与所述第二距离匹配；

在所述第二距离对应的所述目标差值有一个的情况下，确定所述目标差值对应的所述第一距离与所述第二距离匹配。

7.一种基于传感器融合的数据关联方法，其特征在于，包括：

获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标在第一方向上的距离，所述第三距离为所述传感器测得的所述车辆与所述待测目标在第二方向上的距离，所述第一方向与第二方向垂直，所述移动速度为所述待测目标沿所述第一方向的移动速度，所述类别为所述待测目标的类别，所述车道线长度为左车道线的长度与右车道线的长度的较大值，所述左车道线以及所述右车道线为所述车辆所在车道的车道线；

采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；

对多个所述第一距离以及多个所述第二距离进行数据关联。

8.根据权利要求7所述的方法，其特征在于，在采用预定模型处理多个所述目标特征之前，所述方法还包括：

获取训练集

，其中，

为所述训练集，

为第i个所述历史特征，

为第i个所述历史距离，

，所述训练集中任意两个所述历史特征不同；

建立最小二乘支持向量机模型

，

其中，

，

，

是

矩阵，

中的元素

，

为所述目标特征，

为所述第二距离，I为单位矩阵，

为预设常量，

；

将所述训练集代入所述最小二乘支持向量机模型，得到所述预定模型。

9.根据权利要求8所述的方法，其特征在于，所述历史特征与对应的所述历史距离构成一个样本数据，在对多个所述第一距离以及多个所述第二距离进行数据关联之后，所述方法还包括：

根据关联后的所述第一距离以及所述第二距离，确定所述目标特征为新的历史特征，关联后的所述第一距离为新的历史距离；

确定所述训练集中，是否存在与所述新的历史特征相同的所述历史特征，以及是否存在于新的历史距离相同的所述历史距离；

在不存在与所述新的历史特征相同的所述历史特征，且不存在与所述新的历史距离相同的所述历史距离的情况下，添加所述新的历史特征以及所述新的历史距离至所述训练集，并将预定样本数据从所述训练集中剔除，得到更新后的所述训练集，所述预定样本数据为最早添加至所述训练集中的所述样本数据；

在存在与所述新的历史特征相同的所述历史特征的情况下，确定不更新所述训练集。

10.根据权利要求7至9中任一项所述的方法，其特征在于，对多个所述第一距离以及多个所述第二距离进行数据关联，包括：

采用贪心算法匹配多个所述第一距离与多个所述第二距离，以确定与各所述第一距离匹配的所述第二距离。

11.一种基于传感器融合的数据关联装置，其特征在于，包括：

第一获取单元，用于获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标之间的距离；

第一处理单元，用于采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；

第一关联单元，用于对多个所述第一距离以及多个所述第二距离进行数据关联。

12.一种基于传感器融合的数据关联装置，其特征在于，包括：

第二获取单元，用于获取车辆的传感器采集的点云数据以及图像数据，并对所述点云数据进行特征提取，得到多个第一距离，以及对所述图像数据进行特征提取，得到多个目标特征，所述目标特征包括初始距离、第三距离、移动速度、类别以及车道线长度，所述第一距离以及所述初始距离分别为所述传感器测得的所述车辆与待测目标在第一方向上的距离，所述第三距离为所述传感器测得的所述车辆与所述待测目标在第二方向上的距离，所述第一方向与第二方向垂直，所述移动速度为所述待测目标沿所述第一方向的移动速度，所述类别为所述待测目标的类别，所述车道线长度为左车道线的长度与右车道线的长度的较大值，所述左车道线以及所述右车道线为所述车辆所在车道的车道线；

第二处理单元，用于采用预定模型处理多个所述目标特征，以对多个所述初始距离进行补偿，得到多个第二距离，所述预定模型为对多个历史特征以及多个历史距离进行非线性回归分析得到的模型，所述历史特征为所述目标特征的历史数据，所述历史距离为所述历史特征对应的所述待测目标与所述车辆之间的实际距离；

第二关联单元，用于对多个所述第一距离以及多个所述第二距离进行数据关联。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至6中任意一项或者权利要求7至10中任意一项所述的方法。

14.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项或者权利要求7至10中任意一项所述的方法。

15.一种自动驾驶系统，其特征在于，包括：

自动驾驶车辆，包括传感器；

所述自动驾驶车辆的控制器，包括：一个或多个处理器，存储器以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至6中任意一项或者权利要求7至10中任意一项所述的方法。

Images