CN110472553B - 图像和激光点云融合的目标追踪方法、计算装置和介质 - Google Patents

Abstract

基于2D图像数据和3D激光点云数据来追踪车辆周围的目标的目标追踪方法、计算装置、计算机可读介质，目标追踪方法包括：获得所追踪目标在3D空间中的K时刻的最优估计；利用K时刻的最优估计获得3D空间中的K+1时刻的预测值；判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；在判断不能时，利用K时刻的最优估计，将追踪目标投影到2D图像空间中，计算2D图像空间中对应目标投影区域的K时图像特征；利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。解决了在追踪过程中由于中远距离的激光点云稀疏以及消失等导致丢失追踪对象的问题，能够实时地准确地追踪对象，对于自动驾驶领域的准确追踪对象具有突出的作用。

Description

图像和激光点云融合的目标追踪方法、计算装置和介质

技术领域

本发明总体地涉及自动驾驶环境感知技术领域，具体涉及一种图像和激光点云融合的对象追踪方法。

背景技术

对象追踪技术是目前自动驾驶、视频监控，人机交互等领域的一个重要研究内容。在自动驾驶领域中，对象跟踪就是持续获取周围各类对象(车辆、行人、自行车、摩托车、动物等)的信息，并将不同帧之间的同一对象进行对应。由于行驶环境复杂多变，追踪过程通常需要融合多个传感器的数据，使用激光雷达和摄像机是当前较为实际的选择。然而，对于激光雷达而言，随着距离的增加，物体所反射的激光点会变得十分稀疏，远距离甚至不存在激光点云。而对于摄像机所采集的图像，能够包含中远距离的物体RGB信息，却缺乏深度信息。难点是，在远距离对象点云稀疏或者对象上的激光点云消失时，如何利用相机的2D信息进行弥补，使得3D空间中的对象能够被持续追踪。

专利文献US9183459公开了一种通过传感器融合提高检测可信度的方法，其在3D空间和2D空间分别进行了目标检测，3D检测方法为线性支持向量机，2D检测方法为DPM(Deformable parts model)，最后将目标检测的结果进行融合。对于每个3D检测的结果，与2D检测的窗口进行对比，并调整置信度。该方法是针对3D和2D空间分别检测并融合，如果2D有检测结果而3D无检测结果，该方法会惩罚DPM的置信度但无法解决3D数据缺失的问题。

专利文献CN108596081公开了一种基于雷达和摄像机融合的车辆行人探测方法，其采用摄像机采集前方场景信息，对采集到的图像使用区域提议卷积神经网络算法提取感兴趣的区域，同时对区域中的目标进行分类和定位，得到目标的识别结果，联合标定雷达和摄像机，循环计算雷达探测坐标系中的该坐标与雷达返回的探测结果偏差的最小值，最小值对应的探测目标就是摄像机探测到的目标在雷达坐标系中的探测结果，融合得到目标坐标和类别。但是其通过使用摄像机的内外参数，将图片中目标从图片像素坐标转换到车辆坐标系中得到目标在场景直角坐标系中的位置，该方法从2D空间投影到3D空间，2D本身缺乏深度，投影结果准确度较低。

非专利文献“Precision tracking with sparse 3D and dense color 2D data”公开了一种将稀疏激光点与高分辨率相机图像相结合，以获得密集彩色点云的方法。其思想是将已经聚类后的3D激光点投影到2D相机图片中，对于投影后形成的凸包中的每一个像素点，找到它临近四个象限的投影点；在3D空间找到雷达和目标车辆之间的点，作为遮挡点，投影到2D中，得到其周围四个象限的投影点；在3D空间中计算距离，大于阈值则去除遮挡点，不作插值运算。最后，用非线性插值来估计每个像素的3D位置。该方法是将稀疏的点云进行生成扩充，但对于中远距离点云严重缺失的情况并不适用。

非专利文献“带有量测数据丢失的虚观测鲁棒卡尔曼滤波算法”提出了一种基于虚观测值的鲁棒卡尔曼滤波算法，其针对伯努利分布描述的量测数据丢失的模型，使用趋势移动平均法来构造丢失数据时刻的虚观测值，并应用基于Huber方法的鲁棒卡尔曼滤波对当前状态进行估计。但其由历史数据所产生的虚观测值与实际观测值相比同目标真实信息的偏差会偏大，因此经过滤波跟踪后，其均方根误差比没有数据丢失情况的鲁棒卡尔曼滤波算法大。

在对象追踪的过程中，激光点云数据能够反映出对象在3D空间中的位置，而中远距离的激光点云存在稀疏以及消失的情况。对2D空间而言，摄像机所采集的图像具有密集的RGB信息，但在2D空间中的追踪对象缺乏深度信息，所以无法直接生成3D空间的位置信息。此外，可以利用深度学习的方法对图像进行深度估计，但深度估计的准确性较低，消耗大量的计算性能，无法满足自动驾驶的实时性要求。

发明内容

鉴于前述问题，提出了本发明。

根据本发明的一个方面，提供了一种基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标的目标追踪方法，包括：获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和预测值计算得到；利用K时刻的最优估计获得3D空间中的所述K+1时刻的预测值；判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；在判断不能从K+1时刻的3D激光点云数据检测出K+1时刻的观测值时，利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征；利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

可选的，利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值包括：在K+1时刻的2D图像空间中，确定与所述目标区域的K时图像特征匹配的匹配区域；在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；将所述多个候选3D对象中心点投影到2D图像空间中得到多个候选2D对象中心点；计算各个候选2D候选对象中心点中与所述匹配区域的距离，确定距离最小的候选2D对象中心点，将所述距离最小的候选2D对象中心点对应的候选3D对象中心点的相关数据作为k+1时刻的伪观测值。

可选的，利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值包括：在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；根据对象的几何信息计算每个候选3D对象中心点的外接长方体；将每个候选3D对象中心点的外接长方体投影到2D图像空间；计算每个候选3D对象中心点的外接长方体投影到2D图像空间的投影区域；计算各个投影区域的图像特征，与k时刻图像特征进行比较，找到最匹配的投影区域，并确定与最匹配的投影区域对应的候选3D对象中心点作为K+1时的伪观测值。

可选的，利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值包括：在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；将每个候选3D对象中心点投影到2D图像空间，得到候选2D对象中心点；根据对象的几何信息在2D图像空间确定每个候选2D对象中心点的外接矩形；计算各个外接矩形的图像特征，与k时刻图像特征进行比较，找到最匹配的外接矩形，并确定与最匹配的外接矩形对应的候选3D对象中心点作为K+1时的伪观测值。

可选的，目标追踪方法还包括：基于K+1时刻的伪观测值、K+1时刻的预测值，利用预定算法计算得到K+1时刻的最优估计。

可选的，目标追踪方法还包括：利用K+1时刻的最优估计获得3D空间中的所述K+2时刻的预测值；判断从K+2时刻的3D激光点云数据是否能检测出追踪目标；在确定从K+2时刻的3D激光点云数据不能检测出追踪目标时；利用所述3D激光点云空间中的追踪目标的K+1时刻的最优估计，将追踪目标投影到K+1时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K+1时图像特征；利用K+1时刻的最优估计、K+2时刻的预测值和K+1时图像特征，确定K+2时刻的伪观测值。

可选的，图像特征是方向梯度直方图HOG、局部二值模LBP、颜色直方图特征中的一个或组合。

可选的，所述产生多个3D候选对象中心点是基于概率方法产生的。

可选的，所述K时刻的最优估计的数据包括对象的中心点坐标(x,y,z)，追踪对象的长、宽、高、偏向角(l,w,h，θ)。

可选的，检测车辆周围的追踪目标方法是基于深度学习的3D点云的对象检测Voxelnet，pointNet、基于密度的聚类DBSCAN算法之一或者其组合。

可选的，检测车辆周围的追踪目标方法包括：忽略每个激光点的z值信息，将所有的点云投影到鸟瞰图上，将鸟瞰图划分为m×n个方格，每个方格的边长为a米，整个鸟瞰图将覆盖激光雷达前方长m'米，宽n'米的区域，在鸟瞰图下进行基于DBSCAN思想的对象检测。

可选的，采用恒定转率和速度模型CTRV或恒定转率和加速度模型CTRA进行目标预测。

可选的，获得所追踪目标在3D空间中的K时刻的最优估计包括：基于所述K时观测值和所述K时预测值，采用卡尔曼滤波、以及扩展卡尔曼滤波、无损卡尔曼滤波之一进行最优估计。

可选的，其中采用CTRV运动模型进行运动状态检测，以及采用无损卡尔曼滤波UKF来进行对追踪对象的最优估计。

可选的，目标追踪方法还包括：在2D图像空间中确定搜索区域，其中，利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值包括：在搜索区域中搜索所述匹配区域。

可选的，目标追踪方法还包括，在2D图像空间中确定搜索区域，丢弃落入搜索区域外的投影区域，只有落入搜索区域的投影区域，才作为候选2D对象中心点。

可选的，目标追踪方法还包括，在2D图像空间中确定搜索区域，丢弃落入搜索区域外的投影点，只有落入搜索区域的投影点，才作为候选2D对象中心点。

可选的，确定2D图像空间中的搜索区域包括：采用k时刻的追踪对象几何信息(l,w,h，θ)和k+1时刻追踪对象的中心点位置预测值(x,y,z)，构建k+1时刻追踪对象的外接长方体；将长方体的8个顶点从3D空间投影到2D空间，在2D空间计算投影追踪对象的外接矩形(x',y',w',h')，根据投影追踪对象的外接矩形，生成更大的矩形搜索窗(x',y',r·w',r·h')，其中r为控制搜索窗大小的系数，r大于1。

可选的，基于K+1时预测值，产生多个候选3D对象中心点包括：基于3D空间的追踪对象中心点预测值(x,y,z)，分别在x、y方向使用概率方法产生对象中心点的备选值，，其中，(x,y,z)为激光雷达坐标系，以激光雷达安装点为坐标原点，x轴方向朝前，y轴方向朝左，z轴方向朝上。

可选的，产生备选点的概率方法为使用高斯分布的3σ准则、时间序列分析。

可选的，产生备选点的概率方法为使用高斯分布的3σ准则，取数值分布在(μ-3σ,μ+3σ)中的高斯分布，在x方向上，取追踪对象中心点预测值x为高斯分布的均值，在(x-3σ,x+3σ)范围内产生点集N_x，其中σ取自于卡尔曼滤波中的协方差矩阵P,在y方向上产生点集N_y，N_x为大于1的整数，N_y为大于1的整数；遍历N_x、N_y中的所有点，保证z值不变，得到对象可能的中心点集N，其中，

x_i∈N_x,y_i∈N_y。

可选的，目标追踪方法中N_x>N_y。

根据本发明另一方面，提供了一种计算装置，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-22中任一项所述的目标追踪方法。

根据本发明再一方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行上面任一项所述的目标追踪方法。

根据本发明另一方面，提供了一种计算装置，用于基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标，包括：K时最优估计获得单元，用于获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和预测值计算得到；K+1时预测值获得单元，利用K时刻的最优估计获得3D空间中的所述K+1时刻的预测值；激光点云数据的目标检测判断单元，判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；伪观测值获得单元，用于在确定K+1时刻的3D激光点云数据的稀疏度大于预定程度阈值时，利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征；利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

根据本发明实施例的基于2D图像和3D激光点云融合来追踪对象的技术，解决了在追踪过程中，由于中远距离的激光点云稀疏以及消失等导致丢失追踪对象的问题，能够实时地准确地追踪对象，对于自动驾驶领域的准确追踪对象具有突出的作用。

附图说明

图1示出了根据本发明一个实施例的基于2D图像和3D激光点云融合的对象追踪方法100的总体流程。

图2示出了示例性地说明用于将激光点云聚类的鸟瞰图。

图3示出了示例性说明计算追踪对象外接长方体8个顶点的示意图。

图4示意性地示出了激光雷达坐标系、相机坐标系、像素坐标系的转换图。

图5示意性地示出了在2D空间中计算追踪对象外接矩形和搜索窗的示意图。

图6示出了根据本发明一个实施例的利用K时刻的最优估计、3D空间中K+1时刻的预测值和2D图像空间中的K时图像特征，计算K+1时刻的伪观测值的方法150的流程图。

图7示出了利用概率方法得到候选中心点中使用的高斯分布与3σ准则的示意图。

图8示出了根据本发明另一个实施例的利用K时刻的最优估计、3D空间中K+1时刻的预测值和2D图像空间中的K时图像特征，计算K+1时刻的伪观测值的方法150’的流程图。

图9示出了根据本发明再一个实施例的利用K时刻的最优估计、3D空间中K+1时刻的预测值和2D图像空间中的K时图像特征，计算K+1时刻的伪观测值的方法150”的流程图。

图10为根据本发明实施例的计算装置200的结构框图，该计算装置用于基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示出了根据本发明一个实施例的基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标的目标追踪方法的总体流程，其中在追踪过程中使用2D图像生成3D观测值。

具体情境为，车辆上配置有激光雷达和摄像头，由此获得3D激光点云和2D图像数据。理想地，在任一时刻，3D激光点云数据充足，能够从其检测到追踪目标，即获得观测值，又可以利用追踪技术来获得预测值，基于观测值和预测值来获得了最优估计。不过，实际上，总存在例如由于追踪对象距离本车辆太远从而本车激光雷达采集的有关追踪对象的点云数据不充分或者因为对象被遮挡等、激光雷达错误反射结果等而使得基于3D激光点云数据无法检测到追踪目标，即无法获得观测值。本实施例特别适合于在K时刻能够从3D激光点云数据检测到追踪目标，而在K+1时刻无法从3D激光点云数据检测到追踪目标的情况。

在步骤S110中，获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和预测值计算得到。

具体地，作为获得追踪对象的最优估计的示例方法，在K时刻，首先获得追踪对象的观测值，再将观测值与k时刻的预测值进行融合，获得k时刻的最优估计，最优估计的参数至少应包含追踪对象的中心点坐标(x,y,z)，追踪对象的长、宽、高、偏向角(l,w,h，θ)。

关于获得追踪对象在3D空间中的K时刻的观测值的方法，具体地，任何基于激光点云数据进行对象检测方法都适合本发明，包括基于深度学习的3D点云的对象检测算法(如Voxelnet，pointNet)、基于密度的聚类(如DBSCAN算法)等。Voxelnet首先将3D点云体素化，然后将含有点云的体素进行特征编码，通过3D卷积神经网络得到点云中不同类别物体的分类和精确的3D检测框。DBSCAN是一种典型的密度聚类算法，对于激光点云而言，将紧密相连的相同类别激光点聚集成一类，可以检测出目标对象。DBSCAN基于一组邻域来描述样本集的紧密程度，参数∈描述了某一样本的邻域距离阈值。一种性能较高的激光点云聚类方法是，如图2所示，忽略每个激光点的z值信息，将所有的点云投影到鸟瞰图上，将鸟瞰图划分为m×n个方格，每个方格的边长为a米，整个鸟瞰图将覆盖激光雷达前方长m'米，宽n'米的区域。可以取m＝500,n＝100,a＝0.2，则m'＝100,n'＝200。在鸟瞰图下进行基于DBSCAN思想的对象检测的基本流程如下：

(1)对于每个包含激光点云的方格x_i，如果未曾标记，则找到其∈邻域内的所有包含激光点云方格，做标记并加入当前簇Ω；

(2)遍历当前簇中的每个方格，重复步骤(1)，直到当前簇中所有方格的∈邻域无包含激光点云方格；

(3)计算并提取每个当前簇Ω的外接长方体，根据该长方体的几何特征，判断其是否为需要追踪的对象。

(4)遍历鸟瞰图中的每个方格，重复上述步骤，直至所有方格都被标记。

关于获得追踪目标的预测值的方法的示例，可以采用任何现有的运动模型进行目标预测，例如恒定转率和速度模型(CTRV)、恒定转率和加速度模型(CTRA)等。

下面以CTRV为例进行说明，在CTRV中，目标的状态量为：

其中，x、y是对象的坐标，θ为偏航角，是追踪的目标车辆在当前车辆坐标系下与x轴的夹角，逆时针方向为正，取值范围是[0,2π),ω是偏航角速度。CTRV的状态转移函数为：

公式描述了CTRV模型根据目标t时刻的状态量预测t+△t时刻的状态量。

关于观测值与预测值进行融合的方法，可以采用卡尔曼滤波、以及扩展卡尔曼滤波、无损卡尔曼滤波等。由于CTRV运动模型为非线性处理模型，本例将采用无损卡尔曼滤波(UKF)来进行对追踪对象的最优估计。UKF使用无损变换的统计线性化技术，通过n个在先验分布中采集的点(sigma点集)的线性回归来线性化随机变量的非线性函数，最终通过预测值和观测值的更新来获得追踪对象的最优估计。

关于使用无损卡尔曼滤波(UKF)来进行对追踪对象的最优估计的示例具体描述如下。

首先通过高斯分布产生sigma点集，假定状态的个数为n，我们会产生2n+1个sigma点，其中第一个就是我们当前状态的均值μ，sigma点集的均值的计算公式为：

其中，x为目标的状态量，λ是一个超参数，P为协方差矩阵，对于使用的CTRV模型状态个数n＝5，将产生11个sigma点。

使用非线性函数g()来进行预测sigma点集，g()具体实现为公式(2)的CTRV的状态转移函数：

x_k＝g(x_k-1,μ_k-1) (4)

计算出各个sigma点的权重w：

基于每个sigma点的权重去求新的分布的均值和协方差矩阵：

其中μ′即为我们基于CTRV模型预测的目标状态的先验分布的均值x_k|k-1，它是sigma点集中每个点各个状态量的加权和，P′即为先验分布的协方差(不确定性)P_k|k-1，由每个sigma点的方差的加权和求得。

对先验的非线性映射就可以表示为如下的sigma point预测：

Z_k|k-1为非线性测量映射函数，在本例中，Z_k|k-1为取目标状态量的(x y)坐标，R是测量噪声。

计算出sigma点集在状态空间和测量空间的互相关函数：

计算卡尔曼增益：

最后，做状态最优估计x_k|k和更新协方差矩阵：

x_k|k＝x_k|k-1+K_k|k-1(z_k-z_k|k-1) (12)

在步骤S120中，利用K-1时刻的最优估计获得3D空间中的所述K时刻的预测值。

总体而言，可以根据k时刻的最优估计值和运动模型，计算3D空间k+1时刻追踪对象的预测值。K+1时刻的追踪对象的预测值将用于与K+1时刻的观测值(在能够检测到追踪目标的情况下)或伪观测值一起来获得K+1时刻的追踪对象的最优估计。

具体地，根据3D空间中k时刻的追踪对象信息，使用运动模型计算k+1时刻追踪对象中心点的预测值，其中运动模型可以采用CTRV、CTRA等。通常运动模型所预测的物体位置等信息与真实值相比有误差，所以通常预测值并不适用于真实的目标追踪情景。例如追踪车辆等目标，多帧使用CTRV或CTRA运动模型，对于角速度参数没有观测值修正，会导致车辆有横向偏移，影响追踪效果。所以，此时需要用观测值修正预测值，才能得到最优的估计值。

在步骤S130中，判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值。

具体检测方法可以采用步骤S110中描述的方法。如前所述，由于距离过远、遮挡、传感器信号反馈错误等原因，有可能导致无法从3D激光点云数据检测到追踪对象，也即无法检测出K+1时刻的观测值。

在判断不能从K+1时刻的3D激光点云数据检测出K+1时刻的观测值时，前进到步骤S140。

在步骤S140中，利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征。

具体地，计算追踪对象的外接立方体的8个顶点，将追踪对象外接立方体的8个顶点从3D空间投影到2D空间，然后计算在2D空间中对应目标投影区域的K时图像特征。

具体地，(x,y,z)是追踪对象中心点在激光雷达坐标系下的位置坐标，l为追踪对象外接长方体的长度，w为外接长方体的宽度，h平行于z轴，为外接长方体的高度，θ为追踪对象的偏向角。如图3所示，计算1号顶点的坐标如下公式：

同理，可计算长方体的8个顶点坐标(x_n,y_n),n＝1,2...8。

为将长方体的8个顶点从3D空间投影到2D空间，可采用如下的坐标系转换方程：

其中，(X_w,Y_w,Z_w)为激光雷达坐标系下的点坐标，(X_c,Y_c,Z_c)为相机坐标系下的点坐标，(x,y)为像素坐标系下(2D图像空间)的点坐标。激光雷达坐标系转换到相机坐标系，包括平移、旋转两个部分，在公式中，R为3×3的旋转矩阵，T为3×1的平移矩阵，相机坐标系转换到像素坐标系，需要用到焦距f。坐标转换过程可以参考图4。

2D空间中追踪对象外接长方体的8个顶点坐标为(x_n',y_n'),n＝1,2...8，如图5中的追踪目标外接矩形所示，计算追踪对象的外接矩形(x',y',w',h')，其中(x',y')为矩形中心点，(w',h')为矩形的宽和高。

外接矩形的左上角顶点与右下角顶点的计算方法为：

然后计算矩形的中心点(x',y')和宽高(w',h')：

在2D图像空间中得到对象矩形区域之后，接下来计算追踪对象矩形区域的图像特征，其中图像特征可以使用方向梯度直方图(HOG)、局部二值模式(LBP)、颜色直方图特征等。在下面的示例中采用颜色直方图特征，具体地，计算图像中矩形区域的颜色直方图可以采用不同的颜色空间，例如RGB、HSV、HLS等，选取合适的bin划分相应的通道。从计算性能考虑，bin的数量不应过大，本例中使用HSV颜色空间，对H通道的bin值选择5，对S通道的bin值选择6。

以上计算2D图像空间的对应目标投影区域的K时图像特征方法仅为示例，可以采用其他方法来计算K时图像特征。认为一个对象的

在步骤S150中，利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

下面结合附图给出利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值的方法的具体描述。

图6示出了确定K+1时刻的伪观测值的一个示例性方法150的流程图。

在步骤S151中，在K+1时刻的2D图像空间中，确定与所述目标区域的K时图像特征匹配的匹配区域。

具体地，可以使用追踪对象的外接矩形区域按照一定的步长进行移动，每移动一步，确定当前的外接矩形区域的图像特征，将当前的外接矩形区域的图像特征与前面结合图1的步骤描述的目标投影区域的k时图像特征进行比较，确定出在一定范围内与K时图像特征最匹配的外接矩形区域作为匹配区域。

作为计算备选外接矩形区域与前述追踪对象的K时图像特征匹配程度的方法，例如，假设K时图像特征为颜色直方图，可以将每一个备选候选外接矩形区域的颜色直方图与k时刻的追踪对象的颜色直方图进行比较，计算颜色直方图相关度，并得到最大的相关度

和备选对象i。当

时，备选对象i的中心点在3D空间的坐标(x_i,y_i,z)为生成的k+1时刻最优的对象中心点。

在一个示例中，可以根据前面结合图1描述的步骤S120中的3D激光点云空间中的K+1时刻的预测值而来确定2D图像空间中的一个区域作为搜索区域。然后步骤S151中的确定匹配区域是在搜索区域内进行搜索的。后面将具体描述根据K+1时刻的预测值而来确定2D图像空间中的一个区域作为搜索区域的示例性方法。

在步骤S152中，在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点。

具体地，例如，基于3D空间的追踪对象中心点预测值(x,y,z)，分别在x、y方向使用概率方法产生对象中心点的备选值。用于产生备选点的概率方法可以使用高斯分布的3σ准则、时间序列分析等。本例采用3σ准则，具体地，根据高斯分布中3σ准则，如图7所示，数值分布在(μ-3σ,μ+3σ)中的概率为0.9973，在x方向上，取追踪对象中心点预测值x为高斯分布的均值，在(x-3σ,x+3σ)范围内产生点集N_x，其中σ可以取自于卡尔曼滤波中的协方差矩阵P,同理，在y方向上产生点集N_y。考虑到车辆在x方向上移动，而在y方向上偏移较小，本例取N_x个数为20，N_y个数为7。

然后，遍历N_x、N_y中的所有点，保证z值不变，得到对象可能的中心点集N，其中，

x_i∈N_x,y_i∈N_y。

这样就得到了多个候选3D对象中心点。

在步骤S153中，将所述多个候选3D对象中心点投影到2D图像空间中，得到多个候选2D对象中心点。

有关投影方法可参考前面步骤S140中所描述的内容。

在步骤S154中，计算各个候选2D对象中心点中与所述匹配区域的距离，确定距离最小的候选2D对象中心点，将所述距离最小的候选2D对象中心点对应的候选3D对象中心点的相关数据作为k+1时刻的伪观测值。

例如，可以采用欧式距离计算：

其中(x′_match,y′_match)是匹配区域中心点的坐标，(x′_i,y′_i)是第i个候选2D中心点。找出距离最小的候选2D对象中心点，设该最小距离为d_min，当d_min<d_threshold时，该最小距离对应的候选2D对象中心点在3D空间的坐标(x_i,y_i,z)为生成的k+1时刻最优的对象中心点，将其作为K+1时刻的伪观测值。其中，d_threshold为最小距离阈值，需要根据追踪对象的距离远近来确定，例如，对于分辨率为1024×768的图像，可以采用如下分段函数来确定d_threshold，其中x_i为对象中心点在激光雷达坐标系下x方向的坐标值

下面结合图8描述根据本发明另一实施例的利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值的方法150’，图8的150’与图6的150不同在于，图6中使用了匹配区域，而在图8中未使用匹配区域，而是直接计算各个候选外接矩形的图像特征，通过与k时图像特征的比较，来选取外接矩形。

在步骤S151’中，在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点。

在步骤S152’中，根据对象的几何信息计算每个候选3D对象中心点的外接长方体。

在步骤S153’中，将每个候选3D对象中心点的外接长方体投影到2D图像空间。

在步骤S154’中，计算每个候选3D对象中心点的外接长方体投影到2D图像空间的投影区域。

在步骤S155’中，计算各个投影区域的图像特征，与k时刻图像特征进行比较，找到最匹配的投影区域，并确定与最匹配的投影区域对应的候选3D对象中心点作为K+1时的伪观测值。

作为计算候选投影区域的图像与前述追踪对象的K时图像特征匹配程度的方法，可以采用相关度来评估。例如，假设K时图像特征为颜色直方图，可以将每一个候选投影区域的颜色直方图与k时刻的追踪对象的颜色直方图进行比较，计算颜色直方图相关度，并得到最大的相关度

和备选对象i。当

时，候选对象i的中心点在3D空间的坐标(x_i,y_i,z)为生成的k+1时刻最优的对象中心点，即可谓K+1时的伪观测值。

下面结合图9描述根据本发明另一实施例的利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值的方法150”，图9的150”与图8的150’不同在于图9中先投影点到图像空间，然后在图像空间计算外接矩形，而图8中是先在3D空间中计算外接立方体，然后把立方体投影到2D空间，得到外接矩形。

在步骤S151”中在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点。

在步骤S152”中，将每个候选3D对象中心点投影到2D图像空间，得到候选2D对象中心点。

在步骤S152”中，根据对象的几何信息在2D图像空间确定每个候选2D对象中心点的外接矩形。

在步骤S152”中，计算各个外接矩形的图像特征，与k时刻图像特征进行比较，找到最匹配的外接矩形，并确定与最匹配的外接矩形对应的候选3D对象中心点作为K+1时的伪观测值

需要说明的是，有关确定匹配区域，可以仅在搜索区域内搜索。另外在将3D候选对象中心点投影到2D图像空间中，可以丢弃落入搜索区域外的投影点，只有落入搜索区域的投影点才作为候选对象中心点；或者在将3D候选对象长方体投影到2D图像空间中，可以丢弃落入搜索区域外的投影矩形，只有落入搜索区域的投影矩形才作为候选对象矩形。

下面描述确定搜索区域的示例性方法。

可以使用多种方法或者融合的策略，确定2D空间中搜索区域(下文也称之为搜索窗)的中心位置和大小。

确定搜索窗的中心位置可以使用多种方法以及融合的策略。可以使用运动模型的预测值投影到2D空间的坐标来确定搜索窗的中心位置，或者采用KCF等图像目标追踪的方法，计算目标在2D空间的坐标，进而确定搜索窗的中心位置。此外，一种融合的策略是将运动模型的预测值在2D空间的坐标和图像目标追踪的结果进行融合，计算搜索窗的并集。

在一个示例中，采用k时刻的追踪对象几何信息(l,w,h，θ)和k+1时刻追踪对象的中心点预测值(x,y,z)，构建k+1时刻追踪对象的外接长方体。将长方体的8个顶点从3D空间投影到2D空间，在2D空间计算投影追踪对象的外接矩形(x',y',w',h')，根据投影追踪对象的外接矩形，生成更大的矩形搜索窗(x',y',r·w',r·h')。其中r为控制搜索窗大小的系数，在一个示例取r＝2效果较好。

回到图1，在步骤S130中，如果判断从K+1时刻的3D激光点云数据能检测出K+1时刻的观测值，则无需结合2D图像空间来计算伪观测值，而是可以如先前所述的，利用K+1时刻的观测值和所计算的K+1时刻的预测值，来获得K+1时刻的最优估计，。

需要说明的是，关于结合图1描述的目标追踪方法，可以迭代进行，也就是，基于K+1时刻的伪观测值、K+1时刻的预测值，利用预定算法计算得到K+1时刻的最优估计，然后以K+1时刻作为图1中的K时刻，来进行下一步的追踪。

具体地，下文仍以K+1时刻语境进行说明：利用K+1时刻的最优估计获得3D空间中的所述K+2时刻的预测值；判断从K+2时刻的3D激光点云数据是否能检测出追踪目标；在确定从K+2时刻的3D激光点云数据不能检测出追踪目标时，利用所述3D激光点云空间中的追踪目标的K+1时刻的最优估计，将追踪目标投影到K+1时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K+1时图像特征；利用K+1时刻的最优估计、K+2时刻的预测值和K+1时图像特征，确定K+2时刻的伪观测值。

图10为根据本发明实施例的计算装置200的结构框图，该计算装置用于基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标。

如图10所示，根据本发明实施例的用于基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标的计算装置200包括：K时最优估计获得单元210、K+1时预测值获得单元220、激光点云数据的目标检测判断单元230、伪观测值获得单元240。

K时最优估计获得单元210，用于获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和预测值计算得到。

K+1时预测值获得单元220，利用K时刻的最优估计获得3D空间中的所述K+1时刻的预测值。

激光点云数据的目标检测判断单元230，判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值。

伪观测值获得单元240，用于在确定K+1时刻的3D激光点云数据的稀疏度大于预定程度阈值时，利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征；利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

根据本发明一个实施例，提供了一种计算装置，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述目标追踪方法。

根据本发明一个实施例，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行上述目标追踪方法。

需要说明的是，本申请文件中的车辆应该做广义了解，包括各种交通工具，除了陆地上行驶的小汽车、大客车等外，也包括水上和空中行驶的交通工具。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (25)

1.一种基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标的目标追踪方法，包括：

获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和K时刻的预测值计算得到；

利用K时刻的最优估计获得3D空间中的K+1时刻的预测值；

判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；

在判断不能从K+1时刻的3D激光点云数据检测出K+1时刻的观测值时，

利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征；

利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

2.根据权利要求1的目标追踪方法，所述利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值包括：

在K+1时刻的2D图像空间中，确定与所述目标区域的K时图像特征匹配的匹配区域；

在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；

将所述多个候选3D对象中心点投影到2D图像空间中得到多个候选2D对象中心点；

计算各个候选2D候选对象中心点中与所述匹配区域的距离，确定距离最小的候选2D对象中心点，将所述距离最小的候选2D对象中心点对应的候选3D对象中心点的相关数据作为k+1时刻的伪观测值。

3.根据权利要求1的目标追踪方法，所述利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值包括：

在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；

根据对象的几何信息计算每个候选3D对象中心点的外接长方体；

将每个候选3D对象中心点的外接长方体投影到2D图像空间；

计算每个候选3D对象中心点的外接长方体投影到2D图像空间的投影区域；

计算各个投影区域的图像特征，与k时刻图像特征进行比较，找到最匹配的投影区域，并确定与最匹配的投影区域对应的候选3D对象中心点作为K+1时的伪观测值。

4.根据权利要求1的目标追踪方法，所述利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值包括：

在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；

将每个候选3D对象中心点投影到2D图像空间，得到候选2D对象中心点；

根据对象的几何信息在2D图像空间确定每个候选2D对象中心点的外接矩形；

计算各个外接矩形的图像特征，与k时刻图像特征进行比较，找到最匹配的外接矩形，并确定与最匹配的外接矩形对应的候选3D对象中心点作为K+1时的伪观测值。

5.根据权利要求1到4任一项的目标追踪方法，还包括：

基于K+1时刻的伪观测值、K+1时刻的预测值，利用预定算法计算得到K+1时刻的最优估计。

6.根据权利要求5所述的目标追踪方法，还包括：

利用K+1时刻的最优估计获得3D空间中的K+2时刻的预测值；

判断从K+2时刻的3D激光点云数据是否能检测出追踪目标；

在确定从K+2时刻的3D激光点云数据不能检测出追踪目标时，

利用所述3D激光点云空间中的追踪目标的K+1时刻的最优估计，将追踪目标投影到K+1时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K+1时图像特征；

利用K+1时刻的最优估计、K+2时刻的预测值和K+1时图像特征，确定K+2时刻的伪观测值。

7.根据权利要求1到4任一项所述的目标追踪方法，所述图像特征是方向梯度直方图HOG、局部二值模LBP、颜色直方图特征中的一个或组合。

8.根据权利要求2到4任一项所述的目标追踪方法，其中所述产生多个3D候选对象中心点是基于概率方法产生的。

9.根据权利要求1所述的目标追踪方法，所述K时刻的最优估计的数据包括对象的中心点坐标(x,y,z)，追踪对象的长、宽、高、偏向角(l,w,h，θ)。

10.根据权利要求7所述的目标追踪方法，检测车辆周围的追踪目标方法是基于深度学习的3D点云的对象检测Voxelnet，pointNet、基于密度的聚类DBSCAN算法之一或者其组合。

11.根据权利要求10所述的目标追踪方法，检测车辆周围的追踪目标方法包括：

忽略每个激光点的z值信息，将所有的点云投影到鸟瞰图上，将鸟瞰图划分为m×n个方格，每个方格的边长为a米，整个鸟瞰图将覆盖激光雷达前方长m'米，宽n'米的区域，在鸟瞰图下进行基于DBSCAN思想的对象检测。

12.根据权利要求7所述的目标追踪方法，采用恒定转率和速度模型CTRV或恒定转率和加速度模型CTRA进行目标预测。

13.根据权利要求1所述的目标追踪方法，获得所追踪目标在3D空间中的K时刻的最优估计包括：

基于所述K时刻的观测值和所述K时刻的预测值，采用卡尔曼滤波、以及扩展卡尔曼滤波、无损卡尔曼滤波之一进行最优估计。

14.根据权利要求13所述的目标追踪方法，其中采用CTRV运动模型进行运动状态检测，以及采用无损卡尔曼滤波UKF来进行对追踪对象的最优估计。

15.根据权利要求2所述的目标追踪方法，还包括：在2D图像空间中确定搜索区域，

其中，利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值包括：

在搜索区域中搜索所述匹配区域。

16.根据权利要求3所述的目标追踪方法，还包括：

在2D图像空间中确定搜索区域，

丢弃落入搜索区域外的投影区域，只有落入搜索区域的投影区域，才计算其图像特征，与k时刻图像特征进行比较，找到最匹配的投影区域。

17.根据权利要求3或4所述的目标追踪方法，

在2D图像空间中确定搜索区域，

丢弃落入搜索区域外的投影点，只有落入搜索区域的投影点，才作为候选2D对象中心点。

18.根据权利要求15所述的目标追踪方法，所述确定2D图像空间中的搜索区域包括：

采用k时刻的追踪对象几何信息(l,w,h，θ)和k+1时刻追踪对象的中心点位置预测值(x,y,z)，构建k+1时刻追踪对象的外接长方体；

将长方体的8个顶点从3D空间投影到2D空间，在2D空间计算投影追踪对象的外接矩形(x',y',w',h')，根据投影追踪对象的外接矩形，生成更大的矩形搜索窗(x',y',r·w',r·h')，其中r为控制搜索窗大小的系数，r大于1。

19.根据权利要求2到4任一项所述的目标追踪方法，所述基于K+1时预测值，产生多个候选3D对象中心点包括：

基于3D空间的追踪对象中心点预测值(x,y,z)，分别在x、y方向使用概率方法产生对象中心点的备选值，其中，(x,y,z)为激光雷达坐标系，以激光雷达安装点为坐标原点，x轴方向朝前，y轴方向朝左，z轴方向朝上。

20.根据权利要求19所述的目标追踪方法，产生备选点的概率方法为使用高斯分布的3σ准则、时间序列分析。

21.根据权利要求20所述的目标追踪方法，产生备选点的概率方法为使用高斯分布的3σ准则，

取数值分布在(μ-3σ,μ+3σ)中的高斯分布，在x方向上，取追踪对象中心点预测值x为高斯分布的均值，在(x-3σ,x+3σ)范围内产生点集N_x，其中σ取自于卡尔曼滤波中的协方差矩阵P,在y方向上产生点集N_y，N_x为大于1的整数，N_y为大于1的整数；

遍历N_x、N_y中的所有点，保证z值不变，得到对象可能的中心点集N，其中，

22.根据权利要求21所述的目标追踪方法，其中N_x>N_y。

23.一种计算装置，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-22中任一项所述的目标追踪方法。

24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1-22中任一项所述的目标追踪方法。

25.一种计算装置，用于基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标，包括：

K时最优估计获得单元，用于获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和预测值计算得到；

K+1时预测值获得单元，利用K时刻的最优估计获得3D空间中的K+1时刻的预测值；

激光点云数据的目标检测判断单元，判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；

伪观测值获得单元，用于在确定K+1时刻的3D激光点云数据的稀疏度大于预定程度阈值时，

利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征；

利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

Images