CN114114312A - 一种基于多焦距相机与激光雷达融合的三维目标检测方法 - Google Patents

Abstract

本发明请求保护一种基于多焦距相机与激光雷达融合的三维目标检测方法，属于自动驾驶、三维目标检测领域。包括以下步骤：1.多焦距相机由长短焦相机组成，对多焦距相机和激光雷达数据时空同步处理。2.利用分割网络分别对多焦距相机图像语义分割，利用分割结果生成视锥体，将激光雷达点云分别投影到长焦、短焦图像形成的视锥进行三维目标检测。3.利用多尺度图像金字塔实现长短焦图像特征点的精确匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。本发明能应用在自动驾驶或辅助驾驶车辆上，对车辆周围进行环境感知，具有分类准确，定位精度高的特点，特别是对远距离目标检测精度有提高。

Description

一种基于多焦距相机与激光雷达融合的三维目标检测方法

技术领域

本发明属于自动驾驶、三维目标检测、激光雷达等领域，具体涉及到长短焦相机与激光雷达融合的三维目标检测方法。

背景技术

随着辅助驾驶、智能驾驶技术的快速发展，辅助驾驶和智能驾驶的安全性收到越来越多的关注，司机一方面需要高的自动驾驶技术，能疲劳的驾驶过程中解放身心，一方面需要更好的安全性。智能汽车的行驶安全和车辆对于周围的环境感知密不可分，精确的识别路面的目标和障碍物，能为自动驾驶汽车提前做好路径规划和采取应急控制措施提供帮助。

近年来，基于图像和雷达点云的目标检测的深度神经网络迭代迅速，基于图像的目标检测在图像中检测到目标的位置和类别，并用一个矩形框将目标框出，然而它并不能检测到目标在三维世界坐标中的精确位置。使用激光雷达能够检测到车辆周围的所有物体的精确的位置信息，基于点云的神经网络也能够识别目标的类别和位置等信息，然而，点云数据稀疏，缺少语义信息，对远处的目标只能收到几个位置点。图像具有丰富的语义信息，位置信息少，将图像和激光雷达的点云信息结合来对目标进行探测是较好的方案。

目标检测得到快速的发展，环境感知也有了更高的需求，得到目标的三维信息和中心位置等。双目相机能够模拟人眼，通过视差估计能够获得场景中的深度信息，但是，双目相机的视差估计依赖很好的标定，对场景的深度估计准确性较差，不能获得目标准确的位置信息。

综上，三维目标检测是目标检测领域大势所趋，目前正在快速发展，目前的检测仍然存在对远处目标识别和位置估计不准确的问题。

经过检索，对比文件1，申请号为202011288888.5，一种基于长短焦多相机车辆环境下的目标检测和融合方法。该方法包括以下几个步骤：1.采用卷积神经网络对长短焦双目相机采集的图像进行目标检测，得到同一时刻下不同焦距相机所得图像中的目标框位置。2.根据相机成像原理和相机标定所得的内外参数K、R、T，可得到空间目标点P在长、短焦相机像素坐标系下的映射关系f。3.将长焦相机图像中的目标框位置，通过映射关系f,得到短焦相机图像中相应目标框的位置，再与原短焦相机图像中的目标进行融合，实现了不同距离条件下的目标检测任务。该发明虽然克服了单一焦距相机不能适应不同距离下目标检测的局限性，但是仅由视觉技术来获取目标的深度信息仍然不够准确，而雷达传感器刚好能提供精确的深度信息。除此之外，长短焦相机与雷达融合，能获取更大的环境感知范围。

对比文件2，申请号202011520256.7一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置信息。该发明虽然提高了全天候场景下的目标检测效果，但是对于场景中远处的目标仍然无法进行有效的检测，而本发明通过融合了长、短焦距相机的信息，有效地提高了场景中远处目标的检测精度，并且通过融合雷达数据，我们的方法也能适应全天候的场景。

对比文件3，申请号201910814532.1，一种基于双目相机和毫米波雷达的融合SLAM方法，其特征在于：包括以下步骤，通过双目相机(100)和毫米波雷达(200)采集图像和雷达数据；分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像中；对图像和雷达数据的处理结果进行融合，并根据融合后结果建立SLAM地图。该发明主要用于SLAM建图，而我们的方法则专注于提升目标检测的性能。除此之外，我们的方法采用了长、短焦距相机的数据信息进行融合，这使得我们的目标检测方法能检测到更远距离的目标。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于多焦距相机与激光雷达融合的三维目标检测方法。本发明的技术方案如下：

一种基于多焦距相机与激光雷达融合的三维目标检测方法，其包括以下步骤：

采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步；

用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，将点云分别投影到长短焦相机分割图像形成的视锥，视锥中的点云作为目标点云，求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息；

利用多尺度图像金字塔实现长短焦图像特征点的匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。

进一步的，车辆对周围环境感知，获取车辆周围的车辆的大小、位置和姿态，具体为目标车辆的相对位置，车辆的长、宽、高和偏航角。

进一步的，所述采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，具体包括：

多焦距相机由焦距不同的两个相机组成，用于观测车辆的正前方，多焦距相机水平放置，短焦相机位于左边，长焦相机位于右方，距离较近，有共同视野，同时采集图像；

激光雷达置于车顶，感知车辆四周的环境，选择激光雷达的扫描到车辆正前方的时间戳上的多焦距相机采集的图像数据，两传感器的数据采集间隔小于0.01秒。

进一步的，所述对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：

建立世界坐标系，标定长短焦相机，获得各自得内参和外参，得世界坐标系与短焦相机的旋转和平移矩阵为R₁、T₁，与长焦相机的旋转和平移矩阵R₂、T₂；世界坐标中一点P在世界坐标系、长焦相机坐标系、短焦相机坐标系下的非齐次线性坐标为

则：

联立两个等式可以得到

R₁₂、T₁₂为长短焦相机间的旋转平移矩阵，短焦相机与激光雷达间的旋转平移矩阵R₃、T₃，可得长焦相机与激光雷达间的旋转平移矩阵R₂₃、T₂₃。

进一步的，所述通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：

选择激光雷达与多焦距相机采集的数据中时间戳最接近的数据，得到时间同步的点云数据和多焦距相机图像数据。

根据激光雷达与长短焦像机的旋转平移矩阵和长短焦相机的内参矩阵，结合时间同步的点云数据和多焦距相机数据，可得点云中任何一点在图像中的像素坐标。实现了空间同步，完成图像数据与点云数据时空同步。

进一步的，所述用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，具体包括：

使用一语义分割网络分别对长焦、短焦相机图像语义分割，得到目标的类别c_i和语义分割区域；

语义分割网络指的是将图像中的每个像素分为一个类别，同一类物体具有相同的类别标签。一般由卷积层和池化层提取图像的特征，图片分辨率降低，特征层增加，再由反卷积层将图片分辨率恢复原始图片大小，得到图像中物体的类别和像素位置。

利用所得的语义分割区域，结合标定好的长、短焦相机内参和投影矩阵，生成视锥，利用激光雷达和相机间的转换关系RT矩阵，将激光雷达获得的点云数据投影到视锥中，过滤掉视锥外的点云，保留视锥内的点云。

视锥:如图2所示，图像中一区域可由光轴和该区域生成金字塔形状，由相平面至远处平面物体都会成像到该区域，使用语义分割获取检测物体的边缘，由该边缘生成视锥。根据相机的内参和投影矩阵，得到相机光心的三维坐标和像平面中一点的三维坐标，即可由两点绘制三维空间中的一条直线，该直线上沿光心方向远离图像平面的任何一点在图像上像素坐标相同，沿语义分割所得目标的掩码边缘所有像素点与光心可建立视锥。

进一步的，所述求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息；具体包括：

采用随机一致性算法，利用点云的欧式距离，计算每个目标的点云的中心点作为该目标的质心(x_i,y_i,z_i)；

设定一个距离阈值z_t，当视锥中的目标质心的深度信息z_i小于该阈值时，将视锥中的点云输入点云检测网络，获得目标的类别，中心点位置，长宽高和偏航角；

当视锥中的目标质心的深度信息z_i大于该阈值时，以目标点云的质心为原点，相机坐标系的光心方向为z轴，右方为x轴建立右手坐标系，以目标点云的空间范围建立三维框。将点云质心，三维框与分割所得的目标类别c_i输入到神经网络，对目标的质心和三维框进行回归。

进一步的，所述采用随机一致性算法，利用点云的欧式距离，计算每个目标的点云的中心点作为该目标的质心(x_i,y_i,z_i)；

随机采样一致性算法是从一组包含异常值的观测数据集中估计其数学模型参数的迭代方法。随机选取一视锥中点云的一个点(x,y,z)，计算其与视锥中所有点的欧式距离和

(N为视锥中点云的总数，j为视锥中一点云)，迭代g次，每次选取的点不能与以前的相同，取其中使欧式距离和最小的一点(x_i,y_i,z_i)作为该目标的质心。

进一步的，所述利用多尺度图像金字塔实现长短焦图像特征点的匹配，通过特征匹配建立长短焦分割图像目标间的联系，具体包括：

根据长短焦相机的焦距比，分别建立同一时刻长短焦图像多尺度特征金字塔，提取长短焦图像的特征点；

将图像缩放得到图像的多尺度特征金字塔，使得长焦图像中的目标与短焦图像中的目标具有相同尺度，长短焦多尺度特征金字塔特征金字塔特征点匹配具体算法如下；

根据长短焦相机的焦距比s和长短相机的投影矩阵，将长焦多尺度图像金字塔的第n层的特征点与短焦多尺度图像金字塔第0层的特征点进行匹配，每一次长短焦图像的匹配都隔n-1层；

保留长短焦图像匹配的特征点，根据尺度缩放因子，将特征点映射回长短焦分割图像，对于长短焦图像分割掩码都有特征点的情况，建立长短焦分割图像目标间的联系。

进一步的，所述对三维目标检测的结果数据关联和融合，具有以下步骤：

对于长短焦分割图像建立联系的目标，根据视锥的关联查询到目标的类别，中心位置，长宽高和偏航角，由于远处的目标在长焦中呈现的像素范围更大，对于边缘检测更精准，对该目标使用长焦检测到的类别、中心位置、长宽高、偏航角等信息；将长短焦目标分割未建立联系的目标作为新的目标，将融合后的目标与新的目标的三维信息映射到短焦图像和点云图像上，便于观察。

本发明的优点及有益效果如下：

1)本发明利用多焦距相机组合，短焦相机检测较大视野范围内的目标，长焦相机检测较远位置的目标，短焦图像远距离目标的呈现像素少，识别精度差，长焦视野范围比较窄，不能呈现近处目标，本方法将长焦和短焦的相机结合，各取优势，解决了前方对车辆前方较大视野范围和较远目标的检测。

2)本发明利用语义分割网络分割图像上的目标，利用分割掩码生成视锥的方法，充分利用图像的语义信息对目标进行检索，避免目标遗漏，提高检测目标的命中率。

3)本发明将点云投影到视锥，基于欧式距离得到目标的中心点，由中心点的深度信息对预测的结构进行进行分类，首先减小了三维目标检测的搜索范围，减少了计算量，节省了计算时间，其次，对目标深度小于阈值的直接使用最快的点云检测方法，加快了预测速度，最后对大于阈值的目标进行回归，能够检测远距离的目标的三维信息。

4)本发明提出一种新的融合策略，本发明利用多尺度图像金字塔特征点匹配的方法，关联长短焦图像特征，建立长短焦图像分割目标间的联系，在由此建立三维目标间联系，对目标数据关联和融合。数据关联的目标精确，避免目标间的混合和重复利用，实现了目标级别的融合，具有目标覆盖范围广，遗漏少的特点。

常规方法通过图像的目标检测生成的矩形框形成视锥，本方法使用图像语义分割掩码形成视锥，视锥贴合物体的边缘，能更准确的过滤掉视锥中非目标点云，更准确的获得车辆目标的点云信息。

点云投影到视锥过滤掉了背景点云，只保留含有目标的前景点云，在预测的时候只用含目标的点云预测，减少了点云预测的计算量，加快了三维目标检测的速度。

由中心点深度信息判断预测的结构，创新在于，图像有丰富的语义信息，缺乏深度信息，目前基于图像的三维目标检测都不能预测远距离目标的三维信息，近距离三维目标检测准确率比基于激光雷达的差。激光雷达有精确的距离信息，但是缺乏语义信息，远距离目标的点云稀疏，不能获得很好的语义信息，近距离三维目标检测，激光雷达的三维目标检测方法检测速度普遍快于基于图像的三维目标检测方法。普遍方法是利用单传感器数据检测目标三维信息，只能预测近距离目标三维信息。目标距离近，有足够点云信息，使用基于激光雷达的三维目标检测能加快三维目标检测的速度。距离远的目标，使用图像语义分割的类别作为输入，对点云进行三维边界框回归，三维目标的类别预测更准确，初始化三维目标框回归目标三维边界框，减少特征提取，减少计算量。常规的方法基于单目图像特征点检测的方法或深度估计的方法不能预测远距离目标，甚至近距离三维目标检测的准确率也较差；基于激光雷达的三维目标检测方法，由于缺少语义信息，类别预测较差，不能预测远距离三维目标类别，遗漏远距离的目标。所以，本方法用目标深度对三维目标的检测方式分类，减少了三维目标检测的计算量，加快了推理速度，能够预测远距离的小目标类别和回归它的三维边界框。

新的融合策略创新在于利用多尺度图像金字塔特征点匹配的方法，关联长短焦图像特征，建立长短焦图像分割目标间的联系，由此建立三维目标间联系，对目标数据关联和融合。这是常规方法没有的，常规方法采用投影方式将点云信息投影到图像，三维目标检测结果高度依赖图像检测结果。图像的特征点能精准匹配两幅图像间的相似信息，即使有相似类别，特征点也有差异，两幅图像特征点匹配，位置也能够相互对应。长短焦图像相同目标的大小比例不一样，这对特征点匹配是一个难题，采用多尺度图像特征金字塔能很好的解决这个问题，因此长短焦图像语义分割目标能很好的对应，长焦三维目标检测与短焦三维目标检测结果能很好的对应，数据关联更加准确。

附图说明

图1是本发明提供优选实施例具体实施的流程图；

图2视锥生成和点云投影图；

图3长短焦相机匹配图；

图4长短焦相机特征金字塔匹配图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明针对以上的技术问题，提出一种基于多焦距相机与激光雷达融合的三维目标检测方法。

一种基于多焦距相机与激光雷达融合的三维目标检测方法，用于车辆对周围的车辆感知，所述多焦距相机为焦距不同的两个相机，所述三维目标检测为本车周围的车辆类别，周围车辆中心相对本车的位置，周围车辆的长、宽、高及偏航角，共包括以下步骤：

1.多焦距相机由焦距不同的相机组成，长短焦相机联合标定，长短焦相机和激光雷达时间和空间同步。长短焦相机主要采集车辆前方的图像，对车辆前方的环境进行感知，雷达感知车辆周围的环境，对多焦距相机联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步。

11)长短焦相机采集的图像为RGB三通道的彩色图像，激光雷达采集的数据为(x,y,z,a)四维的数据，(x,y,z)表示激光雷达反射点的三维位置，a表示反射强度)

12)多焦距相机由焦距不同的两个相机组成，用于观测车辆的正前方，多焦距相机光心平行，处在同一平面，多焦距相机相距30cm，有共同视野多焦距相机同时采集图像，。

13)激光雷达置于车顶，感知车辆四周的环境，选择激光雷达的扫描到车辆正前方的时间戳上的多焦距相机采集的图像数据，两传感器的数据采集间隔小于0.01秒

14)在车辆前方摆放标定板，标定板位于多焦距相机的共同视野范围，标定板以不同姿势摆放，多焦距相机采集图像，对多焦距相机进行内外参标定。

15)建立世界坐标系，标定长短焦相机，获得各自得内参和外参，得世界坐标系与短焦相机的旋转和平移矩阵为R₁、T₁，与长焦相机的旋转和平移矩阵R₂、T₂。世界坐标中一点P在世界坐标系、长焦相机坐标系、短焦相机坐标系下的非齐次线性坐标为

则：

联立两个等式可以得到

16)R₁₂、T₁₂为长短焦相机间的旋转平移矩阵，短焦相机与激光雷达间的旋转平移矩阵R₃、T₃。可得长焦相机与激光雷达间的旋转平移矩阵R₂₃、T₂₃。

2.用神经网络分别对长短焦图像语义分割，利用分割结果生成视锥，将点云分别投影到长短焦相机分割图像形成的视锥，求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息。

21)使用一种图像分割网络对长短焦相机图像中的目标语义分割，获得目标的分割分数c_i和分割掩码M_i，也就是图像中目标像素的边缘。

22)利用所得的语义分割区域，结合标定好的长、短焦相机内参和投影矩阵，生成视锥，利用激光雷达和相机间的转换关系R_T矩阵，将激光雷达获得的点云数据投影到视锥中，过滤掉视锥外的点云，保留视锥内的点云。

23)采用随机一致性算法，利用点云的欧式距离，计算每个目标的点云的中心点作为该目标的质心(x_i,y_i,z_i)。

24)设定一个距离阈值z_t，当视锥中的目标质心的深度信息z_i小于该阈值时，将z设置为40米，使用点云三维目标检测网络检测目标的三维信息，。

25)当视锥中的目标质心的深度信息z_i大于该阈值时，以目标点云的质心为原点，相机坐标系的光心方向为z轴，右方为x轴建立右手坐标系，以目标点云的空间范围建立三维框。

26)将分割所得类别、步骤25)点云输入到神经网络，预测目标相对于本车的位置，长宽高和目标的偏航角。

3.利用多尺度图像金字塔实现长短焦图像特征点的精确匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。

31)根据长短焦相机的焦距比，分别建立同一时刻长短焦图像多尺度特征金字塔。

32)提取长短焦图像的特征点。

33)由于长短焦图像的大小和拍摄位置不一致，使得长短焦图像特征点不便于直接匹配，将图像缩放得到图像的多尺度特征金字塔，使得长焦图像中的目标与短焦图像中的目标具有相同尺度。

34)根据长短焦相机的焦距比s和长短相机的投影矩阵，将长焦多尺度图像金字塔的第n层的特征点与短焦多尺度图像金字塔第0层的特征点进行匹配，每一次长短焦图像的匹配都隔n-1层。

35)保留长短焦图像匹配的特征点，根据尺度缩放因子，将特征点映射回长短焦分割图像。

36)对于长短焦图像分割掩码都有特征点的情况，建立长短焦分割图像目标间的联系。

37)对于长短焦分割图像建立联系的目标，根据视锥的关联查询到目标的类别，中心位置，长宽高和偏航角，由于远处的目标在长焦中呈现的像素范围更大，对于边缘检测更精准，对该目标使用长焦检测到的类别、中心位置、长宽高、偏航角等信息。

38)将长短焦目标分割未建立联系的目标作为新的目标。

39)将融合后的目标与新的目标的三维信息映射到短焦图像和点云图像上，便于观察。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，包括以下步骤：

采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步；

用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，将点云分别投影到长短焦相机分割图像形成的视锥，视锥中的点云作为目标点云，求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息；

利用多尺度图像金字塔实现长短焦图像特征点的匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。

2.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，车辆对周围环境感知，获取车辆周围的车辆的大小、位置和姿态，具体为目标车辆的相对位置，车辆的长、宽、高和偏航角。

3.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，具体包括：

多焦距相机由焦距不同的两个相机组成，用于观测车辆的正前方，多焦距相机水平放置，短焦相机位于左边，长焦相机位于右方，距离较近，有共同视野，同时采集图像；

激光雷达置于车顶，感知车辆四周的环境，选择激光雷达的扫描到车辆正前方的时间戳上的多焦距相机采集的图像数据，两传感器的数据采集间隔小于0.01秒。

4.根据权利要求3所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：

建立世界坐标系，标定长短焦相机，获得各自得内参和外参，得世界坐标系与短焦相机的旋转和平移矩阵为R₁、T₁，与长焦相机的旋转和平移矩阵R₂、T₂；世界坐标中一点P在世界坐标系、长焦相机坐标系、短焦相机坐标系下的非齐次线性坐标为

则：

联立两个等式可以得到

R₁₂、T₁₂为长短焦相机间的旋转平移矩阵，短焦相机与激光雷达间的旋转平移矩阵R₃、T₃，可得长焦相机与激光雷达间的旋转平移矩阵R₂₃、T₂₃。

5.根据权利要求4所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：

选择激光雷达与多焦距相机采集的数据中时间戳最接近的数据，得到时间同步的点云数据和多焦距相机图像数据；

根据激光雷达与长短焦像机的旋转平移矩阵和长短焦相机的内参矩阵，结合时间同步的点云数据和多焦距相机数据，可得点云中任何一点在图像中的像素坐标。实现了空间同步，完成图像数据与点云数据时空同步。

6.根据权利要求5所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，具体包括：

使用一语义分割网络分别对长焦、短焦相机图像语义分割，得到目标的类别c_i和语义分割区域；语义分割网络指的是将图像中的每个像素分为一个类别，同一类物体具有相同的类别标签；一般由卷积层和池化层提取图像的特征，图片分辨率降低，特征层增加，再由反卷积层将图片分辨率恢复原始图片大小，得到图像中物体的类别和像素位置；

利用所得的语义分割区域，结合标定好的长、短焦相机内参和投影矩阵，生成视锥，利用激光雷达和相机间的转换关系RT矩阵，将激光雷达获得的点云数据投影到视锥中，过滤掉视锥外的点云，保留视锥内的点云。

视锥图像中一区域可由光轴和该区域生成金字塔形状，由相平面至远处平面物体都会成像到该区域，使用语义分割获取检测物体的边缘，由该边缘生成视锥。根据相机的内参和投影矩阵，得到相机光心的三维坐标和像平面中一点的三维坐标，即可由两点绘制三维空间中的一条直线，沿语义分割所得目标的掩码边缘所有像素点与光心可建立视锥面。

7.根据权利要求6所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息；具体包括：

采用随机一致性算法，利用点云的欧式距离，计算每个目标的点云的中心点作为该目标的质心(x_i,y_i,z_i)；

设定一个距离阈值z_t，当视锥中的目标质心的深度信息z_i小于该阈值时，将视锥中的点云输入点云检测网络，获得目标的类别，中心点位置，长宽高和偏航角；

当视锥中的目标质心的深度信息z_i大于该阈值时，以目标点云的质心为原点，相机坐标系的光心方向为z轴，右方为x轴建立右手坐标系，以目标点云的空间范围建立三维框。将点云质心，三维框与分割所得的目标类别c_i输入到神经网络，对目标的质心和三维框进行回归。

8.根据权利要求7所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述采用随机采样一致性算法，利用点云的欧式距离，计算每个目标的点云的中心点作为该目标的质心(x_i,y_i,z_i)；

随机采样一致性算法是从一组包含异常值的观测数据集中估计其数学模型参数的迭代方法。随机选取一视锥中点云的一个点(x,y,z)，计算其与视锥中所有点的欧式距离和

(N为视锥中点云的总数，j为视锥中一点云)，迭代g次，取其中使欧式距离和最小的一点(x_i,y_i,z_i)作为该目标的质心。

9.根据权利要求8所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述利用多尺度图像金字塔实现长短焦图像特征点的匹配，通过特征匹配建立长短焦分割图像目标间的联系，具体包括：

根据长短焦相机的焦距比，分别建立同一时刻长短焦图像多尺度特征金字塔，提取长短焦图像的特征点；

将图像缩放得到图像的多尺度特征金字塔，使得长焦图像中的目标与短焦图像中的目标具有相同尺度，长短焦多尺度特征金字塔特征金字塔特征点匹配具体算法如下；

根据长短焦相机的焦距比s和长短相机的投影矩阵，将长焦多尺度图像金字塔的第n层的特征点与短焦多尺度图像金字塔第0层的特征点进行匹配，每一次长短焦图像的匹配都隔n-1层；

保留长短焦图像匹配的特征点，根据尺度缩放因子，将特征点映射回长短焦分割图像，对于长短焦图像分割掩码都有特征点的情况，建立长短焦分割图像目标间的联系。

10.根据权利要求9所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述对三维目标检测的结果数据关联和融合，具有以下步骤：

对于长短焦分割图像建立联系的目标，根据视锥的关联查询到目标的类别，中心位置，长宽高和偏航角，由于远处的目标在长焦中呈现的像素范围更大，对于边缘检测更精准，对该目标使用长焦检测到的类别、中心位置、长宽高、偏航角等信息；将长短焦目标分割未建立联系的目标作为新的目标，将融合后的目标与新的目标的三维信息映射到短焦图像和点云图像上，便于观察。

Images