CN112149550A - 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 - Google Patents

一种基于多传感器融合的自动驾驶车辆3d目标检测方法 Download PDF

Info

Publication number
CN112149550A
CN112149550A CN202010992484.8A CN202010992484A CN112149550A CN 112149550 A CN112149550 A CN 112149550A CN 202010992484 A CN202010992484 A CN 202010992484A CN 112149550 A CN112149550 A CN 112149550A
Authority
CN
China
Prior art keywords
point cloud
target
image
camera
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010992484.8A
Other languages
English (en)
Other versions
CN112149550B (zh
Inventor
吴秋霞
黎玲敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010992484.8A priority Critical patent/CN112149550B/zh
Publication of CN112149550A publication Critical patent/CN112149550A/zh
Application granted granted Critical
Publication of CN112149550B publication Critical patent/CN112149550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒。本发明通过激光雷达点云和光学相机图像的多层次深度融合的方式，有效解决当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，推动自动驾驶车辆落地进程。

Description

一种基于多传感器融合的自动驾驶车辆3D目标检测方法
技术领域
本发明涉及深度学习和自动驾驶的技术领域，尤其是指一种基于多传感器融合的自动驾驶车辆3D目标检测方法。
背景技术
随着激光雷达、深度相机等3D设备的不断完善普及，使得在现实三维场景下的自动驾驶成为可能，也提高了自动驾驶系统对复杂场景中目标的识别及检测的要求，以达到安全性和便利性的需求。2D目标检测不能满足无人驾驶车辆感知环境的需要，而3D目标检测可以识别物体类别及在三维空间中的长宽高、旋转角等信息，将3D目标检测应用到无人驾驶车辆上，检测出场景中的目标，并通过估计实际位置，自动驾驶的车辆可以准确的预判和规划自己的行为和路径，避免碰撞和违规，能大大降低交通事故的发生以及实现城市交通的智能化。
汽车自动驾驶系统由车辆定位模块的惯性测量系统定位车辆自身的位置，由车辆的感知模块采集周围环境的图像和三维点云并提取场景中的目标的类别、大小、位置和方向等信息，通过决策模块得到驾驶路径规划方案并通过执行模块执行方案。其中对周围环境的准确感知是自动驾驶技术中最大的难点，也是自动驾驶车辆真正落地道路上主要的障碍之一。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，通过激光雷达点云和光学相机图像的多层次深度融合的方式，有效解决当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，推动自动驾驶车辆落地进程，可以应对多种场景下的车辆感知环境需要。
为实现上述目的，本发明所提供的技术方案为：一种基于多传感器融合的自动驾驶车辆3D目标检测方法，该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：
1)获取激光点云数据和相机图像数据；
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒；
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒。
在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。
在步骤2)中，由于激光点云数据为非欧式结构数据，故使用多层感知机MLP提取激光点云数据的特征，具体操作是将激光点云划分到多个3D网格中，通过多层神经网络逐步扩大特征点的空间感受野，得到点云特征图；而相机图像数据为欧式结构数据，故使用卷积神经网络CNN提取相机图像数据的特征，具体操作是将相机图像归一化为固定大小，输入卷积神经网络CNN中，得到图像特征图。
在步骤3)中，将点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
在步骤4)中，采用的神经网络决策层为softmx网络层，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
在步骤5)中，使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。
在步骤6)中，将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
在步骤7)中，采用的神经网络决策层为softmx网络层，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明实现了激光雷达点云和光学相机图像的多层次深度融合，能够更高效地利用点云数据具有准确的空间信息的优点和图像数据具有良好的目标识别能力的优点，从而提高自动驾驶车辆对周围环境感知的准确度。
2、本发明针对小目标和大目标分别在不同的空间粒度做处理，避免大目标主导深度学习模型方向导致的小目标难以检测的问题，为目前3D目标检测中的小目标问题提供了有效的解决方案和研究思路。
3、本发明是通用的3D目标检测框架，即对检测大目标和小目标均有效，而现有的大多数3D目标检测算法仅在某一类目标中有不错的检测效果，用于另一类目标检测时需要另外训练网络参数，因此本发明可推广范围更广。
附图说明
图1为本发明方法流程图。
图2为自动驾驶车辆传感器相对位置图，图中：Cam0(gray)和Cam2(color)分别为汽车左边的灰度摄相机和彩色摄相机，Cam1(gray)和Cam3(color)分别为汽车右边的灰度摄相机和彩色摄相机，所有摄像机的距地高度为1.65米；Velodyne laserscanner(height:1.73)是一个64线的3D激光雷达，放置位置距地面高度1.73米；GPS/IMU(0.93)是指放置在距地面高度为0.93米的GPS导航系统。
图3为自动驾驶车辆拍摄的相机图像。
图4为自动驾驶车辆扫描的激光点云。
图5为3D目标检测效果示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例提供了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，是通过自动驾驶车辆上IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系并进行相应的融合，具体步骤如下：
1)获取激光点云数据和相机图像数据
激光雷达扫描频率为10帧/s，相机基本上和地平面保持水平，图像采集尺寸被裁减为1382×512像素，在经过校正后，图像可能会进一步变小，相机的采集频率也保持在10HZ并且在激光雷达朝向正前方时释放快门，传感器的整体布置如图2所示。不同传感器的坐标系定义如下(上下左右以驾驶员为基准)：
相机：x轴——向右，y轴——向下，z轴——向前；
激光雷达：x轴——向前，y轴——向左，z轴——向上；
相机获取的图像如图3所示，激光雷达获取的点云如图4所示，图3和图4为对应帧的图像和点云数据。
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图。
a、提取激光点云特征
将点云场景空间划分为多个子空间，通过共享的多层感知机MLP计算每个子空间的点特征，通过池化操作将子空间点特征聚集到一个点，经过多个MLP后，通过并合并领域子空间，特征点的感受野逐步扩大。
对于非欧式结构的点云数据，使用多层感知机提取点云特征，由于道路场景中，垂直路面方向上目标无遮挡，首先将点云场景空间在俯视图视角划分为固定大小的子空间，并在每个子空间采样相同数量的点数，然后使用共享的多层感知机MLP提取由点云中每一点的特征。通过全局池化得到每个子空间的特征表示，聚集多个领域子空间提取空间感受野更大的局部特征。
b、提取图像特征
将从相机获取的图像归一化为固定大小，输入到卷积神经网络CNN中，本实施例采用VGG16网络，得到感受野为原图16倍的图像特征图。
对于欧式结构的图像数据，使用卷积神经网络提取图像特征，首先将其归一化为固定大小，该大小与卷积网络输入层一致，然后使用多个卷积核组成的卷积层提取图像的特征图。特征图上的每一点表示一个局部特征，堆叠多个卷积层可提取感受野更大的局部特征，通过池化层聚集局部领域特征，得到一个代表性的特征表示。
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图。
将步骤2)得到点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
将点云特征点所覆盖的原始点云映射到图像上，需要激光扫描仪坐标系V到相机坐标系C的外参和相机的内参，该外参表示为一个4×4的旋转平移矩阵R，内参表示为一个3×4的投影矩阵T，通过外参矩阵R将点云的关键点PV转换到相机坐标系C，公式表示为:
PC＝RPV (1)
然后再将相机坐标系C上点PC转换到图像坐标系I，转换公式为：
PI＝TPC (2)
由于经过了投影变换，在点云空间相同大小的子空间在图像上会表现为大小不一的图像块。将图像块的特征融合到其对应的点云特征点上，这样得到了同时具有3D空间信息和图像信息的特征点，由这些特征点构成的特征图就是融合特征图。
4)融合特征图通过神经网络决策层(采用softmx网络层)，得到检测目标中体积较小的目标的类别和3D包围盒，即小目标的类别和3D包围盒。
根据步骤3)得到融合特征图，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
通过第一个特征提取模块，经过了K1次子空间的聚集，每个特征点代表的固定大小空间为原始划分的子空间的K12倍，通过对目标类别的真实大小的先验知识，可以明确K1的值，在第一个特征提取模块的融合特征图上使用softmax网络层做相应空间的目标类别预测，同时使用全连接层对目标进行回归预测，通过阈值条件筛选出最有可能正确的预测。
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图。
在步骤3)得到的融合特征图的基础上，继续使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。
在小目标类别预测时，网络架构的另一分支基于融合特征图，通过第二个多层感知机MLP模块继续聚集领域子空间特征，提取点云中层特征，同时第二个卷积神经网络CNN模块基于图像特征图继续提取图像中层特征。
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图。
将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
重复步骤3)的操作，根据公式(1)、(2)在中层融合特征图上再次进行点云空间与图像空间的转换，把点云特征点对应的图像块特征融合到特征点上，得到由感受野更大和特征表达能力更强的特征点组成的融合中层融合特征图。
7)融合特征图通过神经网络决策层(采用softmx网络层)，得到检测目标中体积较大的目标的类别和3D包围盒，即得到大目标的类别和3D包围盒。
将中层融合特征图经过softmx网络层得到该空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
通过第二个特征提取模块，经过了K2次子空间的聚集，每个特征点代表的固定大小空间为原始划分的子空间的K22倍，通过对目标类别的真实大小的先验知识，可以明确K2的值，在第二个特征提取模块的融合特征图上使用softmax网络层做相应空间的目标类别预测，同时使用全连接层对目标进行回归预测，通过阈值条件筛选出最有可能正确的预测。由于小目标类别的预测并不影响后续大目标类别特征提取和预测，大目标类别预测层也仅对大目标的空间粒度的特征点进行预测，因此，小目标类别不会在大目标类别预测过程中出现重复预测的现象。
本实施例中，激光扫描仪的帧率为10fps，也就是说，本发明3D目标检测网络的处理速度低于0.1s即可达到实时性要求，基于以往的实验经验，这一要求是可以实现的。
综上所述，在采用以上方案后，本发明提供的自动驾驶车辆3D目标检测方法有效解决了当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，诚然，自动驾驶领域的3D目标检测仍然存在很多问题，本发明对于3D目标检测在自动驾驶上的应用具有探索性意义，有效推动自动驾驶车辆落地进程，具有实际推广价值。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：
1)获取激光点云数据和相机图像数据；
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒，即得到小目标的类别和3D包围盒；
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒，即得到大目标的类别和3D包围盒。
2.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。
3.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤2)中，由于激光点云数据为非欧式结构数据，故使用多层感知机MLP提取激光点云数据的特征，具体操作是将激光点云划分到多个3D网格中，通过多层神经网络逐步扩大特征点的空间感受野，得到点云特征图；而相机图像数据为欧式结构数据，故使用卷积神经网络CNN提取相机图像数据的特征，具体操作是将相机图像归一化为固定大小，输入卷积神经网络CNN中，得到图像特征图。
4.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤3)中，将点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
5.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤4)中，采用的神经网络决策层为softmx网络层，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
6.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤5)中，使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。
7.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤6)中，将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
8.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤7)中，采用的神经网络决策层为softmx网络层，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
CN202010992484.8A 2020-09-21 2020-09-21 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 Active CN112149550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010992484.8A CN112149550B (zh) 2020-09-21 2020-09-21 一种基于多传感器融合的自动驾驶车辆3d目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010992484.8A CN112149550B (zh) 2020-09-21 2020-09-21 一种基于多传感器融合的自动驾驶车辆3d目标检测方法

Publications (2)

Publication Number Publication Date
CN112149550A true CN112149550A (zh) 2020-12-29
CN112149550B CN112149550B (zh) 2023-01-06

Family

ID=73893427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010992484.8A Active CN112149550B (zh) 2020-09-21 2020-09-21 一种基于多传感器融合的自动驾驶车辆3d目标检测方法

Country Status (1)

Country Link
CN (1) CN112149550B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462373A (zh) * 2021-02-02 2021-03-09 聚时科技(江苏)有限公司 基于多传感器融合的船舱位检测方法
CN112801036A (zh) * 2021-02-25 2021-05-14 同济大学 一种目标识别方法、训练方法、介质、电子设备及汽车
CN113111974A (zh) * 2021-05-10 2021-07-13 清华大学 基于深度典型相关分析的视觉-激光雷达融合方法及系统
CN113160330A (zh) * 2021-04-16 2021-07-23 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统
CN113421305A (zh) * 2021-06-29 2021-09-21 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN114267041A (zh) * 2022-03-01 2022-04-01 北京鉴智科技有限公司 场景中对象的识别方法及装置
CN114429631A (zh) * 2022-01-27 2022-05-03 北京百度网讯科技有限公司 三维对象检测方法、装置、设备以及存储介质
CN116740668A (zh) * 2023-08-16 2023-09-12 之江实验室 三维目标检测方法、装置、计算机设备和存储介质
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测系统
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JING HUANG ET AL: "point cloud labeling using 3D convolutional neural network", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
吴秋霞 等: "基于群体协同优化的高清图像前景遮罩提取算法", 《中国科学:信息科学》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462373A (zh) * 2021-02-02 2021-03-09 聚时科技(江苏)有限公司 基于多传感器融合的船舱位检测方法
CN112801036A (zh) * 2021-02-25 2021-05-14 同济大学 一种目标识别方法、训练方法、介质、电子设备及汽车
CN113160330A (zh) * 2021-04-16 2021-07-23 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113160330B (zh) * 2021-04-16 2023-04-07 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113111974B (zh) * 2021-05-10 2021-12-14 清华大学 基于深度典型相关分析的视觉-激光雷达融合方法及系统
CN113111974A (zh) * 2021-05-10 2021-07-13 清华大学 基于深度典型相关分析的视觉-激光雷达融合方法及系统
US11532151B2 (en) 2021-05-10 2022-12-20 Tsinghua University Vision-LiDAR fusion method and system based on deep canonical correlation analysis
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113421305A (zh) * 2021-06-29 2021-09-21 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN114429631A (zh) * 2022-01-27 2022-05-03 北京百度网讯科技有限公司 三维对象检测方法、装置、设备以及存储介质
CN114429631B (zh) * 2022-01-27 2023-11-14 北京百度网讯科技有限公司 三维对象检测方法、装置、设备以及存储介质
CN114267041A (zh) * 2022-03-01 2022-04-01 北京鉴智科技有限公司 场景中对象的识别方法及装置
CN114267041B (zh) * 2022-03-01 2022-05-13 北京鉴智科技有限公司 场景中对象的识别方法及装置
CN116740668A (zh) * 2023-08-16 2023-09-12 之江实验室 三维目标检测方法、装置、计算机设备和存储介质
CN116740668B (zh) * 2023-08-16 2023-11-14 之江实验室 三维目标检测方法、装置、计算机设备和存储介质
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN117420143B (zh) * 2023-12-19 2024-03-15 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

Also Published As

Publication number Publication date
CN112149550B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN111583337B (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN109829386B (zh) 基于多源信息融合的智能车辆可通行区域检测方法
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
EP2960858B1 (en) Sensor system for determining distance information based on stereoscopic images
CN115917559A (zh) 轨迹预测方法、装置、计算机设备和存储介质
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN110873879A (zh) 一种多源异构传感器特征深度融合的装置及方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN115049700A (zh) 一种目标检测方法及装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN113610143B (zh) 一种点云噪点的分类方法、装置、设备及存储介质
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
Xu et al. Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles
CN112766100A (zh) 一种基于关键点的3d目标检测方法
CN114972541B (zh) 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant