CN112149550B - 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 - Google Patents
一种基于多传感器融合的自动驾驶车辆3d目标检测方法 Download PDFInfo
- Publication number
- CN112149550B CN112149550B CN202010992484.8A CN202010992484A CN112149550B CN 112149550 B CN112149550 B CN 112149550B CN 202010992484 A CN202010992484 A CN 202010992484A CN 112149550 B CN112149550 B CN 112149550B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- camera
- feature map
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 10
- 238000000547 structure data Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 9
- 235000019580 granularity Nutrition 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101150052583 CALM1 gene Proteins 0.000 description 1
- 101150114882 CALM2 gene Proteins 0.000 description 1
- 101150058073 Calm3 gene Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒。本发明通过激光雷达点云和光学相机图像的多层次深度融合的方式，有效解决当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，推动自动驾驶车辆落地进程。
Description
技术领域
本发明涉及深度学习和自动驾驶的技术领域，尤其是指一种基于多传感器融合的自动驾驶车辆3D目标检测方法。
背景技术
随着激光雷达、深度相机等3D设备的不断完善普及，使得在现实三维场景下的自动驾驶成为可能，也提高了自动驾驶系统对复杂场景中目标的识别及检测的要求，以达到安全性和便利性的需求。2D目标检测不能满足无人驾驶车辆感知环境的需要，而3D目标检测可以识别物体类别及在三维空间中的长宽高、旋转角等信息，将3D目标检测应用到无人驾驶车辆上，检测出场景中的目标，并通过估计实际位置，自动驾驶的车辆可以准确的预判和规划自己的行为和路径，避免碰撞和违规，能大大降低交通事故的发生以及实现城市交通的智能化。
汽车自动驾驶系统由车辆定位模块的惯性测量系统定位车辆自身的位置，由车辆的感知模块采集周围环境的图像和三维点云并提取场景中的目标的类别、大小、位置和方向等信息，通过决策模块得到驾驶路径规划方案并通过执行模块执行方案。其中对周围环境的准确感知是自动驾驶技术中最大的难点，也是自动驾驶车辆真正落地道路上主要的障碍之一。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，通过激光雷达点云和光学相机图像的多层次深度融合的方式，有效解决当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，推动自动驾驶车辆落地进程，可以应对多种场景下的车辆感知环境需要。
为实现上述目的，本发明所提供的技术方案为：一种基于多传感器融合的自动驾驶车辆3D目标检测方法，该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：
1)获取激光点云数据和相机图像数据；
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒；
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒。
在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。
在步骤2)中，由于激光点云数据为非欧式结构数据，故使用多层感知机MLP提取激光点云数据的特征，具体操作是将激光点云划分到多个3D网格中，通过多层神经网络逐步扩大特征点的空间感受野，得到点云特征图；而相机图像数据为欧式结构数据，故使用卷积神经网络CNN提取相机图像数据的特征，具体操作是将相机图像归一化为固定大小，输入卷积神经网络CNN中，得到图像特征图。
在步骤3)中，将点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
在步骤4)中，采用的神经网络决策层为softmx网络层，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
在步骤5)中，使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。
在步骤6)中，将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
在步骤7)中，采用的神经网络决策层为softmx网络层，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明实现了激光雷达点云和光学相机图像的多层次深度融合，能够更高效地利用点云数据具有准确的空间信息的优点和图像数据具有良好的目标识别能力的优点，从而提高自动驾驶车辆对周围环境感知的准确度。
2、本发明针对小目标和大目标分别在不同的空间粒度做处理，避免大目标主导深度学习模型方向导致的小目标难以检测的问题，为目前3D目标检测中的小目标问题提供了有效的解决方案和研究思路。
3、本发明是通用的3D目标检测框架，即对检测大目标和小目标均有效，而现有的大多数3D目标检测算法仅在某一类目标中有不错的检测效果，用于另一类目标检测时需要另外训练网络参数，因此本发明可推广范围更广。
附图说明
图1为本发明方法流程图。
图2为自动驾驶车辆传感器相对位置图，图中：Cam0(gray)和Cam2(color)分别为汽车左边的灰度摄相机和彩色摄相机，Cam1(gray)和Cam3(color)分别为汽车右边的灰度摄相机和彩色摄相机，所有摄像机的距地高度为1.65米；Velodyne laserscanner(height:1.73)是一个64线的3D激光雷达，放置位置距地面高度1.73米；GPS/IMU(0.93)是指放置在距地面高度为0.93米的GPS导航系统。
图3为自动驾驶车辆拍摄的相机图像。
图4为自动驾驶车辆扫描的激光点云。
图5为3D目标检测效果示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例提供了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，是通过自动驾驶车辆上IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系并进行相应的融合，具体步骤如下：
1)获取激光点云数据和相机图像数据
激光雷达扫描频率为10帧/s，相机基本上和地平面保持水平，图像采集尺寸被裁减为1382×512像素，在经过校正后，图像可能会进一步变小，相机的采集频率也保持在10HZ并且在激光雷达朝向正前方时释放快门，传感器的整体布置如图2所示。不同传感器的坐标系定义如下(上下左右以驾驶员为基准)：
相机：x轴——向右，y轴——向下，z轴——向前；
激光雷达：x轴——向前，y轴——向左，z轴——向上；
相机获取的图像如图3所示，激光雷达获取的点云如图4所示，图3和图4为对应帧的图像和点云数据。
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图。
a、提取激光点云特征
将点云场景空间划分为多个子空间，通过共享的多层感知机MLP计算每个子空间的点特征，通过池化操作将子空间点特征聚集到一个点，经过多个MLP后，通过并合并领域子空间，特征点的感受野逐步扩大。
对于非欧式结构的点云数据，使用多层感知机提取点云特征，由于道路场景中，垂直路面方向上目标无遮挡，首先将点云场景空间在俯视图视角划分为固定大小的子空间，并在每个子空间采样相同数量的点数，然后使用共享的多层感知机MLP提取由点云中每一点的特征。通过全局池化得到每个子空间的特征表示，聚集多个领域子空间提取空间感受野更大的局部特征。
b、提取图像特征
将从相机获取的图像归一化为固定大小，输入到卷积神经网络CNN中，本实施例采用VGG16网络，得到感受野为原图16倍的图像特征图。
对于欧式结构的图像数据，使用卷积神经网络提取图像特征，首先将其归一化为固定大小，该大小与卷积网络输入层一致，然后使用多个卷积核组成的卷积层提取图像的特征图。特征图上的每一点表示一个局部特征，堆叠多个卷积层可提取感受野更大的局部特征，通过池化层聚集局部领域特征，得到一个代表性的特征表示。
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图。
将步骤2)得到点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
将点云特征点所覆盖的原始点云映射到图像上，需要激光扫描仪坐标系V到相机坐标系C的外参和相机的内参，该外参表示为一个4×4的旋转平移矩阵R，内参表示为一个3×4的投影矩阵T，通过外参矩阵R将点云的关键点PV转换到相机坐标系C，公式表示为:
PC＝RPV (1)
然后再将相机坐标系C上点PC转换到图像坐标系I，转换公式为：
PI＝TPC (2)
由于经过了投影变换，在点云空间相同大小的子空间在图像上会表现为大小不一的图像块。将图像块的特征融合到其对应的点云特征点上，这样得到了同时具有3D空间信息和图像信息的特征点，由这些特征点构成的特征图就是融合特征图。
4)融合特征图通过神经网络决策层(采用softmx网络层)，得到检测目标中体积较小的目标的类别和3D包围盒，即小目标的类别和3D包围盒。
根据步骤3)得到融合特征图，将融合特征图经过softmx网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
通过第一个特征提取模块，经过了K1次子空间的聚集，每个特征点代表的固定大小空间为原始划分的子空间的K12倍，通过对目标类别的真实大小的先验知识，可以明确K1的值，在第一个特征提取模块的融合特征图上使用softmax网络层做相应空间的目标类别预测，同时使用全连接层对目标进行回归预测，通过阈值条件筛选出最有可能正确的预测。
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图。
在步骤3)得到的融合特征图的基础上，继续使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。
在小目标类别预测时，网络架构的另一分支基于融合特征图，通过第二个多层感知机MLP模块继续聚集领域子空间特征，提取点云中层特征，同时第二个卷积神经网络CNN模块基于图像特征图继续提取图像中层特征。
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图。
将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图。
重复步骤3)的操作，根据公式(1)、(2)在中层融合特征图上再次进行点云空间与图像空间的转换，把点云特征点对应的图像块特征融合到特征点上，得到由感受野更大和特征表达能力更强的特征点组成的融合中层融合特征图。
7)融合特征图通过神经网络决策层(采用softmx网络层)，得到检测目标中体积较大的目标的类别和3D包围盒，即得到大目标的类别和3D包围盒。
将中层融合特征图经过softmx网络层得到该空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
通过第二个特征提取模块，经过了K2次子空间的聚集，每个特征点代表的固定大小空间为原始划分的子空间的K22倍，通过对目标类别的真实大小的先验知识，可以明确K2的值，在第二个特征提取模块的融合特征图上使用softmax网络层做相应空间的目标类别预测，同时使用全连接层对目标进行回归预测，通过阈值条件筛选出最有可能正确的预测。由于小目标类别的预测并不影响后续大目标类别特征提取和预测，大目标类别预测层也仅对大目标的空间粒度的特征点进行预测，因此，小目标类别不会在大目标类别预测过程中出现重复预测的现象。
本实施例中，激光扫描仪的帧率为10fps，也就是说，本发明3D目标检测网络的处理速度低于0.1s即可达到实时性要求，基于以往的实验经验，这一要求是可以实现的。
综上所述，在采用以上方案后，本发明提供的自动驾驶车辆3D目标检测方法有效解决了当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，诚然，自动驾驶领域的3D目标检测仍然存在很多问题，本发明对于3D目标检测在自动驾驶上的应用具有探索性意义，有效推动自动驾驶车辆落地进程，具有实际推广价值。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (5)
1.一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：
1)获取激光点云数据和相机图像数据；
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；由于激光点云数据为非欧式结构数据，故使用多层感知机MLP提取激光点云数据的特征，具体操作是：将激光点云划分到多个3D网格中，通过多层神经网络逐步扩大特征点的空间感受野，得到点云特征图；而相机图像数据为欧式结构数据，故使用卷积神经网络CNN提取相机图像数据的特征，具体操作是将相机图像归一化为固定大小，输入卷积神经网络CNN中，得到图像特征图；
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；具体操作是：将点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图；
4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒，即得到小目标的类别和3D包围盒；
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；具体操作是：将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图；
7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒，即得到大目标的类别和3D包围盒。
2.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。
3.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤4)中，采用的神经网络决策层为softma x网络层，将融合特征图经过softma x网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
4.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤5)中，使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。
5.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤7)中，采用的神经网络决策层为softma x网络层，将融合特征图经过softma x网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010992484.8A CN112149550B (zh) | 2020-09-21 | 2020-09-21 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010992484.8A CN112149550B (zh) | 2020-09-21 | 2020-09-21 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112149550A CN112149550A (zh) | 2020-12-29 |
| CN112149550B true CN112149550B (zh) | 2023-01-06 |
Family
ID=73893427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010992484.8A Active CN112149550B (zh) | 2020-09-21 | 2020-09-21 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149550B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112462373A (zh) * | 2021-02-02 | 2021-03-09 | 聚时科技(江苏)有限公司 | 基于多传感器融合的船舱位检测方法 |
| CN112801036A (zh) * | 2021-02-25 | 2021-05-14 | 同济大学 | 一种目标识别方法、训练方法、介质、电子设备及汽车 |
| CN113160330B (zh) * | 2021-04-16 | 2023-04-07 | 上海交通大学 | 基于端到端的相机与激光雷达标定方法、系统及介质 |
| CN113111974B (zh) * | 2021-05-10 | 2021-12-14 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
| CN113255560A (zh) * | 2021-06-09 | 2021-08-13 | 深圳朗道智通科技有限公司 | 基于图像与激光数据的自动驾驶场景下的目标检测系统 |
| CN113447923A (zh) * | 2021-06-29 | 2021-09-28 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
| CN113421305B (zh) * | 2021-06-29 | 2023-06-02 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
| CN114049613A (zh) * | 2021-10-11 | 2022-02-15 | 深圳市惠尔智能有限公司 | 一种目标检测方法、装置、电子设备和可读存储介质 |
| CN114429631B (zh) * | 2022-01-27 | 2023-11-14 | 北京百度网讯科技有限公司 | 三维对象检测方法、装置、设备以及存储介质 |
| CN114267041B (zh) * | 2022-03-01 | 2022-05-13 | 北京鉴智科技有限公司 | 场景中对象的识别方法及装置 |
| CN116740668B (zh) * | 2023-08-16 | 2023-11-14 | 之江实验室 | 三维目标检测方法、装置、计算机设备和存储介质 |
| CN117420143B (zh) * | 2023-12-19 | 2024-03-15 | 斯润天朗（北京）科技有限公司 | 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3702802A1 (en) * | 2019-03-01 | 2020-09-02 | Aptiv Technologies Limited | Method of multi-sensor data fusion |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414417B (zh) * | 2019-07-25 | 2022-08-12 | 电子科技大学 | 一种基于多层次融合多尺度预测的交通标志牌识别方法 |
| CN110738121A (zh) * | 2019-09-17 | 2020-01-31 | 北京科技大学 | 一种前方车辆检测方法及检测系统 |
-
2020
- 2020-09-21 CN CN202010992484.8A patent/CN112149550B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3702802A1 (en) * | 2019-03-01 | 2020-09-02 | Aptiv Technologies Limited | Method of multi-sensor data fusion |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112149550A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149550B (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
| JP7430277B2 (ja) | 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム | |
| US10817731B2 (en) | Image-based pedestrian detection | |
| EP3732657B1 (en) | Vehicle localization | |
| WO2022222095A1 (zh) | 轨迹预测方法、装置、计算机设备和存储介质 | |
| WO2020094033A1 (en) | Method and system for converting point cloud data for use with 2d convolutional neural networks | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN102339019B (zh) | 一种基于模糊神经网络的智能轮椅避障方法 | |
| CN111292366B (zh) | 一种基于深度学习和边缘计算的视觉行车测距算法 | |
| CN112487919A (zh) | 一种基于相机与激光雷达的3d目标检测与跟踪方法 | |
| EP2960858B1 (en) | Sensor system for determining distance information based on stereoscopic images | |
| CN116830164A (zh) | LiDAR去相关对象检测系统与方法 | |
| CN111257892A (zh) | 一种用于车辆自动驾驶的障碍物检测方法 | |
| US12205319B2 (en) | Framework for 3D object detection and depth prediction from 2D images | |
| CN111880191A (zh) | 基于多智能体激光雷达和视觉信息融合的地图生成方法 | |
| CN115187964A (zh) | 基于多传感器数据融合的自动驾驶决策方法及SoC芯片 | |
| CN117111085A (zh) | 一种自动驾驶汽车车路云融合感知方法 | |
| CN116778262B (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN110298271A (zh) | 基于关键点检测网络和空间约束混合模型的海水区域检测方法 | |
| Bourja et al. | Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3 | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
| Cheng et al. | G-fusion: Lidar and camera feature fusion on the ground voxel space | |
| CN113569803A (zh) | 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统 | |
| US20240385318A1 (en) | Machine-learning based object detection and localization using ultrasonic sensor data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |