CN112288667A - 一种基于激光雷达与摄像头融合的三维目标检测方法 - Google Patents
一种基于激光雷达与摄像头融合的三维目标检测方法 Download PDFInfo
- Publication number
- CN112288667A CN112288667A CN202011201913.1A CN202011201913A CN112288667A CN 112288667 A CN112288667 A CN 112288667A CN 202011201913 A CN202011201913 A CN 202011201913A CN 112288667 A CN112288667 A CN 112288667A
- Authority
- CN
- China
- Prior art keywords
- channel
- image
- data
- laser radar
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 abstract description 7
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 abstract description 7
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 abstract description 7
- 238000012549 training Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于激光雷达与摄像头融合的三维目标检测方法，属于多传感器三维感知技术。本方法通过激光雷达点云与摄像头图像的前融合，将融合数据点体素化，利用深度学习网络进行三维目标检测。本方法提高了多传感器融合的三维目标检测准确率，并且大幅提升运行效率，降低训练时间和推理时间，可实时在线的用于高级的汽车ADAS系统。
Description
技术领域
本发明涉及三维空间多传感器融合感知技术领域，具体为一种基于激光雷达与摄像头融合的三维目标检测方法。
背景技术
随着自动驾驶技术发展，ADAS系统对于环境感知的要求越来越高，二维的目标检测方法对于简单的ADAS系统已经足够，比如车道居中控制、车道偏离预警、标志牌识别等。但其缺乏的三维距离信息，对于高级的ADAS系统是一大障碍。
普通的摄像头对于目标的检测只能分辨出目标类别，对于目标在三维空间的位置感知误差较大。激光雷达进行三维目标检测具有天然的距离优势，能够直接获取到各个点的位置信息，但其缺乏图像丰富的视觉信息。
目前现有的多传感器融合三维目标检测方法采用先进行二维目标检测，提取出ROI区域再划分出部分点云进行三维目标检测。这种串联的检测方法虽然可以充分利用较为成熟的二维目标检测器，但整体的三维检测效果也过分依赖于二维目标检测器，没有充分发挥三维点云的距离稀疏特性。而另一种多传感器融合三维目标检测方法采用将图像与点云先分别进行卷积网络，得到特征图，再在特征层面进行对应融合。这种方法虽然可行，但是其因为网络结构复杂，网络层数过多，其运行速度过慢，实时性不好，难以实际用于ADAS系统。
发明内容
本发明所解决的技术问题在于提供一种基于激光雷达与摄像头融合的三维目标检测方法，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现一种基于激光雷达与摄像头融合的三维目标检测方法，具体包括以下步骤：
步骤1：将摄像头采集的图像(h,w,3)输入图像处理网络，以得到与初始图像大小相同的图像特征图(h,w,nchannel)；所述图像(h,w,3)表示长为w像素，宽为h像素，每个像素拥有RGB3个通道；所述图像特征图(h,w,nchannel)表示长为w像素，宽为h像素，每个像素拥有nchannel个通道；
步骤2：将激光雷达获取的三维点云(n,4)通过联合标定后的坐标变换矩阵，坐标变换到图像坐标系进行投影，每个在图像大小范围内的点云都获取对应像素点的特征，最终得到在图像范围内的点云，并且获取了对应的图像特征(nreduce,4+nchannel)；
步骤3：将融合的点云图像数据(nreduce,4+nchannel)按照点云的(x,y,z)分布进行体素网格化，得到(L,W,H,N,4+nchannel)的体素化数据；
步骤4：对体素化数据(L,W,H,N,4+nchannel)进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到(K,N,4+nchannel)的体素化数据；
步骤5：将处理后的体素化数据(K,N,4+nchannel)输入数据编码网络，得到(L,W,C)的特征图；
步骤6：将特征图(L,W,C)通过单阶段的目标检测网络，最后输出层直接输出三维目标的(x,y,z,ry,l,w,h,s)。
优选地，所述步骤1中的图像处理网络为卷积神经网络，可使用金字塔结构的特征提取结构。
优选地，所述步骤2中的三维点云(n,4)表示一帧获取到n个点云，每个点云有(x,y,z,r)四个通道，其中(x,y,z)为点云的三维坐标，r为点云的反射率；图像特征(nreduce,4+nchannel)表示nreduce个在图像范围内的点，4+nchannel表示点云原有的4个(x,y,z,r)特性再拼接上对应点的图像特征nchannel。
优选地，所述步骤3中的体素化后的数据(L,W,H,N,4+nchannel)表示长边L个格子，宽边W个格子，高度H个格子，将激光雷达坐标系有效区域进行均分，每个格子内N个点云图像数据，每个数据4+nchannel个特征通道，并且N有最大限值，若格子内超过N个点，则根据点的xyz坐标，按照距离原点的距离
进行升序排列，取前N个点。
优选地，所述步骤4中筛选后的体素化数据(K,N,4+nchannel)表示K个非空格子，每个格子N个数据点，每个数据4+nchannel个特征通道。
优选地，所述步骤5中的数据编码网络包括全连接层、VoxelNet；所述数据编码网络在每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，即得到L长、W宽的特征图大小，C为特征图特征数，通过升维扩充特征。
优选地，所述步骤6中的单阶段的目标检测网络包括以卷积神经网络为主体的单阶段锚点检测网络；三维目标的(x,y,z,ry,l,w,h,s)表示目标的(x,y,z)坐标，其朝向与原点坐标系x轴的夹角ry，目标的长宽高(l,w,h)，以及置信分数s。
与已公开技术相比，本发明存在以下优点：本发明将摄像头图像数据与激光雷达点云数据融合，有效避免了点云稀疏性带来的特征匮乏问题，提取了图像丰富的视觉特征。通过多传感器信息的融合，得到精确度更高的三维目标检测结果；将使用体素化网络，有效降低了图像与点云数据的维度，在尽量少损失有效数据的前提下，降低了三维融合数据的运算量，训练与推理速率大幅提升，本方法的推理部分可用于在线实时的高级ADAS感知处理。
附图说明
图1为本发明的激光雷达与摄像头的端到端三维目标检测基本框架图。
图2为本发明的激光雷达与摄像头的端到端三维目标检测基本实施流程图。
具体实施方式
为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1和图2所示，一种基于激光雷达与摄像头融合的三维目标检测方法，具体包括以下步骤：
第一步，通过激光雷达与摄像头联合标定的方法，获取激光雷达坐标系到摄像头图像坐标系的坐标转换矩阵，为数据融合做准备。
第二步，将摄像头采集的图像(h,w,3)输入图像处理网络，以得到与初始图像大小相同的图像特征图(h,w,nchannel)。
本具体实施方法中，图像处理网络使用金字塔结构的图像特征提取网络。金字塔结构的自底向上部分采用CNN特征提取网络，例如VGG16，并且从VGG16网络中的第4层卷积层中断，得到图像特征图。金字塔结构的自顶向下部分一方面对前一层特征图进行上采样，放大尺寸，一方面与同尺寸的特征图拼接，充分利用不同尺度的特征信息。
此外，在实际运用中，针对不同场景的三维目标检测需求，兼顾到检测率和速度等要求，可以对图像特征提取网络中的网络层数、通道数、降采样尺寸大小进行调整，并且实际运用时还可以采用效果更好的其他网络进行特征提取，需要保证提取后的特征图尺寸大小与原图像尺寸大小相同。
实施中的原图像(h,w,3)表示长为w像素，宽为h像素，每个像素拥有RGB3个通道。得到的特征图(h,w,nchannel)表示长为w像素，宽为h像素，每个像素拥有nchannel个通道。
第三步将激光雷达获取的三维点云(n,4)通过第一步中的坐标变换矩阵，将激光雷达点云坐标变换到图像坐标系进行投影，每个在图像大小范围内的点云都获取对应像素点的特征，最终得到在图像范围内的点云和其对应拼接的图像特征(nreduce,4+nchannel)。
本实施例中三维点云(n,4)表示一帧获取到n个点云，每个点云有(x,y,z,r)四个通道，其中(x,y,z)为点云的三维坐标，r为点云的反射率。
其中获得的包含图像特征的点云(nreduce,4+nchannel)表示nreduce个在图像范围内的点，4+nchannel表示点云原有的4个(x,y,z,r)特性再拼接上对应点的图像特征nchannel。
第四步将融合的点云图像数据(nreduce,4+nchannel)按照点云的(x,y,z)分布进行体素网格化，得到(L,W,H,N,4+nchannel)的体素化数据。
首先将融合的点云图像数据按照xyz特征，分布在激光雷达坐标系中。
然后将激光雷达坐标系按照长边L个格子，宽边W个格子，高度H个格子，将激光雷达坐标系有效区域进行均分，其中每个格子内N个点云图像数据，每个数据4+nchannel个特征通道。并且N有最大限值，若格子内超过N个点，则根据点的xyz坐标，按照距离原点的距离
进行升序排列，取前N个点。
最后，体素化后的数据可以用(L,W,H,N,4+nchannel)表示。
第五步由于点云的稀疏性，很多格子是空的或只拥有非常少的数据点，则对体素化数据(L,W,H,N,4+nchannel)进行筛选，去掉空的网格和数据点非常少的网格，将长宽高方向的网格按秩序排列成一维，得到(K,N,4+nchannel)的体素化数据。
本实施例中处理后的体素化数据(K,N,4+nchannel)表示K个非空格子，每个格子N个数据点，其中N有最大值限制，每个数据4+nchannel个特征通道。
第六步对每一个网格内的点进行编码，使用数据编码网络执行最大化操作，包括但不限于最大池化操作，提取出网格内的代表点表示这一个网格。并且对网格内的点通过升维操作，扩充特征数，包括但不限于1×1卷积。这样将处理后的体素化数据(K,N,4+nchannel)处理得到(L,W,C)的特征图。
其中数据编码网络包括但不限于全连接层、VoxelNet等。(L,W,C)的特征图为一个高度方向选出一个格子表示这个高度。即得到L长、W宽的特征图大小，C为特征图特征数，通过升维扩充特征。
第七步将特征图(L,W,C)通过单阶段的目标检测网络，最后输出层直接输出三维目标的(x,y,z,ry,l,w,h,s)。
经过上述步骤处理后，特征图可以看成一个二维特征图，其中尺寸为L×W,特征通道数为C，这里首先可以通过以卷积神经网络为骨干的特征提取网络，包括但不限于本实施例使用的金字塔结构。
本实施例在融合体素数据中使用金字塔结构，为的是利用金字塔结构的不同尺度特征提取能力的特性，再次充分融合图像特征与点云特征。
其次，在骨干网络后接入单阶段目标检测器，包括但不限于YOLO、SSD等，本实施例中对特征图设置预锚点，并且预先设置检测目标的长宽高，角度等信息。
然后通过预锚点的分类与回归网络，分别得到目标的类别信息和定位信息。首先以分类网络为主，取分类分数最高的锚点，进行回归。由于三维物体的特性，检测器通常难以判断目标的头尾，这里再加上角度分类器，用于区分0°和180°。
这里设置不同的锚点信息，可以对不同尺寸的目标进行检测。如汽车、行人、货车、自行车等等。
最后通过非极大值抑制操作，对于同一目标选取唯一的三维包围框(x,y,z,ry,l,w,h,s)。其中(x,y,z)为目标的坐标，ry为目标朝向与原点坐标系x轴的夹角，(l,w,h)为目标的长宽高，s为分类置信分数。
本发明使用深度学习的方法，通过端到端训练，实现了输入原始激光雷达点云数据和摄像头图像数据，网络输出目标检测结果，实现了多模态数据的有效融合。并且检测结果准确度高，网络训练和推理速度较目前的激光雷达与摄像头融合的三维目标检测方法大幅提高，有效提高了三维目标检测效率。本方法能够有效避免传统手动特征提取的不确定性，提升方法的鲁棒性。融合多模态信息能够降低稀疏点云带来的误检，降低纯摄像头三维目标检测的空间误差。并且通过单阶段的分类与回归检测器，本方法检测速率非常快，可以用于ADAS的实时在线应用，提升自动驾驶系统的目标感知能力。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：具体包括以下步骤，
步骤1：将摄像头采集的图像(h,w,3)输入图像处理网络，以得到与初始图像大小相同的图像特征图(h,w,nchannel)；所述图像(h,w,3)表示长为w像素，宽为h像素，每个像素拥有RGB3个通道；所述图像特征图(h,w,nchannel)表示长为w像素，宽为h像素，每个像素拥有nchannel个通道；
步骤2：将激光雷达获取的三维点云(n,4)通过联合标定后的坐标变换矩阵，坐标变换到图像坐标系进行投影，每个在图像大小范围内的点云都获取对应像素点的特征，最终得到在图像范围内的点云，并且获取了对应的图像特征(nreduce,4+nchannel)；
步骤3：将融合的点云图像数据(nreduce,4+nchannel)按照点云的(x,y,z)分布进行体素网格化，得到(L,W,H,N,4+nchannel)的体素化数据；
步骤4：对体素化数据(L,W,H,N,4+nchannel)进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到(K,N,4+nchannel)的体素化数据；
步骤5：将处理后的体素化数据(K,N,4+nchannel)输入数据编码网络，得到(L,W,C)的特征图；
步骤6：将特征图(L,W,C)通过单阶段的目标检测网络，最后输出层直接输出三维目标的(x,y,z,ry,l,w,h,s)。
2.根据权利要求1所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤1中的图像处理网络为卷积神经网络，可使用金字塔结构的特征提取结构。
3.根据权利要求2所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤2中的三维点云(n,4)表示一帧获取到n个点云，每个点云有(x,y,z,r)四个通道，其中(x,y,z)为点云的三维坐标，r为点云的反射率；图像特征(nreduce,4+nchannel)表示nreduce个在图像范围内的点，4+nchannel表示点云原有的4个(x,y,z,r)特性再拼接上对应点的图像特征nchannel。
4.根据权利要求3所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤3中的体素化后的数据(L,W,H,N,4+nchannel)表示长边L个格子，宽边W个格子，高度H个格子，将激光雷达坐标系有效区域进行均分，每个格子内N个点云图像数据，每个数据4+nchannel个特征通道，并且N有最大限值，若格子内超过N个点，则根据点的xyz坐标，按照距离原点的距离
进行升序排列，取前N个点。
5.根据权利要求4所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤4中筛选后的体素化数据(K,N,4+nchannel)表示K个非空格子，每个格子N个数据点，每个数据4+nchannel个特征通道。
6.根据权利要求5所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤5中的数据编码网络包括全连接层、VoxelNet；所述数据编码网络在每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，即得到L长、W宽的特征图大小，C为特征图特征数，通过升维扩充特征。
7.根据权利要求6所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤6中的单阶段的目标检测网络包括以卷积神经网络为主体的单阶段锚点检测网络；三维目标的(x,y,z,ry,l,w,h,s)表示目标的(x,y,z)坐标，其朝向与原点坐标系x轴的夹角ry，目标的长宽高(l,w,h)，以及置信分数s。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011201913.1A CN112288667A (zh) | 2020-11-02 | 2020-11-02 | 一种基于激光雷达与摄像头融合的三维目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011201913.1A CN112288667A (zh) | 2020-11-02 | 2020-11-02 | 一种基于激光雷达与摄像头融合的三维目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112288667A true CN112288667A (zh) | 2021-01-29 |
Family
ID=74353089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011201913.1A Pending CN112288667A (zh) | 2020-11-02 | 2020-11-02 | 一种基于激光雷达与摄像头融合的三维目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288667A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112896879A (zh) * | 2021-02-24 | 2021-06-04 | 同济大学 | 一种用于智能环卫车的环境感知系统 |
| CN113780446A (zh) * | 2021-09-16 | 2021-12-10 | 广州大学 | 一种可重参数化的轻量级体素深度学习方法 |
| CN114581867A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 目标检测方法、设备、存储介质及程序产品 |
| CN115328205A (zh) * | 2022-09-14 | 2022-11-11 | 清华大学 | 一种基于三维目标检测的飞行汽车起飞着陆决策规划方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
| CN111401264A (zh) * | 2020-03-19 | 2020-07-10 | 上海眼控科技股份有限公司 | 车辆目标检测方法、装置、计算机设备和存储介质 |
| CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
| CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
-
2020
- 2020-11-02 CN CN202011201913.1A patent/CN112288667A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
| CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
| CN111401264A (zh) * | 2020-03-19 | 2020-07-10 | 上海眼控科技股份有限公司 | 车辆目标检测方法、装置、计算机设备和存储介质 |
| CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112896879A (zh) * | 2021-02-24 | 2021-06-04 | 同济大学 | 一种用于智能环卫车的环境感知系统 |
| CN113780446A (zh) * | 2021-09-16 | 2021-12-10 | 广州大学 | 一种可重参数化的轻量级体素深度学习方法 |
| CN114581867A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 目标检测方法、设备、存储介质及程序产品 |
| CN114581867B (zh) * | 2022-03-01 | 2024-05-14 | 亿咖通(湖北)技术有限公司 | 目标检测方法、设备、存储介质及程序产品 |
| CN115328205A (zh) * | 2022-09-14 | 2022-11-11 | 清华大学 | 一种基于三维目标检测的飞行汽车起飞着陆决策规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583337B (zh) | 一种基于多传感器融合的全方位障碍物检测方法 | |
| CN109934153B (zh) | 基于门控深度残差优化网络的建筑物提取方法 | |
| CN112288667A (zh) | 一种基于激光雷达与摄像头融合的三维目标检测方法 | |
| CN111242041B (zh) | 基于伪图像技术的激光雷达三维目标快速检测方法 | |
| CN113111887B (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及系统 | |
| CN111145174A (zh) | 基于图像语义特征进行点云筛选的3d目标检测方法 | |
| CN111832655A (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN113269040A (zh) | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 | |
| CN111209825A (zh) | 一种用于动态目标3d检测的方法和装置 | |
| CN114821507A (zh) | 一种用于自动驾驶的多传感器融合车路协同感知方法 | |
| CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| Ouyang et al. | A cgans-based scene reconstruction model using lidar point cloud | |
| CN112861700A (zh) | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 | |
| TW202225730A (zh) | 基於深度學習之高效率光達物件偵測方法 | |
| CN116030445A (zh) | 一种结合点云形状特征的自动驾驶实时三维目标检测方法 | |
| CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN113378647B (zh) | 基于三维点云的实时轨道障碍物检测方法 | |
| CN113191204B (zh) | 一种多尺度遮挡行人检测方法及系统 | |
| CN114332796A (zh) | 一种多传感器融合体素特征图生成方法及系统 | |
| CN117237919A (zh) | 跨模态监督学习下多传感器融合检测的卡车智驾感知方法 | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| CN116229224A (zh) | 融合感知方法、装置、电子设备及存储介质 | |
| CN115908524A (zh) | 一种基于3d距离感知的施工作业安全管控方法 | |
| CN115424225A (zh) | 一种面向自动驾驶系统的三维实时目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 156, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200 Applicant after: Zhijia Automotive Technology (Ningbo) Co.,Ltd. Address before: Room 303-304, 570 shengxia Road, Pudong New Area, Shanghai 201210 Applicant before: SHANGHAI MAXIEYE AUTOMOBILE TECHNOLOGY CO.,LTD. Country or region before: China |