CN110543858A - 多模态自适应融合的三维目标检测方法 - Google Patents

多模态自适应融合的三维目标检测方法 Download PDF

Info

Publication number
CN110543858A
CN110543858A CN201910837423.1A CN201910837423A CN110543858A CN 110543858 A CN110543858 A CN 110543858A CN 201910837423 A CN201910837423 A CN 201910837423A CN 110543858 A CN110543858 A CN 110543858A
Authority
CN
China
Prior art keywords
feature
detection
input
image
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910837423.1A
Other languages
English (en)
Inventor
袁媛
王�琦
刘程堪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201910837423.1A priority Critical patent/CN110543858A/zh
Publication of CN110543858A publication Critical patent/CN110543858A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多模态自适应融合的三维目标检测方法，用于解决现有三维目标检测方法检测效率低的技术问题。技术方案是输入RGB图像以及BEV Map，首先使用FPN网络结构，包含编码器和解码器结构，得到二者全分辨率的特征图，用于结合底层细节信息和高层语义信息，然后通过特征裁剪提取两个特征图对应的特征进行裁剪并自适应融合，最后挑选出3D建议以实现3D物体检测。整个过程是两阶段检测，此外使用RGB图像和点云作为原始输入，减少了LIDAR FV输入，降低了计算量，减少算法的计算复杂度，提高了三维空间车辆目标检测的效率。这种算法有效提高了对小物体的检测效果以及被遮挡车辆以及被截断车辆的检测率。

Description

多模态自适应融合的三维目标检测方法
技术领域
本发明涉及一种三维目标检测方法，特别涉及一种多模态自适应融合的三维目标检测方法。
背景技术
文献“X.Chen,H.Ma,J.Wan,B.Li,and T.Xia,"Multi-view 3d object detectionnetwork for autonomous driving,"in Proc.IEEE Conf.Conference on ComputerVision and Pattern Recognition,2017,pp.1907-1915.”提出了一种基于RGB图像和LIDAR点云信息的三维目标检测方法。该方法旨在实现高精度的三维目标检测自主驾驶场景，提出多视图3D网络，即一个传感器融合框架，将激光雷达点云和RGB图像作为输入，并预测定向三维边界框。该网络由两个子网络组成，用于3D对象建议生成和多视图特征融合，区域提案网络生成的三维候选框可以有效地从鸟瞰图中表现三维点云，这是一种结合多个视图区域特性的融合方案，并支持不同路径中间层之间的交互。在具有挑战性的KITTI基准测试集上的3D任务检测取得了较为优秀的结果。文献所述方法对于底层细节信息和高层语义信息的结合效果并不理想，因此对小物体的检测效果并不好，比如对行人的检测率，当使用车辆数据集进行实验时，会影响被遮挡车辆以及被截断车辆的检测率，这种方法使用LIDARBEV(鸟瞰图)和RGB图像以及LIDARFV(前视图)作为输入，BEV(鸟瞰图)和RGB图像足够很好地诠释3D空间中的信息，这种方法中三个分支的预处理量和后续计算量太大，也会影响整个算法的检测效率。
发明内容
为了克服现有三维目标检测方法检测效率低的不足，本发明提供一种多模态自适应融合的三维目标检测方法。该方法输入RGB图像以及BEV(鸟瞰图)Map，首先使用FPN网络结构，包含编码器和解码器结构，得到二者全分辨率的特征图，用于结合底层细节信息和高层语义信息，然后通过特征裁剪提取两个特征图对应的特征进行裁剪并自适应融合，最后挑选出3D建议以实现3D物体检测。整个过程是两阶段检测，此外使用RGB图像和点云作为原始输入，减少了LIDAR FV(前视图)输入，降低了计算量，减少算法的计算复杂度，提高了三维空间车辆目标检测的效率。这种算法有效提高了对小物体的检测效果以及被遮挡车辆以及被截断车辆的检测率。
本发明解决其技术问题所采用的技术方案：一种多模态自适应融合的三维目标检测方法，其特点是包括以下步骤：
步骤一、利用特征提取器从鸟瞰图和图像中生成特征图，将LIDAR点云投射到鸟瞰图，从一个分辨率为0.1m的点云的体素网格中生成六通道鸟瞰图。将点云裁剪在[-40，40]×[0，70]范围内，从而包含相机视野内的点。鸟瞰图的前五个通道是每个栅格单元的最大高度，是由Z轴上[0，2.5]米范围内五个相同的切片生成。第六个通道信息包含的是每个单元中的密度信息，由确定，其中N是体素网格中的点数。
步骤二、使用图像输入和LIDAR输入两个特征提取器，将VGG-16网络通道数减半，并在第四层卷积层裁剪网络。编码器将一个M*N*D的图像或者鸟瞰图作为输入，并输出(M/8)×(M/8)×D的特征图。设计一个自底向上的解码器将编码器输出的特征图上采样恢复至原始输入尺寸；通过解卷积将两个编码器输出的相关联的特征图级联，然后通过一个3×3卷积将两者融合。
步骤三、由形心(tx,ty,tz)和轴对齐尺寸(dx,dy,dz)编码生成锚盒，通过积分图像将空锚有效去除，最终每一帧产生80-100k个非空锚。给定一个锚，将其分别投影到鸟瞰图和图像中获得两个感兴趣区域。然后用这两个相关的感兴趣区域从每个视图中提取特征修剪区域。将提取出的特征修剪区域双线性地调整至3×3，获得两个相同长度的特征向量，使用1×1卷积进行降维并生成3D建议。
步骤四、利用四个顶点和两个高度信息进行3D最小包围框的约束进行编码，将来自两个输入视图裁剪调整为7×7，然后与元素方式均值操作进行融合。一组三个完全连接的大小为2048的层来处理融合特征图，以输出每个提案的框回归，方向估计和类别分类。
本发明的有益效果是：该方法输入RGB图像以及BEV(鸟瞰图)Map，首先使用FPN网络结构，包含编码器和解码器结构，得到二者全分辨率的特征图，用于结合底层细节信息和高层语义信息，然后通过特征裁剪提取两个特征图对应的特征进行裁剪并自适应融合，最后挑选出3D建议以实现3D物体检测。整个过程是两阶段检测，此外使用RGB图像和点云作为原始输入，减少了LIDAR FV(前视图)输入，降低了计算量，减少算法的计算复杂度，提高了三维空间车辆目标检测的效率。这种算法有效提高了对小物体的检测效果以及被遮挡车辆以及被截断车辆的检测率。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明多模态自适应融合的三维目标检测方法的流程图。
具体实施方式
参照图1。本发明多模态自适应融合的三维目标检测方法具体步骤如下：
步骤一、由KITTI数据集中的数据确定生成输入图像的各种信息，包括图像的名字，图像的标签文件，图像的地平面方程，以及点云的信息，相机的标定信息。从文件里面读取出来15个参数(KITTI数据集格式)：2D标签坐标(x1,y1,x2,y2)。3D标签坐标(tx,ty,tz,h,w,l)中心点坐标与长宽高，根据要求删除某些标签，比如在只训练车类时要去除行人和骑车人的标签。分别取得相应的地平面方程(一个平面方程:aX+bY+cZ＝d),相机标定参数包括内外参数，以及点云([x,....],[y,...],[z,...])。创建鸟瞰图像，鸟瞰图输入的输入是六个通道的参数，前五个是五个切片部分的每个像素点的最高点的值，最后一个是这个像素点的点密度。
步骤二、输入图像和激光点云数据，鸟瞰图输入在点云数据里，高度上在0-2.5内进行划分，均分为5个片段，在鸟瞰图上每0.5米的高度记录一次，鸟瞰图的输入的前5个通道是这5个通道(在长和宽的像素上每一个删格)点的最高值，最后一个通道是该栅格位置上的点的密度。对两个输入使用同样的卷积网络进行卷积提取特征，4层卷积后图像变为原始图像的1/8大小，为了防止特征图过小而导致对小物体的检测效果不好，对卷积后的图进行上采样。
步骤三、从输入进来的特征图进行1*1的卷积后，再对其尺寸进行裁剪,使其大小为6*6。将两个图像尺寸修剪后的特征图进行平均相加。如果某一个图像的掩模为0，则该图像不需要输入，融合网络就只输出掩模为1的那个特征图。使用卷积网络代替全连接层进行框回归(dtx,dty,dtz,dw,dh,dl)中心点回归与长宽高回归。
步骤四、对原始手动输入的3D锚利用框回归得到的偏移量计算回归后的框(预测)，并将其投影到鸟瞰图上，计算在鸟瞰图上的框的坐标以及规则化后的坐标(x1,z1,x2,z2)左上角与右下角的坐标)，归一化后的分类输出得分使用非极大值抑制，针对鸟瞰图上的正则后的框回归值，利用归一化指数函数的值,选取得分最大的作为真实框，当锚与真实框的交并集大于0.5时就保留该锚，最大保留1024个锚，取出相对应的非极大值抑制后的最大值的锚。
本发明的效果通过以下仿真实验做进一步的说明。
1.实验条件。
本发明是在GPU(4*GTX1080TI)、内存64G、Ubuntu16.04(python3.5、TensorFlow1.2.0)操作系统上，运用PyCharm软件进行的实验。实验使用的数据为KITTI数据集中的图片与标注数据。
2.实验内容。
首先，KITTI数据集比较大，而且很综合，各种格式的都有，需要激光数据和图像数据进行训练。配置CUDA8.0+CUDNN5.1的运行环境，在PyCharm软件环境下安装好依赖项进行实验。
为了证明算法的有效性，选择了基于LIDAR的算法(Pseudo)，基于无目标域注释的模型(A3DODWTDA)与基于多视角(MV3D)的模型作为对比算法，Pseudo算法在文献“Y.Wang,W.Chao,D.Garg,B.Hariharan,M.Campbell,and K.Weinberger,"Pseudo-LIDAR fromVisual Depth Estimation:Bridging the Gap in 3D Object Detection forAutonomous Driving,"arXiv preprint arXiv:1812.07179,2018.”中有详细的介绍；A3DODWTDA算法是文献“F.Gustafsson,E.Linder-Noren,"Automotive 3D ObjectDetection Without Target Domain Annotations,"Eprint Arxiv,2018.”提出的；MV3D算法是文献“X.Chen,H.Ma,J.Wan,B.Li,and T.Xia,"Multi-view 3d object detectionnetwork for autonomous driving,"in Proc.IEEE Conf.Conference on ComputerVision and Pattern Recognition,2017,pp.1907-1915.”提出的。对比结果如表1所示。
表1
Method Moderate Easy Hard Runtime
Pseudo 37.17％ 55.40％ 31.37％ 0.45s
A3DODWTDA 56.81％ 59.35％ 50.51％ 0.83s
MV3D 62.35％ 71.09％ 55.12％ 0.45s
Ours 64.78％ 70.59％ 57.38％ 0.40s
从表1可见，本发明的检测准确率在Moderate和Hard模式下比对比算法要更高一些，说明这种算法有效提高了对小物体的检测效果以及被遮挡车辆以及被截断车辆的检测率。本发明将RGB图像信息和LIDAR点云信息融合算法加以扩展，提高了算法的检测效率和实用性；本发明巧妙地融合了多模态的信息，使该方法更具有鲁棒性性；本发明易于扩展，可以通过微小的改动扩展为一种有效的通用3D车辆检测方法。

Claims (1)

1.一种多模态自适应融合的三维目标检测方法，其特征在于包括以下步骤：
步骤一、利用特征提取器从鸟瞰图和图像中生成特征图，将LIDAR点云投射到鸟瞰图，从一个分辨率为0.1m的点云的体素网格中生成六通道鸟瞰图；将点云裁剪在[-40，40]×[0，70]范围内，从而包含相机视野内的点；鸟瞰图的前五个通道是每个栅格单元的最大高度，是由Z轴上[0，2.5]米范围内五个相同的切片生成；第六个通道信息包含的是每个单元中的密度信息，由确定，其中N是体素网格中的点数；
步骤二、使用图像输入和LIDAR输入两个特征提取器，将VGG-16网络通道数减半，并在第四层卷积层裁剪网络；编码器将一个M*N*D的图像或者鸟瞰图作为输入，并输出(M/8)×(M/8)×D的特征图；设计一个自底向上的解码器将编码器输出的特征图上采样恢复至原始输入尺寸；通过解卷积将两个编码器输出的相关联的特征图级联，然后通过一个3×3卷积将两者融合；
步骤三、由形心(tx,ty,tz)和轴对齐尺寸(dx,dy,dz)编码生成锚盒，通过积分图像将空锚有效去除，最终每一帧产生80-100k个非空锚；给定一个锚，将其分别投影到鸟瞰图和图像中获得两个感兴趣区域；然后用这两个相关的感兴趣区域从每个视图中提取特征修剪区域；将提取出的特征修剪区域双线性地调整至3×3，获得两个相同长度的特征向量，使用1×1卷积进行降维并生成3D建议；
步骤四、利用四个顶点和两个高度信息进行3D最小包围框的约束进行编码，将来自两个输入视图裁剪调整为7×7，然后与元素方式均值操作进行融合；一组三个完全连接的大小为2048的层来处理融合特征图，以输出每个提案的框回归，方向估计和类别分类。
CN201910837423.1A 2019-09-05 2019-09-05 多模态自适应融合的三维目标检测方法 Pending CN110543858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837423.1A CN110543858A (zh) 2019-09-05 2019-09-05 多模态自适应融合的三维目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837423.1A CN110543858A (zh) 2019-09-05 2019-09-05 多模态自适应融合的三维目标检测方法

Publications (1)

Publication Number Publication Date
CN110543858A true CN110543858A (zh) 2019-12-06

Family

ID=68712703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837423.1A Pending CN110543858A (zh) 2019-09-05 2019-09-05 多模态自适应融合的三维目标检测方法

Country Status (1)

Country Link
CN (1) CN110543858A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111079685A (zh) * 2019-12-25 2020-04-28 电子科技大学 一种3d目标检测方法
CN111191729A (zh) * 2019-12-31 2020-05-22 杭州电子科技大学 一种基于多模态特征融合的三维对象融合特征表示方法
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
CN111339830A (zh) * 2020-01-20 2020-06-26 清华大学 一种基于多模态数据特征的目标分类方法
CN111723721A (zh) * 2020-06-15 2020-09-29 中国传媒大学 基于rgb-d的三维目标检测方法、系统及装置
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112101252A (zh) * 2020-09-18 2020-12-18 广州云从洪荒智能科技有限公司 一种基于深度学习的图像处理方法、系统、设备及介质
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112711034A (zh) * 2020-12-22 2021-04-27 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113269891A (zh) * 2020-02-14 2021-08-17 初速度（苏州）科技有限公司 一种点云数据的三维边界框确定方法及装置
CN113345082A (zh) * 2021-06-24 2021-09-03 云南大学 一种特征金字塔多视图三维重建方法和系统
WO2021212420A1 (en) * 2020-04-23 2021-10-28 Nokia Technologies Oy Method and device for 3d object detection
WO2021226876A1 (zh) * 2020-05-13 2021-11-18 华为技术有限公司 一种目标检测方法及装置
US11501490B2 (en) 2020-07-28 2022-11-15 Toyota Research Institute, Inc. Systems and methods for multi-resolution fusion of pseudo-LiDAR features
CN113111751B (zh) * 2021-04-01 2024-06-04 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109932730A (zh) * 2019-02-22 2019-06-25 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109932730A (zh) * 2019-02-22 2019-06-25 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHURAN SONG ET AL.: "Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
XIAOZHI CHEN 等: "Multi-view 3D Object Detection Network for Autonomous Driving", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN110929692B (zh) * 2019-12-11 2022-05-24 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111079685A (zh) * 2019-12-25 2020-04-28 电子科技大学 一种3d目标检测方法
CN111079685B (zh) * 2019-12-25 2022-07-26 电子科技大学 一种3d目标检测方法
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111209825B (zh) * 2019-12-31 2022-07-01 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
CN111191729A (zh) * 2019-12-31 2020-05-22 杭州电子科技大学 一种基于多模态特征融合的三维对象融合特征表示方法
CN111191729B (zh) * 2019-12-31 2022-04-01 杭州电子科技大学 一种基于多模态特征融合的三维对象融合特征表示方法
CN111209840B (zh) * 2019-12-31 2022-02-18 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111339830A (zh) * 2020-01-20 2020-06-26 清华大学 一种基于多模态数据特征的目标分类方法
CN113269891B (zh) * 2020-02-14 2022-06-24 魔门塔(苏州)科技有限公司 一种点云数据的三维边界框确定方法及装置
CN113269891A (zh) * 2020-02-14 2021-08-17 初速度（苏州）科技有限公司 一种点云数据的三维边界框确定方法及装置
WO2021212420A1 (en) * 2020-04-23 2021-10-28 Nokia Technologies Oy Method and device for 3d object detection
WO2021226876A1 (zh) * 2020-05-13 2021-11-18 华为技术有限公司 一种目标检测方法及装置
CN111723721A (zh) * 2020-06-15 2020-09-29 中国传媒大学 基于rgb-d的三维目标检测方法、系统及装置
US11501490B2 (en) 2020-07-28 2022-11-15 Toyota Research Institute, Inc. Systems and methods for multi-resolution fusion of pseudo-LiDAR features
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN112052860B (zh) * 2020-09-11 2023-12-01 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112101252B (zh) * 2020-09-18 2021-08-31 广州云从洪荒智能科技有限公司 一种基于深度学习的图像处理方法、系统、设备及介质
CN112101252A (zh) * 2020-09-18 2020-12-18 广州云从洪荒智能科技有限公司 一种基于深度学习的图像处理方法、系统、设备及介质
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
US11615605B2 (en) 2020-10-23 2023-03-28 Beijing Baidu Netcom Science Technology Co., Ltd. Vehicle information detection method, electronic device and storage medium
CN112711034A (zh) * 2020-12-22 2021-04-27 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113111751B (zh) * 2021-04-01 2024-06-04 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113345082A (zh) * 2021-06-24 2021-09-03 云南大学 一种特征金字塔多视图三维重建方法和系统
CN113345082B (zh) * 2021-06-24 2022-11-11 云南大学 一种特征金字塔多视图三维重建方法和系统

Similar Documents

Publication Publication Date Title
CN110543858A (zh) 多模态自适应融合的三维目标检测方法
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
Jaritz et al. Sparse and dense data with cnns: Depth completion and semantic segmentation
Shivakumar et al. Dfusenet: Deep fusion of rgb and sparse depth information for image guided dense depth completion
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
CN111160214B (zh) 一种基于数据融合的3d目标检测方法
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
US20220284666A1 (en) Structure annotation
KR20190087258A (ko) 객체 자세 추정 방법 및 장치
WO2020258703A1 (zh) 障碍物检测方法、智能驾驶控制方法、装置、介质及设备
CN101366058A (zh) 分段图像元素
CN111209825A (zh) 一种用于动态目标3d检测的方法和装置
CN110570457A (zh) 一种基于流数据的三维物体检测与跟踪方法
EP3836083A1 (en) Disparity estimation system and method, electronic device and computer program product
CN109670516B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
KR101921071B1 (ko) 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치
KR101785203B1 (ko) 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템
CN107578419A (zh) 一种基于一致性轮廓提取的立体图像分割方法
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
He et al. A novel way to organize 3D LiDAR point cloud as 2D depth map height map and surface normal map
EP4207066A1 (en) Object tracking method and apparatus, device, and a computer-readable storage medium
CN114757819A (zh) 一种结构引导的风格偏差校正型风格迁移方法及系统
CN114219757A (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN113111751B (zh) 一种自适应融合可见光与点云数据的三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191206

RJ01 Rejection of invention patent application after publication