CN113887404A - 一种图像和激光雷达数据融合的3d目标检测方法和系统 - Google Patents

一种图像和激光雷达数据融合的3d目标检测方法和系统 Download PDF

Info

Publication number
CN113887404A
CN113887404A CN202111156585.2A CN202111156585A CN113887404A CN 113887404 A CN113887404 A CN 113887404A CN 202111156585 A CN202111156585 A CN 202111156585A CN 113887404 A CN113887404 A CN 113887404A
Authority
CN
China
Prior art keywords
groove
dimensional
sliding
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111156585.2A
Other languages
English (en)
Inventor
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Cts Equipment Ltd
Zhongke Testing Shenzhen Co ltd
Original Assignee
Zhongke Testing Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Testing Shenzhen Co ltd filed Critical Zhongke Testing Shenzhen Co ltd
Priority to CN202111156585.2A priority Critical patent/CN113887404A/zh
Publication of CN113887404A publication Critical patent/CN113887404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及目标检测领域，具体涉及一种图像和激光雷达数据融合的3D目标检测方法和系统，包括多层卷积特征提取模块以及用于交并比计算和归一化距离的预处理模块，具体步骤如下：S1，通过检测算法计算车辆获取的目标相机图像和激光雷达点云信息，得到目标的二维矩阵框的交点坐标和置信度以及三维立体框的交点坐标和置信度；S2,将三维立体框的交点坐标投影到图像平面上，通过预处理模块计算二维矩阵框的交并比和归一化距离；S3，构建特征矩阵；S4，将特征矩阵代入到多层卷积特征提取模块，并且通过非极大抑制操作得到最后的三维目标坐标信息。

Description

一种图像和激光雷达数据融合的3D目标检测方法和系统
技术领域
本发明涉及目标检测领域，具体涉及一种图像和激光雷达数据融合的3D目标检测方法和系统。
背景技术
自动驾驶系统需要对车辆和环境中的其他物体进行精确的三维感知。不同于二维视觉检测，基于三维的目标检测可用于空间路径规划，用于车辆的导航与避障。但是三维目标检测具有更大的挑战性，需要更多的输出参数来指定目标周围面向三维空间的边界框。现有的三维目标检测算法根据传感器不同，大致可以分为视觉、激光点云和多模态融合三类。视觉方法由于其成本低、纹理特征丰富等优势，在目标检测领域中被广泛使用，激光点云数据具有准确的深度信息，并且具有明显的三维空间特征，也被广泛应用于三维目标检测中。但是，激光雷达等方法的输入数据分辨率通常低于图像，这使得对于较远距离的目标检测精度不高。这促使采用多模态传感器融合来提高三维目标检测的精度。
对于图像与激光雷达的融合方法，在自动驾驶车辆目标检测中较为常见。如Frustum PointNet和Frustum ConvNet是二维数据驱动三维目标检测的经典方法，利用经典的二维目标检测方法生成二维矩形框，将三维处理域缩小到图像中相应裁剪区域。但是，对于在三维空间观测到的目标，采用基于二维图像的备选外轮廓框则会失败。此外，其他方法MV3D和AVOD将原始点云投影到鸟瞰图中，形成多通道鸟瞰图图像。利用基于深度融合的二维CNN对鸟瞰图图像和前摄像头图像进行特征提取，进行三维外轮廓框角点回归。这些基于融合的方法的总体性能比仅基于激光雷达的方法差。可能的原因包括:①将原始点云转换为鸟瞰图图像会丢失空间信息。②这些算法中为了融合来自不同传感器模式的特征向量而采用的裁剪和调整大小操作可能会破坏来自每个传感器的特征结构。如相机图像是高分辨率的稠密数据，而激光雷达点云是低分辨率的稀疏数据，融合这两种不同类型的数据结构并非易事。因此，需要设计一种高精度的多源传感器目标检测方法，在保证实时性的前提下，来提高检测的精度。
发明内容
本发明的目的在于提供一种图像和激光雷达数据融合的3D目标检测方法和系统，解决自动驾驶车辆的三维目标检测精度不高的问题。
为解决上述的技术问题，本发明采用的第一种技术方案是：
一种图像和激光雷达数据融合的3D目标检测方法和系统，包括多层卷积特征提取模块以及用于交并比计算和归一化距离的预处理模块，具体步骤如下：S1，通过检测算法计算车辆获取的目标相机图像和激光雷达点云信息，得到目标的二维矩阵框和三维立体框的交点坐标和置信度；S2,将三维立体框的交点坐标投影到图像平面上，通过预处理模块计算二维矩阵框的交并比和归一化距离；S3，通过二维矩阵框和三维立体框的交并比、二维矩阵框的置信度、三维立体框的置信度和三维立体框顶部距离地面的归一化值构建特征矩阵；S4，将特征矩阵代入到多层卷积特征提取模块，并且通过非极大抑制操作得到最后的三维目标坐标信息。
进一步的技术方案是，步骤S1中的检测算法包括二维图像目标检测算法和三维激光雷电点云目标检测算法，通过二维图像目标检测算法得到在图像中二维目标检测矩形框角点坐标，
Figure BDA0003288825730000021
其中P2D是k个检测矩形框集合，xi1,yi1和xi2,yi2是矩形框的左下角点和右上角点，
Figure BDA0003288825730000022
是矩形框的置信度，通过三维激光雷电点云目标检测算法，得到在激光雷达点云数据中三维目标检测立体矩形框角点坐标，
Figure BDA0003288825730000023
其中P3D是k个检测立体矩形框集合，hi,wi,li是立体矩形框的长宽高，xi,yi1,zi是立体矩形框的左下角点，
Figure BDA0003288825730000024
是立体矩形框的置信度，步骤S2中的交并比为IoUij，归一化距离值为dj，步骤S3中特征矩阵为
Figure BDA0003288825730000025
IoUij是二维检测矩阵框与三维检测立体矩阵框的交并比，步骤S4中，将特征矩阵代入到多层卷积特征提取模块得到n个候选外轮廓框的概率分数表，进而通过非极大抑制操作得到最后的三维目标坐标信息。
本发明采用的第二种技术方案是：
一种图像和激光雷达数据融合的3D目标检测系统，采用前述的图像和激光雷达数据融合的3D目标检测方法进行检测。
进一步的技术方案是，车辆的前侧设置有用于获取目标相机图像的摄像部和雷达部，车辆的前侧设置有连接槽和雷达槽，雷达槽设置于连接槽的下方，摄像部卡设于连接槽内，雷达部卡设于雷达槽内。
更进一步的技术方案是，连接槽的上方设置右用于锁紧摄像部和连接槽之间连接的锁紧结构。
更进一步的技术方案是，锁紧结构包括锁紧柱、第一弹簧、三角板、第一滑动柱和第二滑动柱，连接槽的槽壁上设置有滑动槽，锁紧柱滑动设置于滑动槽内，摄像部的侧面设置有锁紧槽，锁紧柱的一端在滑动槽内通过第一弹簧和滑动槽的槽底相连，另一端穿出滑动槽，并且卡设于锁紧槽内，车辆的前侧在连接槽的上方设置有和滑动槽槽壁相连通的滑动孔，第一滑动柱滑动设置于滑动孔内，第二滑动柱和第一滑动柱朝向滑动槽的一端相连，第二滑动柱朝向滑动槽的一端设置有第一斜面，三角板的一端在滑动槽内和锁紧柱相连，另一端穿进滑动孔内，三角板上设置有第二斜面，第二斜面和第二斜面滑动贴合，第二斜面朝向连接槽设置。
更进一步的技术方案是，滑动孔的孔壁上设置有第一限位槽，第一限位槽内滑动设置有第一限位块，第一限位块的一侧穿进滑动孔内和第一滑动柱的侧面相连。
更进一步的技术方案是，摄像部和连接槽相连的一端设置有推动槽，连接槽的槽底连接有第二弹簧，第二弹簧的一端和连接槽的槽底相连，另一端和推动槽的槽底相贴合。
更进一步的技术方案是，摄像部的侧面设置有贯通两端的第二限位槽，连接槽的槽壁上设置有第二限位块，第二限位块和第二限位槽滑动相连。
更进一步的技术方案是，摄像部的侧面在朝向连接槽槽底的一端至锁紧槽之间设置有第三斜面。
与现有技术相比，本发明的有益效果是：通过车辆获取目标的相机图像和激光雷达点云信息，配合检测算法，能够建立多模态信息融合的框架，通过设置交并比计算和归一化距离的预处理模块，能够快速的将获取的图像和三维立体框进行处理，从而得到三维立体框的交并比和三维立体框的置信度和三维立体框顶部距离地面的归一化值，通过设置多层卷积特征提取模块，能够通过处理特征矩阵来提高三维目标坐标信息的精确度以及提高了目标检测的鲁棒性和精度。解决自动驾驶车辆的三维目标检测精度不高的问题。
附图说明
图1为本发明一种图像和激光雷达数据融合的3D目标检测方法和系统的预处理模块流程示意图。
图2为本发明一种图像和激光雷达数据融合的3D目标检测方法和系统的征提取模块的流程示意图。
图3为本发明一种图像和激光雷达数据融合的3D目标检测方法和系统的摄像部和连接槽连接示意图。
图标：1-连接槽，101-第二限位块，2-摄像部，201-锁紧槽，202-推动槽，203-第二弹簧，204-第二限位槽，205-第三斜面，3-滑动槽，301-锁紧柱，302-第一弹簧，303-三角板，304-第一滑动柱，305-第二滑动柱，306-滑动孔，307-第一斜面，308-第二斜面，309-第一限位槽，310-第一限位块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例：
图1至图3所示为本发明的实施例。
实施例1：
一种图像和激光雷达数据融合的3D目标检测方法和系统，包括多层卷积特征提取模块以及用于交并比计算和归一化距离的预处理模块，具体步骤如下：S1，通过检测算法计算车辆获取的目标相机图像和激光雷达点云信息，得到目标的二维矩阵框和三维立体框的交点坐标和置信度；S2,将三维立体框的交点坐标投影到图像平面上，通过预处理模块计算二维矩阵框的交并比和归一化距离；S3，通过二维矩阵框和三维立体框的交并比、二维矩阵框的置信度、三维立体框的置信度和三维立体框顶部距离地面的归一化值构建特征矩阵；S4，将特征矩阵代入到多层卷积特征提取模块，并且通过非极大抑制操作得到最后的三维目标坐标信息。通过车辆获取目标的相机图像和激光雷达点云信息，配合检测算法，能够建立多模态信息融合的框架，通过设置交并比计算和归一化距离的预处理模块，能够快速的将获取的图像和三维立体框进行处理，从而得到三维立体框的交并比和三维立体框的置信度和三维立体框顶部距离地面的归一化值，通过设置多层卷积特征提取模块，能够通过处理特征矩阵来提高三维目标坐标信息的精确度以及提高了目标检测的鲁棒性和精度。解决自动驾驶车辆的三维目标检测精度不高的问题。
步骤S1中的检测算法包括二维图像目标检测算法和三维激光雷电点云目标检测算法，通过二维图像目标检测算法得到在图像中二维目标检测矩形框角点坐标，
Figure BDA0003288825730000041
其中P2D是k个检测矩形框集合，xi1,yi1和xi2,yi2是矩形框的左下角点和右上角点，
Figure BDA0003288825730000042
是矩形框的置信度，通过三维激光雷电点云目标检测算法，得到在激光雷达点云数据中三维目标检测立体矩形框角点坐标，
Figure BDA0003288825730000043
其中P3D是k个检测立体矩形框集合，hi,wi,li是立体矩形框的长宽高，xi,yi1,zi是立体矩形框的左下角点，
Figure BDA0003288825730000044
是立体矩形框的置信度，步骤S2中的交并比为IoUij，归一化距离值为dj，步骤S3中特征矩阵为
Figure BDA0003288825730000045
IoUij是二维检测矩阵框与三维检测立体矩阵框的交并比，步骤S4中，将特征矩阵代入到多层卷积特征提取模块得到n个候选外轮廓框的概率分数表，进而通过非极大抑制操作得到最后的三维目标坐标信息。
实施例2：
一种图像和激光雷达数据融合的3D目标检测系统，采用实施例1中的图像和激光雷达数据融合的3D目标检测方法进行检测。
车辆的前侧设置有用于获取目标相机图像的摄像部2和雷达部，车辆的前侧设置有连接槽1和雷达槽，雷达槽设置于连接槽1的下方，摄像部2卡设于连接槽1内，雷达部卡设于雷达槽内。通过连接槽1将摄像部2固定于车辆的前侧，这样便于通过摄像部2获取图像。常规设置中连接槽1的槽底设置有第一连接线，摄像部2和连接槽槽底相连的一端设置有第二连接线，第一连接线和第二连接线卡扣相连，这样就能将摄像部2的图像传回到车辆的处理系统内，进一步用于传输到预处理模块上。通过将雷达部在摄像部2的下方固定于雷达槽内，这样雷达部和摄像部2在使用过程中相对位置不会发生变动，这样有利于在采用实施例1中的图像和激光雷达数据融合的3D目标检测方法进行检测的时候，获取所有信息都更加精准。
连接槽1的上方设置右用于锁紧摄像部2和连接槽1之间连接的锁紧结构。通过设置锁紧结构，提升了摄像部2和连接槽1连接的牢固度。
锁紧结构包括锁紧柱301、第一弹簧302、三角板303、第一滑动柱304和第二滑动柱305，连接槽1的槽壁上设置有滑动槽3，锁紧柱301滑动设置于滑动槽3内，摄像部2的侧面设置有锁紧槽201，锁紧柱301的一端在滑动槽3内通过第一弹簧302和滑动槽3的槽底相连，另一端穿出滑动槽3，并且卡设于锁紧槽201内，车辆的前侧在连接槽1的上方设置有和滑动槽3槽壁相连通的滑动孔306，第一滑动柱304滑动设置于滑动孔306内，第二滑动柱305和第一滑动柱304朝向滑动槽3的一端相连，第二滑动柱305朝向滑动槽3的一端设置有第一斜面307，三角板303的一端在滑动槽3内和锁紧柱301相连，另一端穿进滑动孔306内，三角板303上设置有第二斜面308，第二斜面308和第二斜面308滑动贴合，第二斜面308朝向连接槽1设置。这样的设置，当需要将摄像部2从连接槽1中取出的时候，通过按压第一滑动柱304，这样第一滑动柱304就会朝滑动槽3滑动，这样第一滑动柱304会带动第二滑动柱305朝滑动槽3滑动，此时第一斜面307贴合于第二斜面308滑动，通过第二斜面308带动三角板303和锁紧柱301压缩第一弹簧302，这时锁紧柱301和锁紧槽201卡扣相连的一端缩回到滑动槽3内，这时就可以将摄像部2从连接槽1内拔出。
滑动孔306的孔壁上设置有第一限位槽309，第一限位槽309内滑动设置有第一限位块311，第一限位块311的一侧穿进滑动孔306内和第一滑动柱304的侧面相连。通过设置第一限位槽309和第一限位块311相配合，能够使第一滑动柱304稳定的设置于滑动孔306内，避免第一滑动柱304从滑动孔306内滑出，导致锁紧结构整体损坏。
摄像部2和连接槽1相连的一端设置有推动槽202，连接槽1的槽底连接有第二弹簧203，第二弹簧203的一端和连接槽1的槽底相连，另一端和推动槽202的槽底相贴合。这样的设置，在通过按压第一滑动柱304使锁紧柱301和锁紧槽201断开连接的时候，通过第二弹簧203的弹力，能够推动推动槽202，从而使摄像部2从连接槽1内弹出一部分，这样便于操作人员将摄像部2从连接槽1内取出。
摄像部2的侧面设置有贯通两端的第二限位槽204，连接槽1的槽壁上设置有第二限位块101，第二限位块101和第二限位槽204滑动相连。通过设置第二限位槽204和第二限位块101，能够使摄像部2进入连接槽1的位置保持固定的姿势，这样就能使摄像部2进入连接槽以后，便于锁紧槽201和锁紧柱301对齐。
摄像部2的侧面在朝向连接槽1槽底的一端至锁紧槽201之间设置有第三斜面205。通过设置第三斜面205，能够在摄像部2进入连接槽1的时候，通过第三斜面基牙锁紧柱301，使其缩回到滑动槽3内，第三斜面和锁紧槽201的槽口相交在一起，这样就能在在放入摄像部2的时候，通过推动摄像部2进入到连接槽1，就能使锁紧柱301和锁紧槽201完成卡扣相连，是摄像部2能够轻松的安装在连接槽1内。
尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种图像和激光雷达数据融合的3D目标检测方法，其特征在于，包括多层卷积特征提取模块以及用于交并比计算和归一化距离的预处理模块，具体步骤如下：
S1，通过检测算法计算车辆获取的目标相机图像和激光雷达点云信息，得到目标的二维矩阵框的交点坐标和置信度以及三维立体框的交点坐标和置信度；
S2,将三维立体框的交点坐标投影到图像平面上，通过预处理模块计算二维矩阵框的交并比和归一化距离；
S3，通过二维矩阵框和三维立体框的交并比、二维矩阵框的置信度、三维立体框的置信度和三维立体框顶部距离地面的归一化值构建特征矩阵；
S4，将特征矩阵代入到多层卷积特征提取模块，并且通过非极大抑制操作得到最后的三维目标坐标信息。
2.根据权利要求1所述的一种图像和激光雷达数据融合的3D目标检测方法，其特征在于：所述步骤S1中的检测算法包括二维图像目标检测算法和三维激光雷电点云目标检测算法，通过二维图像目标检测算法得到在图像中二维目标检测矩形框角点坐标，
Figure FDA0003288825720000011
其中P2D是k个检测矩形框集合，xi1,yi1和xi2,yi2是矩形框的左下角点和右上角点，
Figure FDA0003288825720000012
是矩形框的置信度，通过三维激光雷电点云目标检测算法，得到在激光雷达点云数据中三维目标检测立体矩形框角点坐标，
Figure FDA0003288825720000013
其中P3D是k个检测立体矩形框集合，hi,wi,li是立体矩形框的长宽高，xi,yi1,zi是立体矩形框的左下角点，
Figure FDA0003288825720000014
是立体矩形框的置信度，所述步骤S2中的交并比为IoUij，归一化距离值为dj，所述步骤S3中特征矩阵为
Figure FDA0003288825720000015
IoUij是二维检测矩阵框与三维检测立体矩阵框的交并比，所述步骤S4中，将特征矩阵代入到多层卷积特征提取模块得到n个候选外轮廓框的概率分数表，进而通过非极大抑制操作得到最后的三维目标坐标信息。
3.一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：采用权利要求1或2所述的图像和激光雷达数据融合的3D目标检测方法进行检测。
4.根据权利要求3所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述车辆的前侧设置有用于获取目标相机图像的摄像部(2)和雷达部，所述车辆的前侧设置有连接槽(1)和雷达槽，所述雷达槽设置于连接槽(1)的下方，所述摄像部(2)卡设于连接槽(1)内，所述雷达部卡设于雷达槽内。
5.根据权利要求4所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述连接槽(1)的上方设置右用于锁紧摄像部(2)和连接槽(1)之间连接的锁紧结构。
6.根据权利要求5所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述锁紧结构包括锁紧柱(301)、第一弹簧(302)、三角板(303)、第一滑动柱(304)和第二滑动柱(305)，所述连接槽(1)的槽壁上设置有滑动槽(3)，所述锁紧柱(301)滑动设置于滑动槽(3)内，所述摄像部(2)的侧面设置有锁紧槽(201)，所述锁紧柱(301)的一端在滑动槽(3)内通过第一弹簧(302)和滑动槽(3)的槽底相连，另一端穿出滑动槽(3)，并且卡设于锁紧槽(201)内，所述车辆的前侧在连接槽(1)的上方设置有和滑动槽(3)槽壁相连通的滑动孔(306)，所述所述第一滑动柱(304)滑动设置于滑动孔(306)内，所述第二滑动柱(305)和第一滑动柱(304)朝向滑动槽(3)的一端相连，所述第二滑动柱(305)朝向滑动槽(3)的一端设置有第一斜面(307)，所述三角板(303)的一端在滑动槽(3)内和锁紧柱(301)相连，另一端穿进滑动孔(306)内，所述三角板(303)上设置有第二斜面(308)，所述第二斜面(308)和第二斜面(308)滑动贴合，所述第二斜面(308)朝向连接槽(1)设置。
7.根据权利要求6所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述滑动孔(306)的孔壁上设置有第一限位槽(309)，所述第一限位槽(309)内滑动设置有第一限位块(311)，所述第一限位块(311)的一侧穿进滑动孔(306)内和第一滑动柱(304)的侧面相连。
8.根据权利要求6所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述摄像部(2)和连接槽(1)相连的一端设置有推动槽(202)，所述连接槽(1)的槽底连接有第二弹簧(203)，所述第二弹簧(203)的一端和连接槽(1)的槽底相连，另一端和推动槽(202)的槽底相贴合。
9.根据权利要求4-8任意一项所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述摄像部(2)的侧面设置有贯通两端的第二限位槽(204)，所述连接槽(1)的槽壁上设置有第二限位块(101)，所述第二限位块(101)和第二限位槽(204)滑动相连。
10.根据权利要求6-8任意一项所述的一种图像和激光雷达数据融合的3D目标检测系统，其特征在于：所述摄像部(2)的侧面在朝向连接槽(1)槽底的一端至锁紧槽(201)之间设置有第三斜面(205)。
CN202111156585.2A 2021-09-30 2021-09-30 一种图像和激光雷达数据融合的3d目标检测方法和系统 Pending CN113887404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111156585.2A CN113887404A (zh) 2021-09-30 2021-09-30 一种图像和激光雷达数据融合的3d目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111156585.2A CN113887404A (zh) 2021-09-30 2021-09-30 一种图像和激光雷达数据融合的3d目标检测方法和系统

Publications (1)

Publication Number Publication Date
CN113887404A true CN113887404A (zh) 2022-01-04

Family

ID=79004643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111156585.2A Pending CN113887404A (zh) 2021-09-30 2021-09-30 一种图像和激光雷达数据融合的3d目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN113887404A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106184037A (zh) * 2016-09-22 2016-12-07 奇瑞汽车股份有限公司 一种雷达摄像头安装结构及其安装方法
CN206344785U (zh) * 2016-12-22 2017-07-21 李朋朋 一种无人驾驶汽车用保险杠
CN107804193A (zh) * 2017-11-15 2018-03-16 朱幕松 自动驾驶公交电车
CN207397992U (zh) * 2017-11-17 2018-05-22 上海伟世通汽车电子系统有限公司 带背光的锁扣按键结构
CN210532194U (zh) * 2019-11-13 2020-05-15 成都众犇广告有限公司 一种灯管内置的节能灯箱
CN213783445U (zh) * 2021-01-19 2021-07-23 速招来企业服务有限公司 一种微招聘智能识别考勤机用摄像头

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106184037A (zh) * 2016-09-22 2016-12-07 奇瑞汽车股份有限公司 一种雷达摄像头安装结构及其安装方法
CN206344785U (zh) * 2016-12-22 2017-07-21 李朋朋 一种无人驾驶汽车用保险杠
CN107804193A (zh) * 2017-11-15 2018-03-16 朱幕松 自动驾驶公交电车
CN207397992U (zh) * 2017-11-17 2018-05-22 上海伟世通汽车电子系统有限公司 带背光的锁扣按键结构
CN210532194U (zh) * 2019-11-13 2020-05-15 成都众犇广告有限公司 一种灯管内置的节能灯箱
CN213783445U (zh) * 2021-01-19 2021-07-23 速招来企业服务有限公司 一种微招聘智能识别考勤机用摄像头

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SU PANG ET AL.: "CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection", 《2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》, pages 10386 - 10393 *

Similar Documents

Publication Publication Date Title
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN110503040B (zh) 障碍物检测方法及装置
EP3358295B1 (en) Image processing device, stereo camera device, vehicle, and image processing method
CN106384382A (zh) 一种基于双目立体视觉的三维重建系统及其方法
US11379963B2 (en) Information processing method and device, cloud-based processing device, and computer program product
EP1394761A2 (en) Obstacle detection device and method therefor
CN107886477A (zh) 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
US20110169922A1 (en) Three dimension model building system and method
CN109447908A (zh) 一种基于立体视觉的钢卷识别定位方法
CN104539934A (zh) 图像采集装置和图像处理方法、系统
KR102132242B1 (ko) 스테레오 카메라 보정 시스템
KR101614654B1 (ko) 단일 카메라가 장착된 드론을 이용한 추적 객체 위치 판별 방법
WO2022054422A1 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
CN112232275A (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN111798507A (zh) 一种输电线安全距离测量方法、计算机设备和存储介质
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN109658451B (zh) 一种深度感知方法，装置和深度感知设备
CN113887404A (zh) 一种图像和激光雷达数据融合的3d目标检测方法和系统
Kochi et al. 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220713

Address after: 518000 ruigu 208, No. 2-10, South Jinlong Avenue, Shahu community, biling street, Pingshan District, Shenzhen City, Guangdong Province

Applicant after: Zhongke testing (Shenzhen) Co.,Ltd.

Applicant after: CHONGQING CTS EQUIPMENT LTD.

Address before: 518000 ruigu 208, No. 2-10, South Jinlong Avenue, Shahu community, biling street, Pingshan District, Shenzhen City, Guangdong Province

Applicant before: Zhongke testing (Shenzhen) Co.,Ltd.

TA01 Transfer of patent application right