CN112101222A - 一种基于无人艇多模态传感器的海面三维目标检测方法 - Google Patents

一种基于无人艇多模态传感器的海面三维目标检测方法 Download PDF

Info

Publication number
CN112101222A
CN112101222A CN202010971573.4A CN202010971573A CN112101222A CN 112101222 A CN112101222 A CN 112101222A CN 202010971573 A CN202010971573 A CN 202010971573A CN 112101222 A CN112101222 A CN 112101222A
Authority
CN
China
Prior art keywords
sensor
point cloud
dimensional target
sea surface
unmanned ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010971573.4A
Other languages
English (en)
Inventor
刘昊
秦华城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202010971573.4A priority Critical patent/CN112101222A/zh
Publication of CN112101222A publication Critical patent/CN112101222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于无人艇多模态传感器的海面三维目标检测方法，属于计算机视觉三维目标检测的技术领域，所述方法采用艇载图像传感器和点云传感器作为多模态传感器，结合平面特征标定方法和数据集组织结构进行数据集构建。本发明从已有的标定算法出发，利用多张棋盘格特征联合标定图像传感器与点云传感器，通过将采集到的点云传感器3D点云数据编码为六通道鸟瞰图输入到建议生成网络。本发明方法更易获取合适、稳定、清晰的传感器数据，通过将点云信息和图像信息的特征进行深度融合，实现快速精确的检测，提高了海上三维目标检测的效果和效率。

Description

一种基于无人艇多模态传感器的海面三维目标检测方法
技术领域
本发明属于计算机视觉三维目标检测的技术领域，特别是指一种基于无人艇多模态传感器的海面三维目标检测方法。
背景技术
三维目标检测指的是采用适当的方法，识别RGB图像上存在的物体，输出对应的类别及在三维空间中的长宽高、旋转角等信息的过程。随着计算机技术的更新以及传感器技术的发展，应用传感器融合进行三维目标检测逐渐成为主流。三维目标检测，即利用大量的传感器节点或者相关检测基础设备采集所检测区域的数据信息并对采集到的数据信息进行相关设定的处理，然后传递至融合中心并利用设定数据融合理论判断监测区域的目标是否存在，并给出目标的在三维空间的长宽高、旋转角等信息。数据融合是一种整合信息的方法，试图把来自不同时间点和不同信息源的信息自动或者半自动的进行整合并转换成一种形式，为之后的目标检测模块或其他处理模块提供更加全面、精确的目标信息，有效解决信息片面，传感器失灵，盲点信息采集的问题。
三维目标检测一般是针对一幅输入图像，算法首先通过滑动窗口等筛选方式得到候选字图，再将每一幅子图和一个已知模式进行比较，从而判断该子图是否为待识别目标。然而，海面三维目标检测存在许多挑战，如海洋中存在大量的波浪噪声，即海面背景不像陆地一样平稳，它属于动态背景中进行运动目标检测的问题，和检测静态背景中的运动目标相比，其复杂程度更高；其次，摄像头安装在无人艇上，这属于摄像机在复杂运动模式下的运动目标检测问题，因此对算法的鲁棒性要求更加苛刻；另外，海上天气复杂多变，如晴好天气会存在光照不均、鱼鳞光等问题，其次海雾可随时出现，现有水面无人艇技术中，目标检测方法依赖的是无人艇上的RGB图像传感器，易受海面环境影响。而现有基于点云的三维目标检测算法，数据分辨率较差且处理的数据量极大，算法实时性不能达到小型USV水上作业的要求。因此，提出的目标检测算法必须适合动态背景及逆光的情况。
发明内容
本发明提供一种基于无人艇多模态传感器的海面三维目标检测方法，解决了现有技术中的水面无人艇的目标检测算法依赖易受海面环境影响的艇载图像传感器而导致获取的RGB图像数据质量差，进一步导致目标检测效果差的问题。
本发明是通过以下技术方案实现的：
一种基于无人艇多模态传感器的海面三维目标检测方法，其主要是：包括以下步骤：1)搭建艇载传感器系统，按照一定的布置标准设置图像传感器和点云传感器的相对位置；2)艇载图像传感器-艇载点云传感器联合标定，使用基于平面特征的标定方法得到联合标定图像传感器和点云传感器得到传感器内外参；3)定义内部通信协议格式，按照一定的协议格式构建数据集，将标定文件，图像文件，点云文件组织起来，同时定义3D包围框数据格式；4)两阶段三维目标检测网络搭建，两阶段检测网络由建议生成网络和深度融合检测网络两个部分组成，建议生成网络将点云传感器点云数据BEV截面和艇载图像传感器图像数据作为输入，从输入中提取特征图以生成3D提议，在深度融合检测网络中，将深度融合的特征图输入到完整的连接层，并执行3D Bounding BOX回归和分类操作。
作为一种优选的实施方案，所述步骤2)中图像传感器外参矩阵得到的标准是靶标平面参数的计算。有利于进行图像传感器和点云传感器进行联合标定算法的研究，该算法残差为15.0162mm，与点云传感器的量程的比率为0.2％，具有较高的标定精度。
作为一种优选的实施方案，所述步骤2)中传感器联合标定方法是基于圆心点阵平面特征的标定方法。
作为一种优选的实施方案，所述步骤2)中，平面方程是利用最小二乘法拟合得到的，平面参数是依据各靶标平面在点云传感器坐标系下的平面参数。
作为一种优选的实施方案，所述步骤2)中，点云数据和图像传感器参数的目标函数为点到平面的距离。有效降低了摄像机畸变和RAW数据的噪声给初值解法带来的干扰。
作为一种优选的实施方案，所述步骤2)中，算法采用Levenberg-Marquard算法。这种算法对于过参数化问题不敏感，能有效处理冗余参数问题，使代价函数陷入局部最小值的机会大大减小。
作为一种优选的实施方案，所述步骤4)中，点云数据的处理是通过将采集到的点云传感器3D点云数据编码为六通道鸟瞰图；使用的编码方法是将3D点云的水平位置信息转换为鸟瞰图的像素坐标信息，高度和维度上的信息转换维鸟瞰图的通道信息，对三维环境进行有效的二维表示。
作为一种优选的实施方案，所述步骤4)中，采用特征金字塔网络(FeaturePyramid Networks，FPN)作为3D RPN网络架构，包含了encoder和decoder。在保证最终的feature map相对于input是full-resolution的同时，并且还结合了底层细节信息和高层语义信息，因此能显著提高物体特别是小物体的检测效果。
进一步，作为优先的实施例，本发明将3D Bounding BOX利用一个底面以及高度约束，即要求其为一个长方体，优化编码方式，只需一个10维(2x4+1+1)的向量即可表示3DBounding BOX。本发明在进行3D Bounding BOX编码时，因为传统8角编码没有考虑3DBounding Box的物理约束，即边界框顶角要与底部顶角对齐，且描述8个顶点需要一个24维(3x8)的向量表示，为了降低冗余并保持这些物理约束。
本发明与现有技术相比的有益效果是：
本发明采用艇载图像传感器和点云传感器作为多模态传感器，按照合理的设计布置其相对位置，同时结合标定文件和标注文件结构进行数据集构建。本发明从已有的标定算法出发，利用多张棋盘格特征联合标定图像传感器与点云传感器，通过将采集到的点云传感器3D点云数据编码为六通道鸟瞰图输入到建议生成网络，基于圆心点阵平面特征的标定方法优化联合标定图像传感器与点云传感器的标定参数。相较于传统的张正友标定法，将联合标定残差从173.8157mm降低到15.0162mm，与点云传感器的量程的比率从2.3％降低到0.2％。艇载图像传感器获取的高质量图像数据和经过精简处理的点云传感器点云数据融合得到的特征，降低了目标检测算法处理数据所需时间。通过将采集到的点云传感器3D点云数据编码为适用于小型USV水上作业环境的六通道鸟瞰图输入到建议生成网络，相较于传统的海上3D目标检测算法，将水面无人艇基于该方法的海面三维目标检测的平均精度从86.55％提高到88.19％，在0.7阈值IoU下的平均方向相似性从84.19％提高到84.62％。
附图说明
图1为传感器布置方案；高度1为1.65m，点云传感器的高度为1.73m,无人艇船体的最底部高度为0；图像传感器1和图像传感器2横坐标X一致，即距离3为0.27m；图像传感器1和图像传感器2之间距离1为0.54m；图像传感器1和点云传感器的y轴距离2为0.06m。
图2圆心点阵标定特征图A前视图或后视图，B俯视图-圆形区域为半球形凹槽；
图3文件组织结构；
图4为3D Bounding BOX编码示意图，其中c1、c2、c3、c4、h1、h2分别为4corner+2height offset。
具体实施方式
下面将结合本发明的具体实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种基于无人艇多模态传感器的海面三维目标检测方法，包括以下步骤：
1)搭建艇载传感器系统，如图1所示，按照一定的布置标准设置图像传感器和点云传感器的相对位置；图像传感器1和图像传感器2的高度一致，即高度1为1.65m，点云传感器的高度为1.73m,无人艇船体的最底部高度为0；图像传感器1和图像传感器2横坐标X一致，即距离3为0.27m；图像传感器1和图像传感器2之间距离1为0.54m；图像传感器1和点云传感器的y轴距离2为0.06m。
2)艇载图像传感器-艇载点云传感器联合标定，使用基于平面特征的标定方法优化联合标定图像传感器和点云传感器得到传感器内外参，如图2所示；优选地，传感器联合标定方法是基于圆心点阵平面特征的标定方法。进一步地，平面方程是利用最小二乘法拟合得到的。优化点云数据和摄图像传感器参数的目标函数为点到平面的距离，优先地，平面参数采用Levenberg-Marquard算法。
3)定义内部通信协议格式，如表一所示，按照一定的协议格式构建数据集；如图3所示，将标定文件，图像文件，点云文件和标注文件组织起来；其中，图像数据使用8位PNG文件，并以无损压缩进行存储，点云数据存储为浮点二进制文件，提高解析效率，每个点以其(x,y,z)坐标和附加反射值(r)存储；同时定义3D包围框数据格式；
表1协议格式
Figure BDA0002684265400000061
Figure BDA0002684265400000071
4)两阶段三维目标检测网络搭建，两阶段检测网络由建议生成网络和深度融合检测网络两个部分组成，建议生成网络将点云数据和图像数据作为输入，从输入中提取特征图以生成3D提议。在深度融合检测网络中，将深度融合的特征图输入到完整的连接层，并执行3D Bounding BOX回归和分类操作。
再优选地，点云数据的处理是通过将采集到的点云数据编码为适用于小型USV水上作业环境的六通道鸟瞰图。
再进一步地，采用特征金字塔网络作为3D RPN网络架构，在保证最终的featuremap相对于input是full-resolution的同时，结合了底层细节信息和高层语义信息。
进一步，3D Bounding BOX采用的是4corner+2height offset方式编码如图4所示。
实施例2
一种基于无人艇多模态传感器的海面三维目标检测方法，包括以下步骤：
1)搭建艇载传感器系统，按照一定的布置标准设置图像传感器和点云传感器的相对位置；
2)艇载图像传感器-艇载点云传感器联合标定，使用张氏标定方法和传统棋盘格标定特征板得到图像传感器内外参数初值，再使用基于平面特征的标定方法优化图像传感器畸变和数据噪声；
3)定义内部通信协议格式，按照一定的协议格式构建数据集，将标定文件，图像文件，点云文件组织起来，同时定义3D包围框数据格式；
4)两阶段三维目标检测网络搭建，两阶段检测网络由建议生成网络和深度融合检测网络两个部分组成，建议生成网络将点云数据和图像数据作为输入，从输入中提取特征图以生成3D提议。在深度融合检测网络中，将深度融合的特征图输入到完整的连接层，并执行3D Bounding BOX回归和分类操作。
本实施例中，联合标定残差为173.8157mm，与点云传感器的量程的比率为2.3％，海面三维目标检测算法平均精度为86.55％,在0.7阈值IoU下的平均方向相似性为84.19％。
实施例3
本发明的一种基于无人艇多模态传感器的海面三维目标检测方法，包括以下步骤：
1)搭建艇载传感器系统，按照一定的布置标准设置图像传感器和点云传感器的相对位置；
2)艇载图像传感器-艇载点云传感器联合标定，使用基于平面特征的标定法和圆心点阵标定特征板，利用拟合得到的图像数据圆心点阵和点云数据球心点阵配准后计算得到图像传感器内外参数初值，使用基于平面特征的标定方法优化图像传感器畸变和数据噪声，利用最小二乘法拟合得到平面方程；
3)定义内部通信协议格式，按照一定的协议格式构建数据集，将标定文件，图像文件，点云文件组织起来，同时定义3D包围框数据格式，用8个角点(x,y,z)，共24个向量来表示；
4)两阶段三维目标检测网络搭建，两阶段检测网络由建议生成网络和深度融合检测网络两个部分组成，将采集到的点云传感器3D点云数据编码为点云俯视图和点云前视图数据，建议生成网络将编码后的点云数据和图像数据作为输入，采用VGG-16网络架构从输入中提取特征图以生成3D提议。在深度融合检测网络中，将深度融合的特征图输入到完整的连接层，并执行3D Bounding BOX回归和分类操作
本实施例中，联合标定残差为20.2173mm，与点云传感器的量程的比率为0.3％，海面三维目标检测算法平均精度为86.55％,在0.7阈值IoU下的平均方向相似性为84.19％。
实施例4
一种基于无人艇多模态传感器三维目标检测方法，包括以下步骤：
1)搭建艇载传感器系统，按照一定的布置标准设置图像传感器和点云传感器的相对位置；
2)艇载图像传感器-艇载点云传感器联合标定，使用基于平面特征的标定法和圆心点阵标定特征板，利用拟合得到图像数据圆心点阵和点云数据球心点阵计算得到图像传感器内外参数初值，使用基于平面特征的标定方法优化图像传感器畸变和数据噪声，利用最小二乘法拟合得到平面方程，平面参数采用Levenberg-Marquard算法得到；
3)定义内部通信协议格式，按照一定的协议格式构建数据集，将标定文件，图像文件，点云文件组织起来，同时定义3D包围框数据格式；
4)两阶段三维目标检测网络搭建，两阶段检测网络由建议生成网络和深度融合检测网络两个部分组成，将采集到的点云传感器3D点云数据编码为适用于小型USV水上作业环境的六通道鸟瞰图，BEV的前五个通道是每个网格单元的最大高度编码。五个通道是沿Z轴的切片，从0m到2.5m分开，第六个通道是每个单元网格的密度信息。建议生成网络将点云数据的六通道鸟瞰图和艇载图像传感器图像数据作为输入，采用特征金字塔网络作为3DRPN网络架构从输入中提取特征图以生成3D提议。在深度融合检测网络中，将深度融合的特征图输入到完整的连接层，并执行3D Bounding BOX回归和分类操作。
本实施例中，联合标定残差为15.0162mm，与点云传感器的量程的比率为0.2％，海面三维目标检测算法平均精度为88.19％,在0.7阈值IoU下的平均方向相似性为84.62％。
与现有技术相比，本发明的有益效果是：以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述方法包括以下步骤：1)搭建艇载传感器系统，按照一定的布置标准设置图像传感器和点云传感器的相对位置；2)艇载图像传感器-艇载点云传感器联合标定，使用基于平面特征的标定方法得到联合标定图像传感器和点云传感器得到传感器内外参；3)定义内部通信协议格式，按照一定的协议格式构建数据集，将标定文件，图像文件，点云文件组织起来，同时定义3D包围框数据格式；4)两阶段三维目标检测网络搭建，两阶段检测网络由建议生成网络和深度融合检测网络两个部分组成，建议生成网络将点云传感器点云数据BEV截面和艇载图像传感器图像数据作为输入，从输入中提取特征图以生成3D提议，在深度融合检测网络中，将深度融合的特征图输入到完整的连接层，并执行3D Bounding BOX回归和分类操作。
2.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤2)中图像传感器外参矩阵得到的标准是靶标平面参数的计算。
3.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤2)中传感器联合标定方法是基于圆心点阵平面特征的标定方法。
4.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤2)中，平面方程是利用最小二乘法拟合得到的，平面参数是依据各靶标平面在点云传感器坐标系下的平面参数。
5.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤2)中，点云数据和图像传感器参数的目标函数为点到平面的距离。
6.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤2)中，算法采用Levenberg-Marquard算法。
7.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤4)中，点云数据的处理是通过将采集到的点云传感器3D点云数据编码为六通道鸟瞰图；使用的编码方法是将3D点云的水平位置信息转换为鸟瞰图的像素坐标信息，高度和维度上的信息转换维鸟瞰图的通道信息，对三维环境进行有效的二维表示。
8.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤4)中，采用特征金字塔网络作为3D RPN网络架构，包含了encoder和decoder。
9.根据权利要求1所述的一种基于无人艇多模态传感器的海面三维目标检测方法，其特征在于所述步骤4中将3D Bounding BOX利用一个底面以及高度约束，即要求其为一个长方体，优化编码方式，只需一个10维的向量即可表示3D Bounding BOX。
CN202010971573.4A 2020-09-16 2020-09-16 一种基于无人艇多模态传感器的海面三维目标检测方法 Pending CN112101222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010971573.4A CN112101222A (zh) 2020-09-16 2020-09-16 一种基于无人艇多模态传感器的海面三维目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010971573.4A CN112101222A (zh) 2020-09-16 2020-09-16 一种基于无人艇多模态传感器的海面三维目标检测方法

Publications (1)

Publication Number Publication Date
CN112101222A true CN112101222A (zh) 2020-12-18

Family

ID=73759257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010971573.4A Pending CN112101222A (zh) 2020-09-16 2020-09-16 一种基于无人艇多模态传感器的海面三维目标检测方法

Country Status (1)

Country Link
CN (1) CN112101222A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578356A (zh) * 2020-12-25 2021-03-30 上海商汤临港智能科技有限公司 一种外参标定方法、装置、计算机设备及存储介质
CN112991550A (zh) * 2021-03-31 2021-06-18 东软睿驰汽车技术（沈阳）有限公司 基于伪点云的障碍物位置检测方法、装置和电子设备
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN112578356B (zh) * 2020-12-25 2024-05-17 上海商汤临港智能科技有限公司 一种外参标定方法、装置、计算机设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983961A (zh) * 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
CN105022397A (zh) * 2014-04-25 2015-11-04 谷歌公司 用于使用多个传感器进行物体检测的方法和系统
CN106355194A (zh) * 2016-08-22 2017-01-25 广东华中科技大学工业技术研究院 一种基于激光成像雷达的无人艇水面目标处理方法
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
KR20180099090A (ko) * 2017-02-28 2018-09-05 전자부품연구원 자율 주행 차량을 위한 다중 라이다 신호 융합 장치
US20180267172A1 (en) * 2017-03-20 2018-09-20 Hyundai Motor Company System and method for recognizing position of vehicle
CN108711172A (zh) * 2018-04-24 2018-10-26 中国海洋大学 基于细粒度分类的无人机识别与定位方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
CN209460400U (zh) * 2019-02-01 2019-10-01 成都信息工程大学 一种用于激光雷达和相机外部参数标定的标定板
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022397A (zh) * 2014-04-25 2015-11-04 谷歌公司 用于使用多个传感器进行物体检测的方法和系统
CN103983961A (zh) * 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
CN106355194A (zh) * 2016-08-22 2017-01-25 广东华中科技大学工业技术研究院 一种基于激光成像雷达的无人艇水面目标处理方法
KR20180099090A (ko) * 2017-02-28 2018-09-05 전자부품연구원 자율 주행 차량을 위한 다중 라이다 신호 융합 장치
US20180267172A1 (en) * 2017-03-20 2018-09-20 Hyundai Motor Company System and method for recognizing position of vehicle
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN108711172A (zh) * 2018-04-24 2018-10-26 中国海洋大学 基于细粒度分类的无人机识别与定位方法
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN209460400U (zh) * 2019-02-01 2019-10-01 成都信息工程大学 一种用于激光雷达和相机外部参数标定的标定板
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JASON KU 等: "Joint 3D Proposal Generation and Object Detection from View Aggregation", 《ARXIV》 *
MING LIANG 等: "Deep Continuous Fusion for Multi-sensor 3D Object Detection", 《ECCV 2018》 *
MIRACLE629: "多传感融合内外参标定（二）：lidar-camera，PnP算法和自动化流程设想", 《HTTPS://BLOG.CSDN.NET/MIRACLE629/ARTICLE/DETAILS/88288669》 *
XIAOZHI CHEN 等: "Multi-View 3D Object Detection Network for Autonomous Driving", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
张易 等: "基于 3 维点云鸟瞰图的高精度实时目标检测", 《机器人》 *
张鹏 等: "3D目标检测进展综述", 《计算机科学》 *
李琳 等: "二维和三维视觉传感集成系统联合标定方法", 《仪器仪表学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578356A (zh) * 2020-12-25 2021-03-30 上海商汤临港智能科技有限公司 一种外参标定方法、装置、计算机设备及存储介质
CN112578356B (zh) * 2020-12-25 2024-05-17 上海商汤临港智能科技有限公司 一种外参标定方法、装置、计算机设备及存储介质
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113158763B (zh) * 2021-02-23 2021-12-07 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US11397242B1 (en) 2021-02-23 2022-07-26 Tsinghua University 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds
CN112991550A (zh) * 2021-03-31 2021-06-18 东软睿驰汽车技术（沈阳）有限公司 基于伪点云的障碍物位置检测方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
KR20220155559A (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN104835158B (zh) 基于格雷码结构光与极线约束的三维点云获取方法
US10950041B2 (en) Method for generating 3D data relating to an object
CN113436258B (zh) 基于视觉与激光雷达融合的海上浮码头检测方法及系统
CN110070025B (zh) 基于单目图像的三维目标检测系统及方法
CN109753960A (zh) 基于分形理论的孤立森林水下人工目标检测方法
CN112101222A (zh) 一种基于无人艇多模态传感器的海面三维目标检测方法
CN109118577B (zh) 基于载人潜水器的水下激光扫描重构系统及其方法
CN114254696A (zh) 基于深度学习的可见光、红外和雷达融合目标检测方法
CN111652926A (zh) 基于稀疏点云数据的实时三维目标检测方法
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN114299160A (zh) 基于视觉与激光雷达融合的受电弓运行状态动态检测方法
Zhang et al. Research on unmanned surface vehicles environment perception based on the fusion of vision and lidar
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN114283394A (zh) 一种车载传感器融合的交通目标检测系统
CN109613557A (zh) 一种补全激光雷达三维点云目标的系统及方法
Li et al. Vision-based target detection and positioning approach for underwater robots
CN113129248B (zh) 一种海岛遥感影像集获得方法、装置、设备及介质
CN115620150B (zh) 基于孪生Transformer的多模态图像地面建筑识别方法及装置
CN117036993A (zh) 一种基于无人机的船舶水尺远程测量方法
Ding et al. Animation design of multisensor data fusion based on optimized AVOD algorithm
CN115861601A (zh) 一种多传感器融合感知方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218

RJ01 Rejection of invention patent application after publication