CN115294200A - 一种多传感器融合的全天时三维目标检测方法 - Google Patents

一种多传感器融合的全天时三维目标检测方法 Download PDF

Info

Publication number
CN115294200A
CN115294200A CN202210897900.5A CN202210897900A CN115294200A CN 115294200 A CN115294200 A CN 115294200A CN 202210897900 A CN202210897900 A CN 202210897900A CN 115294200 A CN115294200 A CN 115294200A
Authority
CN
China
Prior art keywords
dimensional
visible light
image
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210897900.5A
Other languages
English (en)
Inventor
肖良
朱琪
商尔科
赵大伟
聂一鸣
戴斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202210897900.5A priority Critical patent/CN115294200A/zh
Publication of CN115294200A publication Critical patent/CN115294200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种多传感器融合的全天时三维目标检测方法，属于计算机视觉中的目标检测技术领域。首先对可见光相机、红外相机和激光雷达进行时空配准；然后分别对可见光图像和红外图像利用训练好的目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表，包含目标的类别及二维包围框；再次分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测；最后对所有视锥体中检测到的三维目标进行非极大值抑制处理，消除对同一目标的重复检测，并将最终的三维目标检测结果输出。本发明综合可见光相机、红外相机和激光雷达传感器，能在白天和夜晚全天时环境下稳定地检测三维目标。

Description

一种多传感器融合的全天时三维目标检测方法
技术领域
本发明涉及计算机视觉中的目标检测技术，尤其涉及多传感器融合的三维目标跟踪方法。
背景技术
随着深度学习的快速发展，基于图像和三维点云数据的目标检测技术取得了显著进步，但是基于单一传感器的目标检测方法由于传感器本身的特点在特定场景下均存在一定的缺陷。可见光相机在光照良好的条件下能够提供目标稠密的颜色、纹理和边沿等信息，但是在夜间光照不良条件下，成像质量会急剧下降，此时基于可见光图像的目标检测往往效果不佳。红外相机可以在夜晚环境下获取场景的热辐射成像，尤其适合于检测行人和发动的车辆等目标，但是红外图像通常分辨率较低，对于距离较远和与环境温差小的目标检测难度大。基于图像的目标检测经过近年来的快速发展，形成了一系列成熟的目标检测模型，在图像质量良好时，能够以较快的速度获取良好的检测效果，但是当受到环境和传感器性能影响导致成像质量不佳时，检测效果下降明显。激光雷达是一种主动传感器，不易受环境光和气温的影响，但是激光雷达点云呈现稀疏性、无序性和非结构化的特点，传统的二维卷积神经网络无法直接应用于三维点云，目前常用的思路有多视角投影、三维体素划分和点云直接处理三种。但是多视角投影会损失大量的三维信息；三维体素划分的方法由于时空复杂度随每一维的栅格数量呈三次方增长而无法以高分辨率处理大范围场景；目前直接处理点云的方法通常需要反复进行邻域搜索和集合抽象(Set Abstraction)也会随着点云数量的增加而计算量大增。
为了实现高效的三维目标检测，文献(Qi,C.R.,Liu,W.,Wu,C.,Su,H.,&Guibas,L.J.(2017).Frustum PointNets for 3D Object Detection from RGB-DData.)提出了融合相机和激光雷达的三维目标检测方法，在这种方法中，首先利用基于图像的目标检测网络获取图像上的二维检测框，再通过点云和图像的配准关系，提取二维检测框对应的视锥体(Frustum)点云，再对视锥体点云利用PointNet网络提取前景分割并预测三维目标包围框。这种方法由于首先利用成熟的图像检测网络进行了筛选，而三维检测只需要针对数量较少的视锥体点云进行计算，因此可以实现高效的三维目标检测。文献(Wang,Z.,&Jia,K.(2020).Frustum ConvNet:Sliding Frustums to Aggregate Local Point-WiseFeatures for Amodal 3D Object Detection(pp.1742–1749).)对上述方法进行了改进，对视锥体点云沿着视锥轴进行划分，并对每个截锥利用PointNet提取特征，再利用卷积网络进行物体分类和包围框回归。这种基于Frustum的可见光相机-激光雷达融合目标检测方法虽然提高了检测效率，但是其高度依赖可见光图像的检测结果，一旦可见光图像出现漏检，则势必导致三维目标漏检，而在复杂光照条件下，图像质量的下降往往会导致图像目标检测结果不佳。为了缓解这一问题，本发明通过融合可见光相机、红外相机和激光雷达三种传感器实现全天时三维目标检测。
发明内容
本发明目的在于：针对现有目标检测技术存在的问题，本发明提供一种新的基于多传感器融合的三维目标检测方法，该方法综合可见光相机、红外相机和激光雷达三种传感器，能够在白天和夜晚等全天时环境下稳定地检测三维目标。
为达到上述目的，本发明提供的技术方案为：
一种多传感器融合的全天时三维目标检测方法，其特征在于，包括如下步骤：
S1.对可见光相机、红外相机和激光雷达进行时空配准；
S2.分别对可见光图像和红外图像利用训练好的目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表，包含目标的类别及二维包围框；
S3.分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测；
S31.对可见光图像或红外图像中该目标的二维包围框进行放大处理；
S32.将点云投影到可见光相机坐标系或红外相机坐标系，并筛选落在放大后的二维框对应的视锥体中的点云PF或PF′；
S33.在PF或PF′中利用训练好的点云数据的深度学习模型算法进行三维目标检测，最终得到目标的类别、三维包围框及置信度。
S4.对所有视锥体中检测到的三维目标进行非极大值抑制(NMS，non maximumsuppression)处理，消除对同一目标的重复检测，并将最终的三维目标检测结果输出。
进一步的，步骤1具体如下：
S11.通过硬触发或软同步的方式实现激光雷达、可见光相机、红外相机的时间同步，其中硬触发方式为当激光雷达旋转至接近可见光相机或红外相机视野时触发相机曝光，软同步则通过记录激光雷达点云和图像数据的时间戳，并通过寻找时间戳最接近的数据帧进行同步。
S12.对可见光相机和红外相机进行内参数标定，获取可见光相机和红外相机的内参数矩阵KV和KI；
S13.依次将可见光相机和红外相机与激光雷达进行交叉标定，获取激光雷达坐标系{L}与可见光相机坐标系{V}之间的坐标变换矩阵
Figure BDA0003769776790000041
以及与红外相机坐标系{I}之间的坐标变换矩阵
Figure BDA0003769776790000042
通过坐标变换矩阵和相机内参数矩阵将激光雷达坐标系下的点云分别投影到可见光图像和红外图像上，实现点云和两种相机图像的配准；
进一步的，所述步骤S13实现过程如下：
S131.预先随机放置若干辅助标定物，使得在可见光图像、红外图像和三维点云中均能清楚的辨析标定物的角点；
S132.使用待标定的可见光相机、红外相机和激光雷达采集所述标定物的可见光图像、红外图像和点云数据；
S133.在采集的可见光图像和红外图像中选取辅助标定物角点的像素，得到角点的图像坐标；再在采集的点云数据中选取对应角点的激光点，获取其三维坐标，并分别对可见光图像和红外图像根据选取的图像坐标和对应的三维激光点坐标结合相机的内参数矩阵求解坐标变换矩阵
Figure BDA0003769776790000043
和
Figure BDA0003769776790000044
进一步的，步骤S131中的辅助标定物为加热后的平板。
进一步的，步骤S2如下实现：
S21.将当前的可见光图像或红外图像进行预处理，归一化至预设尺寸等；
S22.将预处理之后的图像输入至预先训练好的目标检测网络进行特征提取和包围框预测；
S23.对网络预测结果进行解码和非极大值抑制后处理，获取对应原始图像的目标包围框位置及类别信息列表。
进一步的，S33的点云数据的深度学习模型算法可以采用F-PointNet或F-ConvNet。
与现有技术相比，本发明的优势在于：
1)本发明采用基于视锥体三维目标检测的框架，充分利用现有成熟高效的图像目标检测技术，只需在图像检测结果对应的视锥体点云中进行三维目标检测，既能获取准确的目标三维位姿，同时保持较高的整体计算效率。
2)本发明在二维目标生成中综合可见光图像和红外图像，使得在白天黑夜均能有较好的二维检测结果，大幅减少在光照不良等复杂环境下由于单一模态的图像漏检导致的三维目标漏检。
附图说明
图1是多传感器融合的全天时三维目标检测方法实现流程示意图。
图2是多传感器融合三维目标检测的在线处理流程示意图。
具体实施方式
以下结合说明书附图和具体优选实例对本发明作进一步的详细描述，但并不因此而限制本发明的保护范围。
一种多传感器融合的全天时三维目标检测方法，步骤包括：
S1.对可见光相机、红外相机和激光雷达进行时空配准；
S2.分别对可见光图像和红外图像利用训练好的目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表，包含目标的类别及二维包围框；
S3.分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测；
S4.对所有视锥体中检测到的三维目标进行非极大值抑制(NMS，non maximumsuppression)处理，消除对同一目标的重复检测，并将最终的三维目标检测结果输出.
步骤S1中对可见光相机、红外相机和激光雷达进行时空配准的具体步骤为：
S11.通过硬触发或软同步的方式实现激光雷达、可见光相机、红外相机的时间同步，其中硬触发方式为当激光雷达旋转至接近相机视野时触发相机曝光，软同步则通过记录激光雷达点云和图像数据的时间戳，并通过寻找时间戳最接近的数据帧进行同步。
S12.采用张正友标定方法或其他成熟的相机标定方法对可见光相机和红外相机进行内参数标定，获取可见光相机和红外相机的内参数矩阵KV和KI。
S13.依次将可见光相机和红外相机与激光雷达进行交叉标定，获取激光雷达坐标系{L}与可见光相机坐标系{V}之间的坐标变换矩阵
Figure BDA0003769776790000061
以及与红外相机坐标系{I}之间的坐标变换矩阵
Figure BDA0003769776790000062
使得可以根据坐标变换矩阵和相机内参数矩阵将激光雷达坐标系下的点云分别投影到可将光图像和红外图像上，实现点云和两种图像的配准。
步骤S13的具体步骤为：
S131.预先随机放置若干辅助标定物(如加热后的平板)，使得在可见光图像、红外图像和三维点云中均能清楚的辨析标定物的角点；
S132.使用待标定的可见光相机、红外相机和激光雷达采集标定物的可见光图像、红外图像和点云数据；
S133.在采集的可见光图像和红外图像中选取辅助标定物角点的像素，得到角点的图像坐标；再在采集的点云数据中选取对应角点的激光点，获取其三维坐标，并分别对可见光图像和红外图像根据选取的图像坐标和对应的三维激光点坐标结合相机的内参数矩阵求解坐标变换矩阵
Figure BDA0003769776790000071
和
Figure BDA0003769776790000072
步骤S2中分别对可见光图像和红外图像利用训练好的图像目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表。以可见光图像为例，红外图像的类似进行，其具体步骤为，：
S21.将当前的可见光图像进行必要的预处理，如归一化至预设尺寸等；
S22.将预处理之后的图像输入至预先训练好的目标检测网络进行特征提取和包围框预测；
S23.对网络预测结果进行解码和非极大值抑制等后处理，获取对应原始图像的目标包围框位置及类别信息列表。
步骤S3中分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测，以可见光图像中检测到的某个二维目标为例，具体步骤如下，红外图像的类似进行：
S31.对可见光图像中该目标的二维包围框进行放大处理；
S32.将点云投影到可见光相机坐标系，并筛选落在放大后的二维框对应的视锥体中的点云PF；
S33.在PF中利用训练好的F-PointNet(Qi,C.R.et al.Frustum PointNets for3DObject Detection from RGB-D Data.[C]//Proceedings of the IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition,2018:918–927)或者F-ConvNet(Wang,Z.,&Jia,K.Frustum ConvNet:Sliding Frustums to AggregateLocal Point-Wise Features for Amodal 3D Object Detection.[C]//Proceedings ofthe IEEE International Conference on Intelligent Robots and Systems.2019:1742–1749)算法进行三维目标检测，最终得到目标的类别、三维包围框及置信度。
实施例1
如图1所示，本实例融合可见光相机、红外相机和激光雷达进行三维目标检测，步骤包括：
S1.对可见光相机、红外相机和激光雷达进行时空配准。
S2.分别对可见光图像和红外图像利用训练好的目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表，包含目标的类别及二维包围框。
S3.分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测。
S4.对所有视锥体中检测到的三维目标进行非极大值抑制(NMS)处理，消除对同一目标的重复检测，并将最终的三维目标检测结果输出。
本实例采用基于视锥体三维目标检测的框架，充分利用现有成熟高效的图像目标检测技术，只需在图像检测结果对应的视锥体点云中进行三维目标检测，既能获取准确的目标三维位姿，同时保持较高的整体计算效率。
本实例在二维目标生成中综合可见光图像和红外图像，使得在白天黑夜均能有较好的二维检测结果，大幅减少在光照不良等复杂环境下由于单一模态的图像漏检导致的三维目标漏检。
本实例中，步骤S1中对可见光相机、红外相机和激光雷达进行时空配准的具体步骤为：
S11.通过硬触发或软同步的方式实现激光雷达、可见光相机、红外相机的时间同步，其中硬触发方式为当激光雷达旋转至接近相机视野时触发相机曝光，软同步则通过记录激光雷达点云和图像数据的时间戳，并通过对每帧点云数据寻找时间戳最接近的可见光图像和红外图像进行同步。
S12.采用张正友标定方法或其他成熟的相机标定方法对可见光相机和红外相机进行内参数标定，获取可见光相机和红外相机的内参数矩阵KV和KI。
S13.依次将可见光相机和红外相机与激光雷达进行交叉标定，获取激光雷达坐标系{L}与可见光相机坐标系{V}之间的坐标变换矩阵
Figure BDA0003769776790000091
以及与红外相机坐标系{I}之间的坐标变换矩阵
Figure BDA0003769776790000092
使得可以根据坐标变换矩阵和相机内参数矩阵将激光雷达坐标系下的点云分别投影到可将光图像和红外图像上，实现点云和两种图像的配准。
本实例中，步骤S13的具体步骤为：
S131.预先随机放置若干辅助标定物(如加热后的金属平板)，使得在可见光图像、红外图像和三维点云中均能清楚的辨析标定物的角点；
S132.使用待标定的可见光相机、红外相机和激光雷达采集标定物的可见光图像、红外图像和点云数据；
S133.在采集的可见光图像和红外图像中选取辅助标定物角点的像素，得到角点的图像坐标；再在采集的点云数据中选取对应角点的激光点，获取其三维坐标，并分别对可见光图像和红外图像根据选取的图像坐标和对应的三维激光点坐标结合相机的内参数矩阵求解坐标变换矩阵
Figure BDA0003769776790000101
和
Figure BDA0003769776790000102
以可见光图像为例，假设(u,v)和(x,y,z)分别为角点在可见光图像像素坐标系和激光雷达坐标系下的坐标，根据针孔相机模型，坐标转换关系如下：
Figure BDA0003769776790000103
其中KV为S12步标定获得的可见光相机的内参矩阵，
Figure BDA0003769776790000104
是激光雷达坐标系与可见光相机坐标系之间的变换矩阵。式(1)可以通过经典的PnP(Perspective-n-Point)算法求解，至少需要3组角点对，当角点对数量超过3组时，可以通过最小二乘求最优解。
步骤S2中分别对可见光图像和红外图像利用训练好的图像目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表。以可见光图像为例，本实施例中，采用YoloV3作为目标检测网络，其具体步骤为：
S21.将当前的可见光图像归一化至416*416；
S22.将归一化的图像输入至预先训练好的YoloV3网络(Redmon,J.,&Farhadi,A.YOLOv3:An Incremental Improvement.
https://arxiv.org/abs/1804.02767)中进行特征提取和包围框预测；
S23.对网络预测结果进行解码和非极大值抑制等后处理，获取对应原始图像的目标包围框位置及类别信息列表。
本实施例中，步骤S3中分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测，以可见光图像中检测到的某个二维目标为例，具体步骤如下：
S31.对可见光图像中该目标的二维包围框进行放大处理，保持包围框的中心位置不变，将包围框的长和宽分别乘以1.2，计算新的包围框的顶点，若超出图像边界，则以图像尺寸进行截断。
S32.将点云投影到可见光相机坐标系，并筛选落在放大后的二维框对应的视锥体中的点云PF；
S33.在PF中利用训练好的F-ConvNet(Wang,Z.,&Jia,K.Frustum ConvNet:Sliding Frustums to Aggregate Local Point-Wise Features for Amodal.[C]//Proceedings of the IEEE International Conference on Intelligent Robots andSystems.2019:1742–1749)算法进行三维目标检测，最终得到目标的类别、三维包围框及置信度。
虽然本发明已通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (6)

1.一种多传感器融合的全天时三维目标检测方法，其特征在于，包括如下步骤：
S1.对可见光相机、红外相机和激光雷达进行时空配准；
S2.分别对可见光图像和红外图像利用训练好的目标检测深度网络模型进行目标检测，获取可见光图像和红外图像中的二维目标列表，包含目标的类别及二维包围框；
S3.分别对可见光图像和红外图像中检测到的每个二维目标包围框提取对应的三维点云视锥，并在该视锥体中进行三维点云目标检测；
S31.对可见光图像或红外图像中该目标的二维包围框进行放大处理；
S32.将点云投影到可见光相机坐标系或红外相机坐标系，并筛选落在放大后的二维框对应的视锥体中的点云PF或PF′；
S33.在PF或PF′中利用训练好的点云数据的深度学习模型算法进行三维目标检测，最终得到目标的类别、三维包围框及置信度。
S4.对所有视锥体中检测到的三维目标进行非极大值抑制处理，消除对同一目标的重复检测，并将最终的三维目标检测结果输出。
2.根据权利要求1所述的一种多传感器融合的全天时三维目标检测方法，其特征在于，所述步骤1具体如下：
S11.通过硬触发或软同步的方式实现激光雷达、可见光相机、红外相机的时间同步，其中硬触发方式为当激光雷达旋转至接近可见光相机或红外相机视野时触发相机曝光，软同步则通过记录激光雷达点云和图像数据的时间戳，并通过寻找时间戳最接近的数据帧进行同步。
S12.对可见光相机和红外相机进行内参数标定，获取可见光相机和红外相机的内参数矩阵KV和KI；
S13.依次将可见光相机和红外相机与激光雷达进行交叉标定，获取激光雷达坐标系{L}与可见光相机坐标系{V}之间的坐标变换矩阵
Figure FDA0003769776780000021
以及与红外相机坐标系{I}之间的坐标变换矩阵
Figure FDA0003769776780000022
通过坐标变换矩阵和相机内参数矩阵将激光雷达坐标系下的点云分别投影到可见光图像和红外图像上，实现点云和两种相机图像的配准。
3.根据权利要求2所述的一种多传感器融合的全天时三维目标检测方法，其特征在于，所述步骤S13实现过程如下：
S131.预先随机放置若干辅助标定物，使得在可见光图像、红外图像和三维点云中均能清楚的辨析标定物的角点；
S132.使用待标定的可见光相机、红外相机和激光雷达采集所述标定物的可见光图像、红外图像和点云数据；
S133.在采集的可见光图像和红外图像中选取辅助标定物角点的像素，得到角点的图像坐标；再在采集的点云数据中选取对应角点的激光点，获取其三维坐标，并分别对可见光图像和红外图像根据选取的图像坐标和对应的三维激光点坐标结合相机的内参数矩阵求解坐标变换矩阵
Figure FDA0003769776780000023
和
Figure FDA0003769776780000024
4.根据权利要求3所述的一种多传感器融合的全天时三维目标检测方法，其特征在于，所述步骤S131中的辅助标定物为加热后的金属平板。
5.根据权利要求1所述的一种多传感器融合的全天时三维目标检测方法，其特征在于，所述步骤S2如下实现：
S21.将当前的可见光图像或红外图像进行预处理，归一化至预设尺寸；
S22.将预处理之后的图像输入至预先训练好的目标检测网络进行特征提取和包围框预测；
S23.对网络预测结果进行解码和非极大值抑制后处理，获取对应原始图像的目标包围框位置及类别信息列表。
6.根据权利要求1所述的一种多传感器融合的全天时三维目标检测方法，其特征在于，所述S33的点云数据的深度学习模型算法能够采用但不限于采用F-PointNet或F-ConvNet。
CN202210897900.5A 2022-07-28 2022-07-28 一种多传感器融合的全天时三维目标检测方法 Pending CN115294200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210897900.5A CN115294200A (zh) 2022-07-28 2022-07-28 一种多传感器融合的全天时三维目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210897900.5A CN115294200A (zh) 2022-07-28 2022-07-28 一种多传感器融合的全天时三维目标检测方法

Publications (1)

Publication Number Publication Date
CN115294200A true CN115294200A (zh) 2022-11-04

Family

ID=83824178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210897900.5A Pending CN115294200A (zh) 2022-07-28 2022-07-28 一种多传感器融合的全天时三维目标检测方法

Country Status (1)

Country Link
CN (1) CN115294200A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994854A (zh) * 2023-03-22 2023-04-21 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统
CN117746166A (zh) * 2024-02-19 2024-03-22 中国科学院长春光学精密机械与物理研究所 一种硅通孔芯片的缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994854A (zh) * 2023-03-22 2023-04-21 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统
CN117746166A (zh) * 2024-02-19 2024-03-22 中国科学院长春光学精密机械与物理研究所 一种硅通孔芯片的缺陷检测方法
CN117746166B (zh) * 2024-02-19 2024-05-28 中国科学院长春光学精密机械与物理研究所 一种硅通孔芯片的缺陷检测方法

Similar Documents

Publication Publication Date Title
TWI685798B (zh) 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN115294200A (zh) 一种多传感器融合的全天时三维目标检测方法
CN111060924B (zh) 一种slam与目标跟踪方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
TW202014990A (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
CN113159466B (zh) 一种短时光伏发电功率预测系统及方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN115937288A (zh) 一种变电站三维场景模型构建方法
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
CN114399882A (zh) 一种用于消防机器人的火源探测识别并预警方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN113050074A (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
Ge et al. Three-dimensional location methods for the vision system of strawberry-harvesting robots: development and comparison
US9875549B2 (en) Change detection in video data
CN116863357A (zh) 一种无人机遥感堤坝影像定标与智能分割变化检测方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN112771568A (zh) 红外图像处理方法、装置、可移动平台与计算机可读介质
Lv et al. A target distance estimation method through front-to-rear binocular vision inspired by head bobbing behaviour of walking bird
CN114463303B (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
Zhang et al. Label Propagation from camera image to point cloud BEV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination