CN114662587A - 一种基于激光雷达的三维目标感知方法、装置及系统 - Google Patents

一种基于激光雷达的三维目标感知方法、装置及系统 Download PDF

Info

Publication number
CN114662587A
CN114662587A CN202210276734.7A CN202210276734A CN114662587A CN 114662587 A CN114662587 A CN 114662587A CN 202210276734 A CN202210276734 A CN 202210276734A CN 114662587 A CN114662587 A CN 114662587A
Authority
CN
China
Prior art keywords
dimensional
current frame
ellipsoid
error term
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210276734.7A
Other languages
English (en)
Inventor
王发平
邵鹏韬
姜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haixing Zhijia Technology Co Ltd
Original Assignee
Shenzhen Haixing Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haixing Zhijia Technology Co Ltd filed Critical Shenzhen Haixing Zhijia Technology Co Ltd
Priority to CN202210276734.7A priority Critical patent/CN114662587A/zh
Publication of CN114662587A publication Critical patent/CN114662587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Abstract

本发明公开了一种基于激光雷达的三维目标感知方法、装置及系统，其中方法包括：将RGBD数据及IMU数据输入到SLAM的追踪线程中得到当前帧的传感器位姿、二维特征点和三维地图点；根据传感器位姿得到投影矩阵；将当前帧对应的图片输入到目标检测网络中得到目标的二维检测框；根据二维检测框在当前帧中的位置、传感器位姿和投影矩阵进行椭球拟合得到椭球P；将椭球P采用投影矩阵进行投影得到投影椭圆p1；在二维检测框内拟合一个最大的内切椭圆得到第一椭圆o1；利用o1与p1构建重投影误差项1；将误差项1加入到BA优化中优化椭球P。由此可以在BA优化中加入SLAM中的定位结果，帮助椭球准确地描述目标物体。

Description

一种基于激光雷达的三维目标感知方法、装置及系统
技术领域
本发明涉及目标感知技术领域，具体涉及一种基于激光雷达的三维目标感知方法、装置及系统。
背景技术
三维目标检测是自动驾驶的重要内容，是自动驾驶的决策控制和建图导航的重要依据，对环境感知和语义建图的最终结果起到重要的作用，故三维目标感知的准确性，直接影响到自动驾驶的安全性与鲁棒性。
目前常用的三维目标检测方法有激光点云法、RGBD法、多目相机法。
(1)激光点云法：激光点云可提供准确的空间位置信息，通过深度学习网络补充语义特征Semantic features、前景遮盖Foreground Mask、3D特则提取，最后得出三维检测框，即3D bounding box。
(2)RGBD法：在对RGB图像进行轮廓检测(Contour detection)和候选区域(Regionproposal)后分别使用CNN(卷积神经网络)对深度层和图像层进行特征提取和分类并输出目标检测结果(深度分割)。
(3)多目相机法：深度来源于多目相机系统的视差，距离越远，误差越大。
但是上述检测方法分别存在数据量过大、传感器单一、检测误差大等缺点。因此业界提出基于视觉-激光融合的三维目标检测方法，视觉与激光传感器的互补性可以提供更准确且全面的信息输入，但两者的准确融合是难点所在。本发明拟解决的技术问题即为视觉与激光传感器数据的准确融合。
发明内容
有鉴于此，本发明实施例提供了一种基于激光雷达的三维目标感知方法、装置及系统，以实现视觉与激光传感器数据的准确融合。
根据第一方面，本发明实施例提供了一种基于激光雷达的三维目标感知方法，包括以下步骤：将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点；根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵；将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框；根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P；将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1；将所述误差项1加入到BA优化中，优化所述椭球P。
结合第一方面，在第一方面第一实施方式中，在将RGBD数据输入到SLAM的追踪线程之前，还包括：分别获取相机的RBG图像数据和激光雷达的点云数据；获取预设的外参标定数据；根据所述RBG图像数据、所述点云数据和所述外参标定数据，得到所述激光雷达与所述相机之间的准确外参数据；利用所述准确外参数据和预设的相机内参数据，将所述点云数据投影至二维像素屏幕；使用平滑化算法，将投影后的点云数据转化为像素平面的深度数据；将所述深度数据与RGB图像数据结合，得到RGBD数据。
结合第一方面，在第一方面第二实施方式中，所述根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵包括：获取预设的相机内参数据；根据所述相机内参数据和所述当前帧的传感器位姿，得到所述当前帧的投影矩阵，其中所述传感器包括相机和激光雷达。
结合第一方面，在第一方面第三实施方式中，根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P包括：根据所述二维检测框在所述当前帧中的位置及所述当前帧的传感器位姿，利用所述当前帧的投影矩阵将所述二维检测框投影到三维空间中，得到四个垂直于相机平面的约束平面；根据所述当前帧中所述二维检测框内的二维特征点的语义信息，得到目标的三维语义对象点；根据所述目标的三维语义对象点，形成两个平行于相机平面的约束平面；根据六个约束平面构成的立方体空间内拟合一个最大内切椭球，得到椭球P。
结合第一方面至第一方面第三实施方式，在第一方面第四实施方式中，基于激光雷达的三维目标感知方法还包括：将所述当前帧的三维地图点利用所述当前帧的投影矩阵投影至二维平面，并计算与所述当前帧的二维特征点的误差，得到误差项2；将所述误差项2加入到BA优化中，优化所述椭球P。
结合第一方面第四实施方式，在第一方面第五实施方式中，将所述误差项1和所述误差项2加入到BA优化中，优化所述椭球P包括：将所述误差项1和所述误差项2加入到所述BA优化中，锁定所述误差项2中的参数，开放所述椭球P的数学表达式，将椭球作为可变参数，使用梯度下降算法寻找最小化所述误差项1和所述误差项2的椭球体参数，得到初步优化后的椭球P；其中所述误差项2中的参数包括传感器位姿和所述三维地图点的位置；开放所述BA优化中对误差项2的锁定，通过最小化误差项1与所述误差项2的误差合，优化所述三维地图点、所述传感器位姿和所述初步优化后的椭球P，得到优化后的三维地图点、优化后的传感器位姿和二次优化后的椭球P。
结合第一方面第五实施方式，在第一方面第六实施方式中，在通过最小化误差项1与误差项2的误差合，优化所述三维地图点和所述传感器位姿之后，还包括：根据所述二次优化后的椭球P得到SLAM地图中目标的目标椭球，将所述目标椭球投影到地平面上得到二维目标地图；将所述二维目标地图与离线目标地图进行优化匹配，构建两者的匹配误差项3，并通过优化方法得到使得所述误差项3最小化的变换矩阵；根据所述变换矩阵，将SLAM里程计投影到地平面，得到在所述离线目标地图坐标系下的实时SLAM定位信息。
结合第一方面第六实施方式，在第一方面第七实施方式中，在得到在所述离线目标地图坐标系下的实时SLAM定位信息之后，还包括：将所述误差项1、所述误差项2和所述误差项3加入BA优化式，同时优化所述传感器位姿、所述三维地图点位置、所述椭球P的表达式，使得综合误差最小化并得到优化后的数据。
根据第二方面，本发明实施例还提供了一种基于激光雷达的三维目标感知装置，包括追踪模块、投影矩阵确定模块、二维检测框确定模块、椭球拟合模块、误差项构建模块和优化模块，所述追踪模块用于将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点；所述投影矩阵确定模块用于根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵；所述二维检测框确定模块用于将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框；所述椭球拟合模块用于根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P；将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；所述误差项构建模块用于利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1；所述优化模块用于将所述误差项1加入到BA优化中，优化所述椭球P。
根据第二方面，本发明实施例还提供了一种基于激光雷达的三维目标感知系统，包括相机、激光雷达、存储器和处理器，所述相机、所述激光雷达、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的基于激光雷达的三维目标感知方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例1中基于激光雷达的三维目标感知方法的流程示意图；
图2为基于激光雷达的三维目标感知方法一示例的流程示意图；
图3为本发明实施例2中基于激光雷达的三维目标感知装置的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
在自动驾驶领域，控制决策的基础是准确的环境感知，环境感知又包含特征级别的点线面结构纹理特征和语义级别的目标感知，其中语义感知又分为二维目标感知与三维目标感知。三维目标感知的难点除了物体检测的准确性，也存在与SLAM(simultaneouslocalization and mapping，即时定位与地图构建)三维空间匹配的三维地图融合问题。其中SLAM一般分为五个模块，包括传感器数据、视觉里程计、后端、建图及回环检测。
基于此，本发明实施例1提供了一种基于激光雷达的三维目标感知方法，图1为本发明实施例1中基于激光雷达的三维目标感知方法的流程示意图，图2为基于激光雷达的三维目标感知方法一示例的流程示意图。在本发明实施例1中，激光雷达可以选用像素级激光雷达。
如图1和图2所示，本发明实施例1中基于激光雷达的三维目标感知方法包括以下步骤：
S101：将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点。
在本发明实施例1中，当前帧可以为关键帧。这是因为，目前通常情况下会利用相机获取视频，视频相比图像来说信息更加丰富，但是一个序列里冗余信息太多，也就是说，一个视频里很多帧其实与所做的动作无关，与动作有关的帧可以称为关键帧。视频中关键帧的提取方法可以采用现有技术中的任意方案，在此不再赘述。
具体的，IMU数据具体包括：加速度计的加速度数据和陀螺仪的姿态数据与角速度数据。，IMU数据可以通过惯性传感器采集得到。
作为具体的实施方式，在将RGBD数据输入到SLAM的追踪线程之前，还包括以下步骤：分别获取相机的RBG图像数据和激光雷达的点云数据；获取预设的外参标定数据；根据所述RBG图像数据、所述点云数据和所述外参标定数据，得到所述激光雷达与所述相机之间的准确外参数据；利用所述准确外参数据和预设的相机内参数据，将所述点云数据投影至二维像素屏幕；使用平滑化算法，将投影后的点云数据转化为像素平面的深度数据；将所述深度数据与RGB图像数据结合，得到RGBD数据。由此可以使用激光雷达的机械优势，突破传统深度相机的物理限制，与直接采用RGBD传感器相比，本发明实施例1的上述方法可在户外强光的情况下稳定运行，并把深度的感知距离从10m提升到100m。而且可以在BA优化中加入点云数据，可以帮助椭球准确的描述物体。
作为具体的实施方式，根据所述RBG图像数据、所述点云数据和所述外参标定数据，得到所述激光雷达与所述相机之间的准确外参数据可以采用如下方法：在所述RBG图像数据中提取边缘线特征，得到第一边缘特征；使用所述外参标定数据将所述点云数据投影至相机平面后，进行平滑化处理并生成深度图，在深度图提取边缘线特征，得到第二边缘特征；计算所述第一边缘特征与所述第二边缘特征的匹配误差，并通过优化方法调整外参，得到使得所述匹配误差最小化，得到所述激光雷达与所述相机之间的准确外参数据。
S102：根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵。
作为具体的实施方式，所述根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵可以采用以下方案：获取预设的相机内参数据；根据所述相机内参数据和所述当前帧的传感器位姿，得到所述当前帧的投影矩阵，其中所述传感器包括相机和激光雷达。
S103：将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框。
图2中的“路标物体”相当于目标。
其中，目标检测网络可以采用现有技术中的任意一个，本发明实施例1对此不做限定。
进一步的，在得到目标的二维检测框之后，还包括将当前帧中所述二维检测框内的二维特征点标记上语义信息。需要说明的是，在建图过程中，二维特征点与三维地图点是一一对应的，因此在将当前帧中二维检测框内的二维特征点标记上语义信息之后，也可以得到三维语义对象点。
S104：根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P。
具体的，根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P可以采用以下方案：根据所述二维检测框在所述当前帧中的位置及所述当前帧的传感器位姿，利用所述当前帧的投影矩阵将所述二维检测框投影到三维空间中，得到四个垂直于相机平面的约束平面；根据所述当前帧中所述二维检测框内的二维特征点的语义信息，得到目标的三维语义对象点；根据所述目标的三维语义对象点，形成两个平行于相机平面的约束平面；根据六个约束平面构成的立方体空间内拟合一个最大内切椭球，得到椭球P。
S105：将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1。
S106：将所述误差项1加入到BA优化中，优化所述椭球P。
作为进一步的实施方式，本发明实施例1的基于激光雷达的三维目标感知方法还包括以下步骤：(1)将所述误差项1和所述误差项2加入到所述BA优化中，锁定所述误差项2中的参数，开放所述椭球P的数学表达式，将椭球作为可变参数，使用梯度下降算法寻找最小化所述误差项1和所述误差项2的椭球体参数，得到优化后的椭球P；其中所述误差项2中的参数包括传感器位姿和所述三维地图点的位置；(2)开放所述BA优化中对误差项2的锁定，通过最小化误差项1与所述误差项2的误差合，优化所述三维地图点、所述传感器位姿和所述初步优化后的椭球P，得到优化后的三维地图点、优化后的传感器位姿和二次优化后的椭球P。上述的步骤(1)相当于图2中的“寻找拟合椭球物体的最优解”，上述的步骤(2)相当于图2中的“将椭球体对象插入到局部地图中，并进行完整的BA优化”。
作为进一步的实施方式，在通过最小化误差项1与误差项2的误差合，优化所述三维地图点和所述传感器位姿之后，还包括：根据所述二次优化后的椭球P得到SLAM地图中目标的目标椭球，将所述目标椭球投影到地平面上得到二维目标地图；将所述二维目标地图与离线目标地图进行优化匹配，构建两者的匹配误差项3，并通过优化方法得到使得所述误差项3最小化的变换矩阵；根据所述变换矩阵，将SLAM里程计投影到地平面，得到在所述离线目标地图坐标系下的实时SLAM定位信息。即相当于图2中的“将椭圆体地图与地面真实地图进行匹配，计算变换矩阵并估测GPS位置”。
更进一步的，在在得到在所述离线目标地图坐标系下的实时SLAM定位信息之后，还包括：将所述误差项1、所述误差项2和所述误差项3加入BA优化式，同时优化所述传感器位姿、所述三维地图点位置、所述椭球P的表达式，使得综合误差最小化并得到优化后的数据。即相当于图2中的“回环检测”。也就是说，如经过重复位置，则将触发SLAM中的回环检测模块，并将椭球特征重投影误差项及离线地图匹配误差项加入回环检测的最优化方程中，实现更为鲁棒且准确的估测。
也就是说，本发明实施例1的基于激光雷达的三维目标感知方法包括以下步骤：1)根据外参融合雷达和相机图层，对相机图层提取ORB特征点，并通过雷达的深度层赋予深度信息构建RGBD数据。在正式构建RGBD框架数据前，需要对雷达和摄像头进行标定，更新激光雷达与相机的外参。可设置一些可触发自动标定模块的特定条件，更新激光雷达与相机的外参。2)RGBD数据输入ORB SLAM的追踪线程，选取出关键帧后输入目标检测网提取二维检测框即2D bounding box。3)2D bounding box和三维语义点云输入椭球拟合，得出椭球三维估计，加入SLAM三维地图，可构建误差项加入BA优化式。4)三维椭球可构建语义地图用于重定位，或与二维测绘地图进行匹配得出GPS坐标，并加入回环估计。
本发明实施例1的基于激光雷达的三维目标感知方法具有如下优点：
(1)激光雷达的有效传感距离比RGBD要长，故融合了激光雷达与RGB相机的三维目标感知方法比纯粹的RGBD相机感知方法的有效感知距离要长。例如采用激光雷达与RGB相机融合生成的RGBD数据的传感距离可达到100米以上；而采用RGBD相机作为传感器输入，有效距离短，仅在10米左右；
(2)采用点云特征及椭球特征作为里程计，可以减少消除误差，提高鲁棒性。
(3)加入语义椭球可用于描述路标物体，通过路标物体构建的实时地图与离线地图进行匹配，可得到GPS坐标下的定位结果，在动态的环境中更具有鲁棒性，可只将长期静止的物体选取为路标，避免因物体移动导致的点云地图变动而导致的定位不准确问题。
实施例2
在本发明实施例1的基础上，本发明实施例2还提供了一种基于激光雷达的三维目标感知装置，图3为本发明实施例2中基于激光雷达的三维目标感知装置的流程示意图。如图3所示，本发明实施例2的基于激光雷达的三维目标感知装置包括追踪模块20、投影矩阵确定模块21、二维检测框确定模块22、椭球拟合模块23、误差项构建模块24和BA优化模块25。
具体的，追踪模块20，用于将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点；
投影矩阵确定模块21，用于根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵；
二维检测框确定模块22，用于将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框；
椭球拟合模块23，用于根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P；将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；
误差项构建模块24，用于利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1；
BA优化模块25，用于将所述误差项1加入到BA优化中，优化所述椭球P。
作为进一步的实施方式，所述BA优化模块25还用于：将所述当前帧的三维地图点利用所述当前帧的投影矩阵投影至二维平面，并计算与所述当前帧的二维特征点的误差，得到误差项2；将所述误差项2加入到BA优化中，优化所述椭球P。
作为进一步的实施方式，所述BA优化模块25具体用于：将所述误差项1和所述误差项2加入到所述BA优化中，锁定所述误差项2中的参数，开放所述椭球P的数学表达式，将椭球作为可变参数，使用梯度下降算法寻找最小化所述误差项1和所述误差项2的椭球体参数，得到优化后的椭球P；其中所述误差项2中的参数包括传感器位姿和所述三维地图点的位置；开放所述BA优化中对误差项2的锁定，通过最小化误差项1与所述误差项2的误差合，优化所述三维地图点、所述传感器位姿和所述初步优化后的椭球P，得到优化后的三维地图点、优化后的传感器位姿和二次优化后的椭球P。
作为进一步的实施方式，所述基于激光雷达的三维目标感知装置还包括定位与回环检测模块26。所述定位与回环检测模块26具体用于：根据所述二次优化后的椭球P得到SLAM地图中目标的目标椭球，将所述目标椭球投影到地平面上得到二维目标地图；将所述二维目标地图与离线目标地图进行优化匹配，构建两者的匹配误差项3，并通过优化方法得到使得所述误差项3最小化的变换矩阵；根据所述变换矩阵，将SLAM里程计投影到地平面，得到在所述离线目标地图坐标系下的实时SLAM定位信息。
进一步的，所述定位与回环检测模块26还用于：将所述误差项1、所述误差项2和所述误差项3加入BA优化式，同时优化所述传感器位姿、所述三维地图点位置、所述椭球P的表达式，使得综合误差最小化并得到优化后的数据。
上述基于激光雷达的三维目标感知装置具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
实施例3
本发明实施例还提供了一种基于激光雷达的三维目标感知系统，该电子设备可以包括相机、激光雷达、处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。
具体的，激光雷达可以选用高线束扫描式激光雷达；相机可以选用车载广角摄像头。搭载基于激光雷达的三维目标感知系统的载体为工程作业车辆，工程作业车辆的作业场景为目标多、低动态、地面起伏不一的封闭园区、港口和矿场等。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的基于激光雷达的三维目标感知方法对应的程序指令/模块(例如，图3所示的追踪模块20、投影矩阵确定模块21、二维检测框确定模块22、椭球拟合模块23、误差项构建模块24、BA优化模块25、定位与回环检测模块26)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于激光雷达的三维目标感知方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1至图2实施例中的基于激光雷达的三维目标感知方法。
上述电子设备具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于激光雷达的三维目标感知方法，其特征在于，包括：
将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点；
根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵；
将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框；
根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P；
将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1；
将所述误差项1加入到BA优化中，优化所述椭球P。
2.根据权利要求1所述的方法，其特征在于，在将RGBD数据输入到SLAM的追踪线程之前，还包括：
分别获取相机的RBG图像数据和激光雷达的点云数据；
获取预设的外参标定数据；
根据所述RBG图像数据、所述点云数据和所述外参标定数据，得到所述激光雷达与所述相机之间的准确外参数据；
利用所述准确外参数据和预设的相机内参数据，将所述点云数据投影至二维像素屏幕；
使用平滑化算法，将投影后的点云数据转化为像素平面的深度数据；
将所述深度数据与RGB图像数据结合，得到RGBD数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵包括：
获取预设的相机内参数据；
根据所述相机内参数据和所述当前帧的传感器位姿，得到所述当前帧的投影矩阵，其中所述传感器包括相机和激光雷达。
4.根据权利要求1所述的方法，其特征在于，根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P包括：
根据所述二维检测框在所述当前帧中的位置及所述当前帧的传感器位姿，利用所述当前帧的投影矩阵将所述二维检测框投影到三维空间中，得到四个垂直于相机平面的约束平面；
根据所述当前帧中所述二维检测框内的二维特征点的语义信息，得到所述目标的三维语义对象点；
根据所述目标的三维语义对象点，形成两个平行于相机平面的约束平面；
根据六个约束平面构成的立方体空间内拟合一个最大内切椭球，得到椭球P。
5.根据权利要求1～4任一项所述的方法，其特征在于，还包括：
将所述当前帧的三维地图点利用所述当前帧的投影矩阵投影至二维平面，并计算与所述当前帧的二维特征点的误差，得到误差项2；
将所述误差项2加入到BA优化中，优化所述椭球P。
6.根据权利要求5所述的方法，其特征在于，将所述误差项1和所述误差项2加入到BA优化中，优化所述椭球P包括：
将所述误差项1和所述误差项2加入到所述BA优化中，锁定所述误差项2中的参数，开放所述椭球P的数学表达式，将椭球作为可变参数，使用梯度下降算法寻找最小化所述误差项1和所述误差项2的椭球体参数，得到初步优化后的椭球P；其中所述误差项2中的参数包括传感器位姿和所述三维地图点的位置；
开放所述BA优化中对误差项2的锁定，通过最小化误差项1与所述误差项2的误差合，优化所述三维地图点、所述传感器位姿和所述初步优化后的椭球P，得到优化后的三维地图点、优化后的传感器位姿和二次优化后的椭球P。
7.根据权利要求6所述的方法，其特征在于，在通过最小化误差项1与误差项2的误差合，优化所述三维地图点和所述传感器位姿之后，还包括：
根据所述二次优化后的椭球P得到SLAM地图中目标的目标椭球，将所述目标椭球投影到地平面上得到二维目标地图；
将所述二维目标地图与离线目标地图进行优化匹配，构建两者的匹配误差项3，并通过优化方法得到使得所述误差项3最小化的变换矩阵；
根据所述变换矩阵，将SLAM里程计投影到地平面，得到在所述离线目标地图坐标系下的实时SLAM定位信息。
8.根据权利要求7所述的方法，其特征在于，在得到在所述离线目标地图坐标系下的实时SLAM定位信息之后，还包括：
将所述误差项1、所述误差项2和所述误差项3加入BA优化式，同时优化所述传感器位姿、所述三维地图点位置、所述椭球P的表达式，使得综合误差最小化并得到优化后的数据。
9.一种基于激光雷达的三维目标感知装置，其特征在于，包括：
追踪模块，用于将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点；
投影矩阵确定模块，用于根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵；
二维检测框确定模块，用于将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框；
椭球拟合模块，用于根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P；将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；
误差项构建模块，用于利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1；
BA优化模块，用于将所述误差项1加入到BA优化中，优化所述椭球P。
10.一种基于激光雷达的三维目标感知系统，其特征在于，包括：
相机；
激光雷达；
存储器和处理器，所述相机、所述激光雷达、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1～8中任一项所述的基于激光雷达的三维目标感知方法。
CN202210276734.7A 2022-03-21 2022-03-21 一种基于激光雷达的三维目标感知方法、装置及系统 Pending CN114662587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210276734.7A CN114662587A (zh) 2022-03-21 2022-03-21 一种基于激光雷达的三维目标感知方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210276734.7A CN114662587A (zh) 2022-03-21 2022-03-21 一种基于激光雷达的三维目标感知方法、装置及系统

Publications (1)

Publication Number Publication Date
CN114662587A true CN114662587A (zh) 2022-06-24

Family

ID=82031634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210276734.7A Pending CN114662587A (zh) 2022-03-21 2022-03-21 一种基于激光雷达的三维目标感知方法、装置及系统

Country Status (1)

Country Link
CN (1) CN114662587A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082561A (zh) * 2022-08-16 2022-09-20 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082561A (zh) * 2022-08-16 2022-09-20 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置

Similar Documents

Publication Publication Date Title
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN110160502B (zh) 地图要素提取方法、装置及服务器
CN112292711A (zh) 关联lidar数据和图像数据
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
US10964040B2 (en) Depth data processing system capable of performing image registration on depth maps to optimize depth data
WO2021052403A1 (zh) 一种移动机器人感知障碍信息的方法、装置
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
US10977816B2 (en) Image processing apparatus, image processing program, and driving assistance system
CN115797454B (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
WO2022206414A1 (zh) 三维目标检测方法及装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN117321638A (zh) 校正或扩展现有高清地图
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
WO2020049089A1 (en) Methods and systems for determining the position of a vehicle
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
WO2023138331A1 (zh) 一种构建语义地图的方法及装置
US11763492B1 (en) Apparatus and methods to calibrate a stereo camera pair

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination