CN113724387A - 一种激光与相机融合的地图构建方法 - Google Patents

一种激光与相机融合的地图构建方法 Download PDF

Info

Publication number
CN113724387A
CN113724387A CN202110911529.9A CN202110911529A CN113724387A CN 113724387 A CN113724387 A CN 113724387A CN 202110911529 A CN202110911529 A CN 202110911529A CN 113724387 A CN113724387 A CN 113724387A
Authority
CN
China
Prior art keywords
point cloud
camera
image
laser
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110911529.9A
Other languages
English (en)
Inventor
张文安
金锦峰
付明磊
杨旭升
史秀纺
季华
陈戗
王其超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hopechart Iot Technology Co ltd
Zhejiang University of Technology ZJUT
Original Assignee
Hangzhou Hopechart Iot Technology Co ltd
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hopechart Iot Technology Co ltd, Zhejiang University of Technology ZJUT filed Critical Hangzhou Hopechart Iot Technology Co ltd
Priority to CN202110911529.9A priority Critical patent/CN113724387A/zh
Publication of CN113724387A publication Critical patent/CN113724387A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

激光与相机融合的地图构建方法，包括：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据P和固定于车身前方相机采集到的车辆周围环境的图片数据I；根据激光点云数据P计算获取位姿E；基于获得的点云数据P进行滤波，获取无遮挡、分布规则的点云数据P’；对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像I’；将点云P’和来自摄像机的语义分割结果I’进行融合，生成具有语义信息的单帧点云C；经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云C’；根据小车姿态E将点云C’与现有地图M进行叠加，获得实时更新的地图M’。

Description

一种激光与相机融合的地图构建方法
技术领域
本发明涉及计算机视觉和机器人智能驾驶技术领域，更具体地说，它涉及一种激光与相机融合的地图构建方法。
技术背景
当进入未知环境时，定位和导航是机器人环境感知任务的主要挑战。而这类问题的研究中，地图精确建模是其中的重点之一。由于每一种传感器都具有局限性，使用单一的传感器不能获得详细的环境信息。所以，需要对多传感器融合建图进行研究。
在实际的机器人应用场景中，不可避免地会存在动态物体，大大影响建图的精度。同时，为了让机器人完成更复杂的任务，机器人对场景的理解能力受到了研究者的广泛关注。语义地图能够很好的表示出机器人到的地方是什么，机器人“看”到的东西是什么，识别显示出来的一块块的点云到底是什么。动态环境下的语义地图构建对移动机器人的环境理解和后续的路径规划有着重要作用。
现有技术中关于地图精确建模的方法大多围绕单一传感器和两种传感器融合，专利CN201911242680.7公开了一种三维激光建图方法及系统、专利CN202110318776.8公开了一种基于场景辨识的多机器人分布式协作视觉建图方法、专利CN201810869146.8公开了一种基于激光雷达与GPS的拓扑地图创建方法及装置、专利CN202110469215.8公开了一种基于超声波雷达与激光雷达的建图方法、装置及系统等，这类方法存在以下两个问题：1、受环境影响大：容易天气以及动态物体影响2、特征点对不匹配，影响地图匹配精度。
发明内容
为解决上述技术问题，本发明提供一种激光与相机融合的地图构建方法，采用视觉与激光传感器获取环境信息，然后基于语义分割模型来对二维场景图像进行语义识别，通过融合数据集的语义图像和原始图像，消除原始图像中的运动对象和动态特征点的存在。进而融合识别的语义信息和三维点云，经过特征点的提取和匹配后，消除不匹配的特征点对进行地图优化。三维语义地图能够很好的表示出移动机器人所在的场景，识别出场景中的建筑物，行人，车辆等，对移动机器人的环境理解和后续的路径规划有着重要作用，并能有效解决复杂动态环境对同时定位与建图技术的困扰。
本发明的上述技术目的是通过以下技术方案得以实现的：
激光与相机融合的地图构建方法，包括以下步骤：
步骤1：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据P和固定于车身前方相机采集到的车辆周围环境的图片数据I；
步骤2：根据激光点云数据P计算获取位姿E；
步骤3：同时，基于获得的点云数据P进行滤波，获取无遮挡、分布规则的点云数据P’；
步骤4：对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像I’；
步骤5：将点云P’和来自摄像机的语义分割结果I’进行融合，生成具有语义信息的单帧点云C；
步骤6：经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云C’；
步骤7：根据小车姿态E将点云C’与现有地图M进行叠加，获得实时更新的地图M’。
最终生成由激光雷达与相机融合的语义地图，为后续无人车的定位导航避障提供了方便。
作为一种优选方案，步骤3中使用点云滤波方法对输入的点云进行预处理，获取无遮挡、分布规则的点云数据P’，具体包括以下步骤：
步骤3.1：去除离群点(由遮挡问题造成)：对查询点的邻域进行统计分析，计算它到近邻点的距离。距离分布特性符合高斯分布N(u,σ2)，u和σ2决定一个标准范围。距离在标准范围之外的点为离群点，从数据中去除；
步骤3.2：简化海量点云：构造m×n×l的三维体素栅格，将点云数据填充至对应的小体素栅格，用每个体素内的所有点的重心替代该体素的其他点，减少数据量；
步骤3.3：处理点云分布不规则：指定坐标范围，剔除远处的、稀疏的部分，保留密集的、包含绝大部分特征的点云。
作为一种优选方案，步骤4中对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像I’，具体包括以下步骤：
步骤4.1：通过训练网络，生成能够准确识别行人和车辆这类动态对象的语义分割模型；
步骤4.2：通过网络生成的语义分割模型，对摄像机捕获的图像I进行语义分割，获得具有语义信息的图像I1；
步骤4.3：为具有语义信息的点云图像中的动态对象添加掩膜，对语义掩膜图像和原始图像对应的每个像素值进行二进制与运算，得到处理后的动态物体剔除图像I’。
作为一种优选方案，步骤6经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云C’，具体包括以下步骤：
步骤6.1：设定最大迭代次数MAX，每次迭代随机抽取Y个特征点对，用于后续计算。同时，为每次迭代提取的Y个特征点对计算最佳距离与次最佳距离的比值和：
Figure BDA0003203831430000031
其中，Xbest为最佳距离，Xsecond为次最佳距离；
步骤6.2：将最优特征点对和次优特征点对分别放置在最后两次迭代中；
步骤6.3：动态调整迭代次数。在保证迭代次数有序减少的同时，下一轮计算的特征点对会更好，得到的模型会更准确。
作为一种优选方案，步骤6.3通过动态调整迭代次数来减少计算时间，具体包括以下步骤：
步骤6.3.1：引入统计量a，a＝(该模型下检测为局部点的特征点对的数量/整体特征点对的数量)2，将统计阈值设置为Th。
步骤6.3.2：当统计a小于Th时，引入公式(1)：
Figure BDA0003203831430000032
当统计a大于Th时，引入公式(2)：
nnum＝log((1-aN)3) (2)
步骤6.3.3：nnum≥0或num≤nnum*MAX迭代次数不会改变，迭代仍按顺序进行。相反，最大迭代次数更新为公式(3)：
Figure BDA0003203831430000041
其中，num＝log(1-p)，p为学习率，如果当前迭代的分数超过阈值，或者如果它已经到达最终迭代，则选择具有最高分数的模型来消除不匹配。
优选地，步骤6.1中的特征点个数Y取10，步骤6.3.1中的统计阈值Th取0.8，步骤6.3.3中的学习率p为取0.01。
综上所述，本发明具有以下有益效果：
(1)本发明提供的激光与相机融合的地图构建方法能够提供更加完整准确的环境信息，且对于天气变化影响不大，适用于室内室外多种场所。
(2)本发明提供的激光与相机融合的地图构建方法能够消除动态环境对地图构建的影响，提高地图精度，为后续的定位导航循迹提供方便。
附图说明
图1是本发明激光与相机融合的地图构建方法的总体框架图。
图2是本发明激光与相机融合的地图构建方法中消除特征点之间不匹配的流程示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明：
激光与相机融合的地图构建方法，包括以下步骤：
步骤1：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据P和固定于车身前方相机采集到的车辆周围环境的图片数据I。
步骤2：根据激光点云数据计算获取姿态E。
步骤3：使用点云滤波方法对激光雷达采集的点云进行预处理，获取合适的点云数据P’。首先对查询点的邻域进行统计分析，计算它到近邻点的距离。距离分布特性符合高斯分布N(u,σ2)，u和σ2决定一个标准范围。距离在标准范围之外的点为离群点，从数据中去除；其次构造m×n×l的三维体素栅格，将点云数据填充至对应的小体素栅格，用每个体素内的所有点的重心替代该体素的其他点，减少数据量；指定坐标范围，剔除远处的、稀疏的部分，保留密集的、包含绝大部分特征的点云，这里设置为从最高点向下2米去除。
步骤4：使用语义分割方法对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点。首先训练网络，生成能够准确识别行人和车辆这类动态对象的语义分割模型，输入摄像机获取的图像，获得具有语义信息的图像I1；然后为具有语义信息的图像中的动态对象添加掩膜；最后对语义掩膜图像和原始图像对应的每个像素值进行二进制与运算，得到处理后的动态物体剔除图像I’。
步骤5：将点云P’和来自摄像机的语义分割结果I’进行融合，生成具有语义信息的单帧点云C。视觉语义分割完成之后需要和激光点云进行融合，其中最主要的两个步骤为空间匹配和时间匹配。在实际操作中需要进行相机内参的标定，在标定过程中使用10×7的黑白格通过程序自动获取大约40组9×6的交叉点进行计算得出相机内参。在通过相机内参来进行相机与激光雷达的外参联合标定。在联合标定的时候通过人工标注图像和点云图中一一对应的9组数据进行计算即可得到相机和激光雷达的联合标定参数。
步骤6：消除不匹配的特征点对。如图2所示，首先设定最大迭代次数MAX，每次迭代随机抽取10个特征点对，用于后续计算。同时，为每次迭代提取的10个特征点对计算最佳距离与次最佳距离的比值和，然后将最优特征点对和次优特征点对分别放置在最后两次迭代中，最后动态调整迭代次数。判断统计量a与阈值的大小，当统计量a小于设定值0.8时，
Figure BDA0003203831430000051
当统计量a大于设定值0.8时，nnum＝log((1-a10)3)。当nnum≤0或nnum≥nnum*MAX时，最大迭代次数更新为
Figure BDA0003203831430000052
如果当前迭代的分数超过阈值，或者如果它已经到达最终迭代，则选择具有最高分数的模型来消除不匹配的特征点对。
步骤7：根据小车姿态E将点云C’与现有地图M进行叠加，生成实时更新的地图M’。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.激光与相机融合的地图构建方法，包括以下步骤：
步骤1：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据P和固定于车身前方相机采集到的车辆周围环境的图片数据I；
步骤2：根据激光点云数据P计算获取位姿E；
步骤3：同时，基于获得的点云数据P进行滤波，获取无遮挡、分布规则的点云数据P’；
步骤4：对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像I’；
步骤5：将点云P’和来自摄像机的语义分割结果I’进行融合，生成具有语义信息的单帧点云C；
步骤6：经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云C’；
步骤7：根据小车姿态E将点云C’与现有地图M进行叠加，获得实时更新的地图M’，最终生成由激光雷达与相机融合的语义地图，为后续无人车的定位导航避障提供了方便。
2.如权利要求1所述的激光与相机融合的地图构建方法，其特征在于：步骤3中使用点云滤波方法对输入的点云进行预处理，获取无遮挡、分布规则的点云数据P’，具体包括以下步骤：
步骤3.1：去除离群点(由遮挡问题造成)：对查询点的邻域进行统计分析，计算它到近邻点的距离。距离分布特性符合高斯分布N(u,σ2)，u和σ2决定一个标准范围。距离在标准范围之外的点为离群点，从数据中去除；
步骤3.2：简化海量点云：构造m×n×l的三维体素栅格，将点云数据填充至对应的小体素栅格，用每个体素内的所有点的重心替代该体素的其他点，减少数据量；
步骤3.3：处理点云分布不规则：指定坐标范围，剔除远处的、稀疏的部分，保留密集的、包含绝大部分特征的点云。
3.如权利要求1所述的激光与相机融合的地图构建方法，其特征在于：步骤4中对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像I’，具体包括以下步骤：
步骤4.1：通过训练网络，生成能够准确识别行人和车辆这类动态对象的语义分割模型；
步骤4.2：通过网络生成的语义分割模型，对摄像机捕获的图像I进行语义分割，获得具有语义信息的图像I1；
步骤4.3：为具有语义信息的点云图像中的动态对象添加掩膜，对语义掩膜图像和原始图像对应的每个像素值进行二进制与运算，得到处理后的动态物体剔除图像I’。
4.如权利要求1所述的激光与相机融合的地图构建方法，其特征在于：步骤6经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云C’，具体包括以下步骤：
步骤6.1：设定最大迭代次数MAX，每次迭代随机抽取Y个特征点对，用于后续计算。同时，为每次迭代提取的Y个特征点对计算最佳距离与次最佳距离的比值和：
Figure FDA0003203831420000021
其中，Xbest为最佳距离，Xsecond为次最佳距离；
步骤6.2：将最优特征点对和次优特征点对分别放置在最后两次迭代中；
步骤6.3：动态调整迭代次数。在保证迭代次数有序减少的同时，下一轮计算的特征点对会更好，得到的模型会更准确。
5.如权利要求4所述的激光与相机融合的地图构建方法，其特征在于：步骤6.3通过动态调整迭代次数来减少计算时间，具体包括以下步骤：
步骤6.3.1：引入统计量a，a＝(该模型下检测为局部点的特征点对的数量/整体特征点对的数量)2，将统计阈值设置为Th；
步骤6.3.2：当统计a小于Th时，引入公式(1)：
Figure FDA0003203831420000031
当统计a大于Th时，引入公式(2)：
nnum＝log((1-aN)3) (2)
步骤6.3.3：nnum≥0或num≤nnum*MAX迭代次数不会改变，迭代仍按顺序进行。相反，最大迭代次数更新为公式(3)：
Figure FDA0003203831420000032
其中，num＝log(1-p)，p为学习率，如果当前迭代的分数超过阈值，或者如果它已经到达最终迭代，则选择具有最高分数的模型来消除不匹配。
6.如权利要求1-5之一所述的激光与相机融合的地图构建方法，其特征在于：步骤6.1中的特征点个数Y取10，步骤6.3.1中的统计阈值Th取0.8，步骤6.3.3中的学习率p为取0.01。
CN202110911529.9A 2021-08-10 2021-08-10 一种激光与相机融合的地图构建方法 Pending CN113724387A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911529.9A CN113724387A (zh) 2021-08-10 2021-08-10 一种激光与相机融合的地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911529.9A CN113724387A (zh) 2021-08-10 2021-08-10 一种激光与相机融合的地图构建方法

Publications (1)

Publication Number Publication Date
CN113724387A true CN113724387A (zh) 2021-11-30

Family

ID=78675287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911529.9A Pending CN113724387A (zh) 2021-08-10 2021-08-10 一种激光与相机融合的地图构建方法

Country Status (1)

Country Link
CN (1) CN113724387A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
WO2023138331A1 (zh) * 2022-01-21 2023-07-27 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
CN117706942A (zh) * 2024-02-05 2024-03-15 四川大学 一种环境感知与自适应驾驶辅助电子控制方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114413881B (zh) * 2022-01-07 2023-09-01 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
WO2023138331A1 (zh) * 2022-01-21 2023-07-27 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
CN117706942A (zh) * 2024-02-05 2024-03-15 四川大学 一种环境感知与自适应驾驶辅助电子控制方法及系统
CN117706942B (zh) * 2024-02-05 2024-04-26 四川大学 一种环境感知与自适应驾驶辅助电子控制方法及系统

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
CN110222626B (zh) 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113724387A (zh) 一种激光与相机融合的地图构建方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN114051628B (zh) 一种确定目标对象点云集的方法及装置
CN113269837A (zh) 一种适用于复杂三维环境的定位导航方法
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
CN111880191B (zh) 基于多智能体激光雷达和视觉信息融合的地图生成方法
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
Wang et al. Map-enhanced ego-lane detection in the missing feature scenarios
CN114295139A (zh) 一种协同感知定位方法及系统
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
Xiong et al. Road-Model-Based road boundary extraction for high definition map via LIDAR
CN114943870A (zh) 线特征提取模型的训练方法及装置、点云匹配方法及装置
CN112381873B (zh) 一种数据标注方法及装置
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
CN111198563A (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination