CN112327326A - 带有障碍物三维信息的二维地图生成方法、系统以及终端 - Google Patents
带有障碍物三维信息的二维地图生成方法、系统以及终端 Download PDFInfo
- Publication number
- CN112327326A CN112327326A CN202011100685.9A CN202011100685A CN112327326A CN 112327326 A CN112327326 A CN 112327326A CN 202011100685 A CN202011100685 A CN 202011100685A CN 112327326 A CN112327326 A CN 112327326A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- information
- point cloud
- obstacle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001914 filtration Methods 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000009434 installation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种带有障碍物三维信息的二维地图生成方法、系统以及终端，解决现有技术中机器人等移动设备只使用单线激光雷达进行地图构建时，激光只能采集到激光头扫描半径范围内的二维平面信息，无法获得物体三维结构信息，还不能获得障碍物的边界信息和空间信息，导致避障准确度低且动态避障的工作效率降低的问题。本发明结合深度摄像头和单线激光雷达，‑将生成的三维信息投影到了二维平面，并融合进入激光雷达所构建的地图中，能在地图上有效获得障碍物的边界信息和空间信息，有效的改善了机器人等移动设备进行动态避障，路径规划等功能的效果。
Description
技术领域
本发明涉及一种人工智能领域，特别是涉及一种带有障碍物三维信息的二维地图生成方法、系统以及终端。
背景技术
现阶段只使用单线激光雷达进行地图构建时，激光只能采集到激光头扫描半径内的二维平面信息，无法获得物体全部信息，还不能获得障碍物的边界信息和空间信息。尤其是对于机器人等移动设备，只使用激光雷达进行地图构建会导致避障准确度低且动态避障的工作效率降低。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种带有障碍物三维信息的二维地图生成方法、系统以及终端，用于解决现有技术机器人等移动设备只使用单线激光雷达进行地图构建时激光只能扫描到激光头所在平面的二维信息，无法获得物体全部信息，还不能获得障碍物的边界信息和空间信息，导致避障准确度低且动态避障的工作效率降低的问题。
为实现上述目的及其他相关目的，本发明提供一种带有障碍物三维信息的二维地图生成方法，所述方法包括：获取点云数据、激光雷达数据以及相对定位传感器数据；根据深度摄像头的位置信息以及角度信息，对所述点云数据进行相机坐标系到世界坐标系的空间变换；使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息；根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上；根据所述激光雷达数据以及相对定位传感器数据构建二维地图；将所述经过投影障碍物的三维物体空间信息投影的二维物理平面映射到所述二维地图，生成带有三维物体空间信息的二维地图。
于本发明的一实施例中，根据深度摄像头的位置信息以及角度信息，对所述点云数据进行三维空间变换，获在世界坐标系下的点云数据的方式包括：根据所述深度摄像头的位置信息以及角度信息，获得以摄像头为参考的坐标系变换到世界坐标系的旋转矩阵以及平移矩阵；根据所述旋转矩阵以及平移矩阵对所述点云数据进行坐标变换，获得所述点云数据在世界坐标系下的坐标。
于本发明的一实施例中，使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息的方式包括；使用PCL点云库对所述点云数据进行滤波处理及去去噪处理；其中，所述滤波处理包括：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波处理中的一种或多种。基于分割算法，对经过滤波处理的点云数据进行分割，提取所述点云数据中的平面；基于直线检测算法，在所述平面中提取直线，获取所述直线的三维坐标信息。
于本发明的一实施例中，所述分割算法包括：RANSAC算法；和/或所述直线检测算法包括：LSD直线检测算法。
于本发明的一实施例中，根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上的方式包括：根据所述点云平面以及直线的三维坐标系信息构建几何模型，以提取障碍物的三维信息；根据所述障碍物的三维信息映射到二维水平面上，生成所述障碍物的最大外围轮廓信息。
于本发明的一实施例中，根据所述激光雷达数据以及相对定位传感器数据构建二维地图的方式包括：基于激光SLAM算法，对前后帧进行融合的所述激光雷达数据以及相对定位传感器数据进行定位匹配，以获得所述激光雷达以及相对定位传感器的位置信息；根据所述位置信息构建二维平面地图。
于本发明的一实施例中，将所述经过投影障碍物信息投影的三维物理平面映射到所述二维地图，生成带有三维障碍物信息的二维地图的方式包括：根据所述激光雷达数据以及所述相对定位传感器数据获得激光的定位位姿，计算所述点云数据在世界坐标系下的坐标，获得所述障碍物在世界坐标系下的二维坐标信息；将所述障碍物的二维坐标信息，根据相同二维地图上的点表示世界坐标系下的同一点的原则，映射到所述二维地图上，获得带有所述障碍物的轮廓信息的二维地图。
于本发明的一实施例中，所述相对定位传感器数据包括：里程计数据和/或IMU数据。
为实现上述目的及其他相关目的，本发明提供一种带有障碍物三维信息的二维地图生成系统，所述系统包括：采集模块，用于获取点云数据、激光雷达数据以及相对定位传感器数据；三维空间变换模块，连接所述采集模块，用于根据深度摄像头安装的位置信息以及、角度信息，以及机器人当前帧所在的位置信息对所述点云数据进行三维空间变换，获得在世界坐标系下的点云数据；分割模块，连接所述三维空间变换模块，用于使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息；障碍物信息提取模块，连接所述分割模块，用于根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上；激光雷达二维地图模块，连接所述采集模块，用于根据所述激光雷达数据以及相对定位传感器数据构建二维地图；生成模块，连接所述障碍物信息提取模块以及所述激光雷达二维地图模块，用于将所述经过投影障碍物的三维物体空间信息投影的二维物理平面映射到所述二维地图，生成带有三维物体空间信息的二维地图。
为实现上述目的及其他相关目的，本发明提供一种带有障碍物三维信息的二维地图生成终端，包括：存储器，用于存储计算机程序；处理器，运行所述计算机程序，以执行所述带有障碍物三维信息的二维地图生成方法。
如上所述，本发明的带有障碍物三维信息的二维地图生成方法、系统以及终端，具有以下有益效果：本发明结合深度摄像头和单线激光雷达，将生成的二维地图将生成的三维信息投影到了二维平面，并融合进入激光雷达所构建的地图中，能在地图上有效获得障碍物的边界信息和空间信息，有效的改善了机器人等移动设备进行动态避障，路径规划等功能的效果。
附图说明
图1显示为本发明一实施例中带有障碍物三维信息的二维地图生成方法的流程示意图。
图2显示为本发明一实施例中带有障碍物三维信息的二维地图生成系统的结构示意图。
图3显示为本发明一实施例中带有障碍物三维信息的二维地图生成终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成份、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成份、区域、层或段区别于其它部分、成份、区域、层或段。因此，以下叙述的第一部分、成份、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成份、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明提供一种带有障碍物三维信息的二维地图生成方法，用于解决现有技术机器人等移动设备只使用单线激光雷达进行地图构建时激光只能扫描到激光头所在平面的二维信息，无法获得物体全部信息，还不能获得障碍物的边界信息和空间信息，导致避障准确度低且动态避障的工作效率降低的问题。本发明结合深度摄像头和单线激光雷达，将生成的二维地图将生成的三维信息投影到了二维平面，并融合进入激光雷达所构建的地图中，能在地图上有效获得障碍物的边界信息和空间信息，有效的改善了机器人等移动设备进行动态避障，路径规划等功能的效果。
下面以附图1为参考，针对本发明得实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示一实施例中带有障碍物三维信息的二维地图生成方法的流程示意图，即经过以下步骤：
步骤S11：获取点云数据、激光雷达数据以及相对定位传感器数据。
可选的，获取由深度摄像头采集的点云数据，由激光雷达采集的激光雷达数据以及由相对定位传感器采集的相对定位传感器数据。
可选的，所述相对定位传感器数据包括：里程计数据和/或IMU数据；具体的，所述里程计数据由里程计采集，所述IMU数据由IMU装置进行采集，其中，所述IMU装置包括：包括三轴陀螺仪、三轴加速度计以及三轴磁力计中的一种或多种。
对于所述里程计数据，在移动机器人建图和导航过程中，提供相对准确的里程计数据非常关键，是后续很多工作的基础，因此需要对其进行测试保证没有严重的错误或偏差。里程计作为移动机器人相对定位的有效传感器，为机器人提供了实时的位姿信息。移动机器人里程计模型决定于移动机器人结构和运动方式，即移动机器人运动学模型。
对于IMU装置是测量物体三轴姿态角及加速度的装置，其中，所述陀螺仪能测量出X，Y，Z三轴的角速度，所述加速度计能测量出X，Y，Z三轴的加速度，所述磁力计测量水平方向的偏航角。
步骤S12：根据深度摄像头安装的位置信息和角度信息，以及机器人当前帧所在位姿信息，对所述点云数据进行三维空间变换，获在世界坐标系下的点云数据。
可选的，所述三维空间变换包括：刚体运动变换。
可选的，深度摄像头的位置信息以及角度信息是根据具体需求提前设定的。
可选的，根据所述深度摄像头的位置信息以及角度信息，获得以摄像头为参考的坐标系变换到世界坐标系的旋转矩阵以及平移矩阵；
根据所述旋转矩阵以及平移矩阵对所述点云数据进行坐标变换，获得所述点云数据在世界坐标系下的坐标。
具体的，点云数据的坐标是在以所述深度摄像头为参考坐标系下生成的坐标，根据深度摄像头的安装位置和角度，可以获得摄像头坐标系到世界坐标系的旋转矩阵和平移矩阵，使用该矩阵对点云数据进行坐标变换，可以获得点云数据在世界坐标系下的坐标。
可选的，根据所述深度摄像头的位置信息以及角度信息，计算以摄像头坐标系为参考的坐标系变换到以机器人坐标系为参考坐标系的旋转矩阵以及平移矩阵化；该变换随着摄像头的安装位置和角度的不同而变化；根据采集到的机器人当前位置信息和角度信息，获得以机器人坐标系为参考坐系变换到以世界坐标系为参考坐标系的旋转矩阵以及平移矩阵；该变换随着机器人的行走、旋转等过程而变化。使用该矩阵对点云数据进行坐标变换，可以获得点云数据在世界坐标系下的坐标。
步骤S13：使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息。
可选的，使用PCL点云库对所述点云数据进行滤波处理及去去噪处理；其中，所述滤波处理包括：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波处理中的一种或多种。
基于分割算法，对经过滤波处理的点云数据进行分割，提取所述点云数据中的平面；
基于直线检测算法，在所述平面中提取直线，获取所述直线的三维坐标信息。
具体的，由于原始采集的点云数据中包含大量散列点、孤立点。对点云数据进行滤波处理可以滤掉大部分噪声。点云滤波的主要方法有：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波等。
可选的，使用RANSAC算法迭代求解，对所述点云数据进行分割提取点云数据中平面；和/或使用LSD直线检测算法，提取图像中的直线，结合点云提取的平面和提取的直线，恢复点云数据中直线的三维坐标。
步骤S14：根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上。
可选的，根据所述点云平面以及直线的三维坐标系信息构建几何模型，以提取障碍物的三维信息；根据所述障碍物的三维信息映射到二维水平面上，生成所述障碍物的最大外围轮廓信息。
可选的，所述障碍物的三维信息为障碍物的三维坐标。
步骤S15：根据所述激光雷达数据以及相对定位传感器数据构建二维地图。
可选的，根据所述激光雷达数据以及相对定位传感器数据利用激光SLAM进行定位匹配，获得所述激光雷达以及相对定位传感器的位置信息，并构建二维平面地图。
可选的，基于激光SLAM算法，对前后帧进行融合的所述激光雷达数据以及相对定位传感器数据进行定位匹配，以获得所述激光雷达以及相对定位传感器的位置信息；根据所述位置信息构建二维平面地图。
步骤S16：将所述经过投影障碍物的三维物体空间信息投影的二维物理平面映射到所述二维地图，生成带有三维物体空间信息的二维地图。
可选的，将所述经过投影障碍物的三维物体空间信息投影的二维物理平面上的点映射到所述二维地图上，获得带有所述障碍物边界信息和空间信息的二维地图。
可选的，根据所述激光雷达数据以及所述相对定位传感器数据获得激光的定位位姿，计算所述点云数据的原点，获得所述障碍物的二维坐标信息；将所述障碍物的二维坐标信息映射到所述二维地图上，获得带有所述障碍物的轮廓信息的二维地图。其中带有所述障碍物的轮廓信息为三维轮廓信息。
与上述实施例原理相似的是，本发明提供一种带有障碍物三维信息的二维地图生成系统。
以下结合附图提供具体实施例：
如图2所示展示本发明实施例中的一种带有障碍物三维信息的二维地图生成系统的结构示意图。
采集模块21，用于获取点云数据、激光雷达数据以及相对定位传感器数据；
三维空间变换模块22，连接所述采集模块21，用于根据深度摄像头安装的位置信息以及、角度信息，以及机器人当前帧所在的位置信息对所述点云数据进行三维空间变换，获得在世界坐标系下的点云数据；
分割模块23，连接所述三维空间变换模块22，用于使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息；
障碍物信息提取模块24，连接所述分割模块23，用于根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上；
激光雷达二维地图模块25，连接所述采集模块21，用于根据所述激光雷达数据以及相对定位传感器数据构建二维地图；
生成模块26，连接所述障碍物信息提取模块24以及所述激光雷达二维地图模块25，用于将所述经过投影障碍物的三维物体空间信息投影的二维物理平面映射到所述二维地图，生成带有三维物体空间信息的二维地图。
可选的，所述采集模块21获取由深度摄像头采集的点云数据，由激光雷达采集的激光雷达数据以及由相对定位传感器采集的相对定位传感器数据。
可选的，所述相对定位传感器数据包括：里程计数据和/或IMU数据；具体的，所述里程计数据由里程计采集，所述IMU数据由IMU装置进行采集，其中，所述IMU装置包括：包括三轴陀螺仪、三轴加速度计以及三轴磁力计中的一种或多种。
可选的，所述三维空间变换包括：刚体运动变换。
可选的，深度摄像头的位置信息以及角度信息是根据具体需求提前设定的。
可选的，所述三维空间变换模块22根据所述深度摄像头的位置信息以及角度信息，获得以摄像头为参考的坐标系变换到世界坐标系的旋转矩阵以及平移矩阵；
所述三维空间变换模块22根据所述旋转矩阵以及平移矩阵对所述点云数据进行坐标变换，获得所述点云数据在世界坐标系下的坐标。
具体的，点云数据的坐标是在以所述深度摄像头为参考坐标系下生成的坐标，根据深度摄像头的安装位置和角度，可以获得摄像头坐标系到世界坐标系的旋转矩阵和平移矩阵，使用该矩阵对点云数据进行坐标变换，可以获得点云数据在世界坐标系下的坐标。
可选的，所述三维空间变换模块22根据所述深度摄像头的位置信息以及角度信息，计算以摄像头坐标系为参考的坐标系变换到以机器人坐标系为参考坐标系的旋转矩阵以及平移矩阵化；该变换随着摄像头的安装位置和角度的不同而变化；根据采集到的机器人当前位置信息和角度信息，获得以机器人坐标系为参考坐系变换到以世界坐标系为参考坐标系的旋转矩阵以及平移矩阵；该变换随着机器人的行走、旋转等过程而变化。使用该矩阵对点云数据进行坐标变换，可以获得点云数据在世界坐标系下的坐标。
可选的，所述分割模块23使用PCL点云库对所述点云数据进行滤波处理及去去噪处理；其中，所述滤波处理包括：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波处理中的一种或多种。
基于分割算法，所述分割模块23对经过滤波处理的点云数据进行分割，提取所述点云数据中的平面；
基于直线检测算法，所述分割模块23在所述平面中提取直线，获取所述直线的三维坐标信息。
具体的，由于原始采集的点云数据中包含大量散列点、孤立点。所述分割模块23对点云数据进行滤波处理可以滤掉大部分噪声。点云滤波的主要方法有：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波等。
可选的，所述分割模块23使用RANSAC算法迭代求解，对所述点云数据进行分割提取点云数据中平面；和/或使用LSD直线检测算法，提取图像中的直线，结合点云提取的平面和提取的直线，恢复点云数据中直线的三维坐标。
可选的，所述障碍物信息提取模块24根据所述点云平面以及直线的三维坐标系信息构建几何模型，以提取障碍物的三维信息；根据所述障碍物的三维信息映射到二维水平面上，生成所述障碍物的最大外围轮廓信息。
可选的，所述障碍物的三维信息为障碍物的三维坐标。
可选的，所述激光雷达二维地图模块25根据所述激光雷达数据以及相对定位传感器数据利用激光SLAM进行定位匹配，获得所述激光雷达以及相对定位传感器的位置信息，并构建二维平面地图。
可选的，基于激光SLAM算法，所述激光雷达二维地图模块25对前后帧进行融合的所述激光雷达数据以及相对定位传感器数据进行定位匹配，以获得所述激光雷达以及相对定位传感器的位置信息；根据所述位置信息构建二维平面地图。
可选的，所述生成模块26将所述经过投影障碍物的三维物体空间信息投影的二维物理平面上的点映射到所述二维地图上，获得带有所述障碍物边界信息和空间信息的二维地图。
可选的，所述生成模块26根据所述激光雷达数据以及所述相对定位传感器数据获得激光的定位位姿，计算所述点云数据的原点，获得所述障碍物的二维坐标信息；将所述障碍物的二维坐标信息映射到所述二维地图上，获得带有所述障碍物的轮廓信息的二维地图。其中带有所述障碍物的轮廓信息为三维轮廓信息。
如图3所示，展示本发明实施例中的带有障碍物三维信息的二维地图生成终端30的结构示意图。
所述带有障碍物三维信息的二维地图生成终端30包括：
存储器31用于存储计算机程序；所述处理器32运行计算机程序实现如图1所述的带有障碍物三维信息的二维地图生成方法。
可选的，所述存储器31的数量均可以是一或多个，所述处理器32的数量均可以是一或多个，所而图3中均以一个为例。
可选的，所述外部设备可以为外部终端，举例来说为移动终端以及所述机器人的控制终端等任一设备，在本发明中不作限定。
可选的，所述带有障碍物三维信息的二维地图生成终端30中的处理器32会按照如图1述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器31中，并由处理器32来运行存储在存储器31中的应用程序，从而实现如图1所述带有障碍物三维信息的二维地图生成方法中的各种功能。
可选的，所述存储器31，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器31，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器32可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的带有障碍物三维信息的二维地图生成方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本发明带有障碍物三维信息的二维地图生成方法、系统以及终端，解决现有技术中机器人等移动设备只使用单线激光雷达进行地图构建时激光只能扫描到激光头所在平面的二维信息，无法获得物体全部信息，还不能获得障碍物的边界信息和空间信息，导致避障准确度低且动态避障的工作效率降低的问题。本发明结合深度摄像头和单线激光雷达，将生成的二维地图将生成的三维信息投影到了二维平面，并融合进入激光雷达所构建的地图中，能在地图上有效获得障碍物的边界信息和空间信息，有效的改善了机器人等移动设备进行动态避障，路径规划等功能的效果。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种带有障碍物三维信息的二维地图生成方法，其特征在于，所述方法包括：
获取点云数据、激光雷达数据以及相对定位传感器数据；
根据深度摄像头的位置信息以及角度信息，对所述点云数据进行相机坐标系到世界坐标系的空间变换；
使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息；
根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上；
根据所述激光雷达数据以及相对定位传感器数据构建二维地图；
将所述经过投影障碍物的三维物体空间信息投影的二维物理平面映射到所述二维地图，生成带有三维物体空间信息的二维地图。
2.根据权利要求1所述的带有障碍物三维信息的二维地图生成方法，其特征在于，根据深度摄像头的位置信息以及角度信息，对所述点云数据进行三维空间变换，获在世界坐标系下的点云数据的方式包括：
根据所述深度摄像头的位置信息以及角度信息，获得以摄像头为参考的坐标系变换到世界坐标系的旋转矩阵以及平移矩阵；
根据所述旋转矩阵以及平移矩阵对所述点云数据进行坐标变换，获得所述点云数据在世界坐标系下的坐标。
3.根据权利要求1所述的带有障碍物三维信息的二维地图生成方法，其特征在于，使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息的方式包括；
使用PCL点云库对所述点云数据进行滤波处理及去去噪处理；其中，所述滤波处理包括：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波处理中的一种或多种。
基于分割算法，对经过滤波处理的点云数据进行分割，提取所述点云数据中的平面；基于直线检测算法，在所述平面中提取直线，获取所述直线的三维坐标信息。
4.根据权利要求3所述的带有障碍物三维信息的二维地图生成方法，其特征在于，所述分割算法包括：RANSAC算法；和/或所述直线检测算法包括：LSD直线检测算法。
5.根据权利要求1所述的带有障碍物三维信息的二维地图生成方法，其特征在于，根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上的方式包括：
根据所述点云平面以及直线的三维坐标系信息构建几何模型，以提取障碍物的三维信息；
根据所述障碍物的三维信息映射到二维水平面上，生成所述障碍物的最大外围轮廓信息。
6.根据权利要求1所述的带有障碍物三维信息的二维地图生成方法，其特征在于，根据所述激光雷达数据以及相对定位传感器数据构建二维地图的方式包括：
基于激光SLAM算法，对前后帧进行融合的所述激光雷达数据以及相对定位传感器数据进行定位匹配，以获得所述激光雷达以及相对定位传感器的位置信息；
根据所述位置信息构建二维平面地图。
7.根据权利要求1所述的带有障碍物三维信息的二维地图生成方法，其特征在于，将所述经过投影障碍物信息投影的三维物理平面映射到所述二维地图，生成带有三维障碍物信息的二维地图的方式包括：
根据所述激光雷达数据以及所述相对定位传感器数据获得激光的定位位姿，计算所述点云数据在世界坐标系下的坐标，获得所述障碍物在世界坐标系下的二维坐标信息；
将所述障碍物的二维坐标信息，根据相同二维地图上的点表示世界坐标系下的同一点的原则，映射到所述二维地图上，获得带有所述障碍物的轮廓信息的二维地图。
8.根据权利要求1所述的带有障碍物三维信息的二维地图生成方法，其特征在于，所述相对定位传感器数据包括：里程计数据和/或IMU数据。
9.一种带有障碍物三维信息的二维地图生成系统，其特征在于，所述系统包括：
采集模块，用于获取点云数据、激光雷达数据以及相对定位传感器数据；
三维空间变换模块，连接所述采集模块，用于根据深度摄像头的位置信息、角度信息以及机器人当前帧所在的位置信息对所述点云数据进行三维空间变换，获得在世界坐标系下的点云数据；
分割模块，连接所述三维空间变换模块，用于使用PCL点云库对在世界坐标系下的点云数据进行预处理，并进行分割以提取点云平面以及直线特征信息；
障碍物信息提取模块，连接所述分割模块，用于根据所述点云平面以及直线的特征信息提取障碍物的三维物体空间信息，并将所述障碍物的三维物体空间信息投影到所述二维平面上；
激光雷达二维地图模块，连接所述采集模块，用于根据所述激光雷达数据以及相对定位传感器数据构建二维地图；
生成模块，连接所述障碍物信息提取模块以及所述激光雷达二维地图模块，用于将所述经过投影障碍物的三维物体空间信息投影的二维物理平面映射到所述二维地图，生成带有三维物体空间信息的二维地图。
10.一种带有障碍物三维信息的二维地图生成终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述计算机程序，以执行如权利要求1至8中任一项所述的带有障碍物三维信息的二维地图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011100685.9A CN112327326A (zh) | 2020-10-15 | 2020-10-15 | 带有障碍物三维信息的二维地图生成方法、系统以及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011100685.9A CN112327326A (zh) | 2020-10-15 | 2020-10-15 | 带有障碍物三维信息的二维地图生成方法、系统以及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112327326A true CN112327326A (zh) | 2021-02-05 |
Family
ID=74313527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011100685.9A Pending CN112327326A (zh) | 2020-10-15 | 2020-10-15 | 带有障碍物三维信息的二维地图生成方法、系统以及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112327326A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113485325A (zh) * | 2021-06-16 | 2021-10-08 | 重庆工程职业技术学院 | 煤矿井下水泵房巡检机器人slam建图、自主导航方法 |
| CN113777622A (zh) * | 2021-08-31 | 2021-12-10 | 通号城市轨道交通技术有限公司 | 轨道障碍物辨识的方法及装置 |
| CN113848893A (zh) * | 2021-09-14 | 2021-12-28 | 武汉联一合立技术有限公司 | 机器人导航方法、装置、设备及存储介质 |
| CN114155349A (zh) * | 2021-12-14 | 2022-03-08 | 杭州联吉技术有限公司 | 一种三维建图方法、三维建图装置及机器人 |
| CN114355921A (zh) * | 2021-12-28 | 2022-04-15 | 北京易航远智科技有限公司 | 车辆循迹轨迹生成方法、装置、电子设备及存储介质 |
| CN114636416A (zh) * | 2022-05-07 | 2022-06-17 | 深圳市倍思科技有限公司 | 机器人绘图方法、装置、机器人及存储介质 |
| CN115327571A (zh) * | 2022-07-29 | 2022-11-11 | 武汉理工大学 | 一种基于平面激光雷达的三维环境障碍物检测系统及方法 |
| CN115381354A (zh) * | 2022-07-28 | 2022-11-25 | 广州宝乐软件科技有限公司 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108007451A (zh) * | 2017-11-10 | 2018-05-08 | 未来机器人（深圳）有限公司 | 货物承载装置位姿的检测方法、装置、计算机设备和存储介质 |
| CN110196429A (zh) * | 2018-04-02 | 2019-09-03 | 北京航空航天大学 | 车辆目标识别方法、存储介质、处理器以及系统 |
| CN110928296A (zh) * | 2019-10-18 | 2020-03-27 | 深圳市银星智能科技股份有限公司 | 机器人回避充电座的方法及其机器人 |
| CN111260773A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 小障碍物的三维重建方法、检测方法及检测系统 |
| CN111598916A (zh) * | 2020-05-19 | 2020-08-28 | 金华航大北斗应用技术有限公司 | 一种基于rgb-d信息的室内占据栅格地图的制备方法 |
-
2020
- 2020-10-15 CN CN202011100685.9A patent/CN112327326A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108007451A (zh) * | 2017-11-10 | 2018-05-08 | 未来机器人（深圳）有限公司 | 货物承载装置位姿的检测方法、装置、计算机设备和存储介质 |
| CN110196429A (zh) * | 2018-04-02 | 2019-09-03 | 北京航空航天大学 | 车辆目标识别方法、存储介质、处理器以及系统 |
| CN110928296A (zh) * | 2019-10-18 | 2020-03-27 | 深圳市银星智能科技股份有限公司 | 机器人回避充电座的方法及其机器人 |
| CN111260773A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 小障碍物的三维重建方法、检测方法及检测系统 |
| CN111598916A (zh) * | 2020-05-19 | 2020-08-28 | 金华航大北斗应用技术有限公司 | 一种基于rgb-d信息的室内占据栅格地图的制备方法 |
Non-Patent Citations (2)
| Title |
|---|
| 叶语同 等: "智能驾驶中点云目标快速检测与跟踪" * |
| 郑道岭: "基于多传感器的移动机器人地图构建方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113485325A (zh) * | 2021-06-16 | 2021-10-08 | 重庆工程职业技术学院 | 煤矿井下水泵房巡检机器人slam建图、自主导航方法 |
| CN113777622B (zh) * | 2021-08-31 | 2023-10-20 | 通号城市轨道交通技术有限公司 | 轨道障碍物辨识的方法及装置 |
| CN113777622A (zh) * | 2021-08-31 | 2021-12-10 | 通号城市轨道交通技术有限公司 | 轨道障碍物辨识的方法及装置 |
| CN113848893A (zh) * | 2021-09-14 | 2021-12-28 | 武汉联一合立技术有限公司 | 机器人导航方法、装置、设备及存储介质 |
| CN114155349A (zh) * | 2021-12-14 | 2022-03-08 | 杭州联吉技术有限公司 | 一种三维建图方法、三维建图装置及机器人 |
| CN114155349B (zh) * | 2021-12-14 | 2024-03-22 | 杭州联吉技术有限公司 | 一种三维建图方法、三维建图装置及机器人 |
| CN114355921A (zh) * | 2021-12-28 | 2022-04-15 | 北京易航远智科技有限公司 | 车辆循迹轨迹生成方法、装置、电子设备及存储介质 |
| CN114355921B (zh) * | 2021-12-28 | 2022-10-18 | 北京易航远智科技有限公司 | 车辆循迹轨迹生成方法、装置、电子设备及存储介质 |
| CN114636416B (zh) * | 2022-05-07 | 2022-08-12 | 深圳市倍思科技有限公司 | 机器人绘图方法、装置、机器人及存储介质 |
| CN114636416A (zh) * | 2022-05-07 | 2022-06-17 | 深圳市倍思科技有限公司 | 机器人绘图方法、装置、机器人及存储介质 |
| CN115381354A (zh) * | 2022-07-28 | 2022-11-25 | 广州宝乐软件科技有限公司 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
| CN115327571A (zh) * | 2022-07-29 | 2022-11-11 | 武汉理工大学 | 一种基于平面激光雷达的三维环境障碍物检测系统及方法 |
| CN115327571B (zh) * | 2022-07-29 | 2024-09-06 | 武汉理工大学 | 一种基于平面激光雷达的三维环境障碍物检测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112327326A (zh) | 带有障碍物三维信息的二维地图生成方法、系统以及终端 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| Huang | Review on LiDAR-based SLAM techniques | |
| Saeedi et al. | Vision-based 3-D trajectory tracking for unknown environments | |
| Folkesson et al. | Vision SLAM in the measurement subspace | |
| JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
| Holz et al. | Sancta simplicitas-on the efficiency and achievable results of SLAM using ICP-based incremental registration | |
| AU2017387638A1 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
| US20220051031A1 (en) | Moving object tracking method and apparatus | |
| Sujiwo et al. | Monocular vision-based localization using ORB-SLAM with LIDAR-aided mapping in real-world robot challenge | |
| CN112837352B (zh) | 基于图像的数据处理方法、装置及设备、汽车、存储介质 | |
| WO2021021862A1 (en) | Mapping and localization system for autonomous vehicles | |
| Pang et al. | Low-cost and high-accuracy LIDAR SLAM for large outdoor scenarios | |
| CN115639823A (zh) | 崎岖起伏地形下机器人地形感知与移动控制方法及系统 | |
| CN113960614A (zh) | 一种基于帧-地图匹配的高程图构建方法 | |
| CN116753945A (zh) | 一种基于多传感器融合的工业巡检机器人的导航方法 | |
| CN117029817A (zh) | 一种二维栅格地图融合方法及系统 | |
| CN114859938A (zh) | 机器人、动态障碍物状态估计方法、装置和计算机设备 | |
| Wang et al. | 3D-LIDAR based branch estimation and intersection location for autonomous vehicles | |
| CN112219225A (zh) | 定位方法、系统及可移动平台 | |
| CN115902977A (zh) | 基于视觉和gps的变电站机器人双重定位方法及系统 | |
| Smirnova et al. | A technique of natural visual landmarks detection and description for mobile robot cognitive navigation | |
| Zheng et al. | Indoor localization and trajectory correction with point cloud-derived backbone map | |
| Yuan et al. | LIWO: LiDAR-Inertial-Wheel Odometry | |
| KR20230029981A (ko) | 포즈 결정을 위한 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |