CN115307622A - 在动态环境下基于深度学习的自主建图方法和系统 - Google Patents
在动态环境下基于深度学习的自主建图方法和系统 Download PDFInfo
- Publication number
- CN115307622A CN115307622A CN202210820895.8A CN202210820895A CN115307622A CN 115307622 A CN115307622 A CN 115307622A CN 202210820895 A CN202210820895 A CN 202210820895A CN 115307622 A CN115307622 A CN 115307622A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- global map
- mobile robot
- radar
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及环境建图领域,公开了一种在动态环境下基于深度学习的自主建图方法和系统,自主建图方法包括:在有IMU数据初始估计的情况下将雷达点云与全局地图点云进行匹配,识别出雷达点云中的背景和运动物体;将当前的背景点云和运动物体点云通投影到全局地图后,用长方体框选出运动物体;将长方体框与移动机器人原点之间的运动物体点云删除;根据更新后全局地图点云的深度信息对物体轮廓信息进行目标提取,通过神经网络输出物体的检测结果;以移动机器人当前运动方向为分界线将待探测区域分成两块区域,计算两块区域中的全局地图点云密集程度,移动机器人向点云密度最低的区域移动。
Description
技术领域
本发明涉及环境建图领域,具体涉及一种在动态环境下基于深度学习的自主建图方法和系统。
背景技术
在动态环境中,存在移动的物体,那么传统简单的稠密点云建图方法无法在物体离开原来位置时实时更新地图,原来的点云数据依旧保留,致使建立的点云地图失真;并且移动物体并不是属于地图环境的一部分,它会遮挡一部分背景环境信息,导致建立的地图信息不够完整。
传统建图方法的不足:
在传统建图方法中进行验证实验时,或是采用提前录制好的视频、IMU等数据并通过系统离线建图,或是通过人工驱动机器人在环境中反复采集数据后建立完整的地图。但上述方法中,机器人只是一个建图的工具,并没有体现机器人自主探索建图的能力。
计算机视觉检测根据任务的不同,通常可以划分为图像分类、目标检测、语义分割及实例分割四大不同方向。目标检测任务更加注重对整张图像的描述,预测出图像中全部有用目标的类别,并将感兴趣的目标在图像背景中标定出位置。目标检测一般分为物体定位和物体分类两个任务阶段,即确定物体的位置和类别信息,并常用矩形框标识检测结果。传统图像目标检测算法主要可以分为三大步骤:候选区域选择、特征提取、分类器,具体来说:首先从输入图像上划定一些目标存在可能性较大的区域,对目标可能存在的区域进行初步定位;然后对初步定位的区域提取特征;最后根据提取的特征使用训练的分类器进行分类,常用分类器有有SVM、Adaboost等。
随着计算机算力在近些年的提升,基于卷积神经网络的深度学习加入到目标检测方法中来。卷积神经网络模型开始取代传统目标检测算法成为了计算机视觉检测中的主流算法,被应用到各种图像识别和检测的场景中。
但目前的目标检测算法存在以下问题:
1、传统的目标检测算法和基于卷积神经网络的方法均基于图像数据进行识别,相机获得图像数据是被动式采集,并不像激光雷达一样能够进行主动式采集,导致现有的目标检测算法对环境光有一定要求的问题,在环境光复杂或者无光照的黑暗环境中传统方法碍于相机传感器不能很好的完成采集图像的任务,就没办法进行目标检测。
2、在动态环境中,基于图像的距离估计算法无法很好的跟踪移动物体与机器人的距离。尤其是当物体无明显图像特征纹理时基于图像的位置估计会严重失效。
发明内容
为解决上述技术问题,本发明提供一种在动态环境下基于深度学习的自主建图方法和系统。
为解决上述技术问题,本发明采用如下技术方案:
一种在动态环境下基于深度学习的自主建图方法,通过移动机器人上安装的IMU设备获取IMU数据、通过移动机器人上安装的激光雷达设备获得雷达点云数据,动态环境包括背景和物体,物体包括静态物体和运动物体;自主建图方法包括以下步骤:
步骤一:在有IMU数据初始估计的情况下将雷达点云与全局地图点云进行匹配,得到具有转换矩阵的匹配结果,识别出雷达点云中的背景点云和运动物体点云;
步骤二:将当前的背景点云和运动物体点云通过匹配结果中的转换矩阵投影到全局地图后,用最小的长方体框选出运动物体;将长方体框与移动机器人原点之间的全局地图点云删除;新的长方体框位于旧的长方体框与移动机器人原点之间时,通过步骤三对两个长方体框中的物体进行物体检测,如果两个长方体框内的物体不是同一个运动物体,则将旧的长方体框的全局地图点云删除;实现动态环境下全局地图点云的更新;
步骤三:根据更新后全局地图点云的深度信息对物体轮廓信息进行目标提取;对目标提取的结果进行降采样,将得到的向量输入至预训练的神经网络中,输出物体的检测结果,得到带有物体信息的全局地图点云;
步骤四:以移动机器人当前运动方向为分界线将待探测区域分成两块区域,计算两块区域中的全局地图点云密集程度;当两块区域中一个或者全部的全局地图点云密集程度小于设定值时,移动机器人向全局地图点云密集程度最低的区域移动,再通过步骤一、步骤二对全局地图点云进行更新。
具体地,步骤一中将雷达点云与全局地图点云进行匹配得到具有转换矩阵的匹配结果时,包括以下步骤:
步骤11:初始化旋转矩阵R和位移分量t:R=Rimu,t=timu;其中Rimu为在IMU数据中得到的旋转矩阵,timu为在IMU数据中得到的位移分量;
步骤12:通过旋转矩阵R和位移分量t将雷达点云P={pi,i=1,2,…,n}投影到全局地图,得到转换点云P′={p′i,=1,2,…,n},其中p′i=Rpi+t;
步骤13:为每个转换点云p′i遍历全局地图点云Q={qj,j=1,2,…,m},在全局地图点云中找到距离p′i最近的全局地图点云q′j,并组成点对(p′i,q′j);
步骤14:舍弃步骤13中p′i与q′j欧式距离最大的20%的点对后,结合DLT算法计算出新的旋转矩阵R′和位移分量t′;
步骤15:对比旧的位姿参数(R,t)与新的位姿参数(R′,t′),判断两者的差值是否小于设定值;如是,使R=R′,t=t′,进行步骤16;如否,使R=R′,t=t′,重新运行步骤12至步骤15;
具体地,步骤一中识别背景点云和运动物体点云时,将当前雷达点云投影到全局地图中得到投影点云,计算投影点云与最近的雷达点云之间的距离,点云距离小于阈值时对应的雷达点云为背景点云,点云距离大于或者等于阈值时对应的雷达点云为运动物体点云。
具体地,步骤三中,将更新后全局地图点云中的物体检测结果与更新前全局地图点云中的物体检测结果进行对比,得到物体的位移s,则物体的瞬时速度估计值其中Δt为全局地图点云更新前物体检测结果和更新后物体检测结果的时间差。
具体地,步骤四中计算区域中全局地图点云的密集程度时,在两块区域中分别选择以移动机器人中心为球心、半径为r、顶角为的球冠区域;两块区域中的球冠区域分别为左侧区域和右侧区域,其中r为背景点云与移动机器人的距离;
以单位点云对应的面积Saver衡量全局地图点云的密集程度,其中左侧区域中单位点云对应的面积Saver1和右侧区域中单位点云对应的面积Saver2计算如下:
其中S为球冠区域的面积,N1为全局地图点云投影到左侧区域的点云数目,N2为全局地图点云投影到左侧区域的点云数目,Saver数值越小则全局地图点云密集程度越高,反之全局地图点云密集程度越低。
具体地,通过以下方式对物体遮挡的环境进行建图:通过步骤三对物体轮廓信息进行目标提取以及物体检测,并计算被物体遮挡形成的视野盲区中全局地图点云的密集程度;如图物体为动态物体,且物体遮挡形成的视野盲区中全局地图点云密集程度小于设定值,则以移动机器人原地等待该动态物体离开,再通过激光雷达获取视野盲区中的雷达点云;如果物体为静态物体,且物体遮挡形成的视野盲区中全局地图点云密集程度小于设定值,则移动机器人绕道静态物体背后,通过激光雷达获取视野盲区中的雷达点云;
获取雷达点云后,再通过步骤一和步骤二实现动态环境下全局地图点云的更新。
一种在动态环境下基于深度学习的自主建图系统,包括:
建立地图模块,在有IMU数据初始估计的情况下将雷达点云与全局地图点云进行匹配,得到具有转换矩阵的匹配结果,识别出雷达点云中的背景点云和运动物体点云;将当前的背景点云和运动物体点云通过匹配结果中的转换矩阵投影到全局地图后,用最小的长方体框选出运动物体;将长方体框与移动机器人原点之间的运动物体点云删除;新的长方体框位于旧的长方体框与移动机器人原点之间时,如果两个长方体框内的物体不是同一个运动物体,则将旧的长方体框的运动物体点云删除;实现动态环境下全局地图点云的更新;
目标检测模块,根据更新后全局地图点云的深度信息对物体轮廓信息进行目标提取;对目标提取的结果进行降采样,将得到的向量输入至预训练的神经网络中,输出物体的检测结果,得到带有物体信息的全局地图点云;
探索模块,以移动机器人当前运动方向为分界线将待探测区域分成两块区域,计算两块区域中的全局地图点云密集程度;当两块区域的全局地图点云密集程度中的一个或者全部小于设定值时,移动机器人向点云密度最低的区域移动,再通过建立地图模块对全局地图点云进行更新。
与现有技术相比,本发明的有益技术效果是:
1.本发明采用激光雷达的方式建立动态环境地图,并且基于物体的轮廓信息进行目标检测,能够应用在光照变化频繁或者无光照环境中;另外本发明可以根据已经建立的不完整的点云地图,通过区域点云密集程度对区域的探测程度进行评估,使移动机器人能够自主地探索未知区域,达到快速建立未知环境地图的目的。
2.动态环境中存在障碍物遮挡在移动机器人与背景之间,本发明通过识别障碍物为动态物体还是静态物体,并通过计算障碍物形成的视野盲区中点云的密集程度,制定出能够使移动机器人智能探索视野盲区环境的方法。
附图说明
图1为本发明自主建图系统的系统框架图;
图2为本发明建立地图模块的示意图;
图3为本发明目标检测模块进行目标检测的流程示意图;
图4为本发明物体轮廓信息的示意图;
图5为本发明目标检测的流程示意图;
图6为本发明球冠区域的示意图;
图7为本发明自主探索的决策流程图;
图8为本发明视野盲区的示意图;
图9为本发明雷达点云与全局地图点云进行匹配的流程图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本发明的术语解释如下。
动态环境:在智能移动机器人所处的真实环境中,周围的物体并不是固定不动的,可能存在一些动态物体随时间变化自身位置、新的物体出现、原本在环境中的物体消失等复杂的情况,这样的环境是动态环境。
深度学习:是机器学习中一种基于对数据进行表征学习的算法;观测值(例如一幅图像)可以使用多种方式来表示,如表示为每个像素强度值的向量,或者更抽象地表示为一系列边、特定形状的区域;而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取算法来替代手工获取特征。
物体检测:机器人通过高频激光雷达扫描得到了周围环境稠密的点云数据,可以通过深度值的剧烈变化勾勒出物体的大致轮廓,将物体的点云数据进行框选聚类,进而将数据通过深度学习的端到端神经网络得到物体语义识别的结果,这样就得到了带有语义标签的语义点云地图。语义点云地图带有了物体的距离和形状等信息。
自主建图:发挥机器人的主动性,机器人在没有外部干预的情况下,根据目前已经建立的地图,可以自主地去探索尚未完整建图的区域,完成快速探索、建立完整环境模型的任务。
如图1所示,本发明自主建图系统整体的系统框架包括建立地图模块、目标检测模块和探索模块。
1.建立地图模块
建立地图模块包括两部分:多传感器数据融合预处理部分和动态建图部分。多传感器数据融合预处理部分将雷达点云数据中的背景和运动物体区分开来,将数据递给动态建图部分;动态建图部分依据多传感器数据融合预处理部分的点云区分结果对全局地图点云进行动态的更新。
1.1多传感器融合预处理:
首先在有IMU数据初始估计的情况下将雷达点云数据和全局地图点云数据进行匹配,由于移动机器人所处的环境是有动态物体移动的环境,那么在雷达点云数据与全局地图匹配的同时,需要区分出雷达点云数据中的背景点云和运动物体点云。
采用如下算法进行匹配:
初始化旋转矩阵R和位移分量t:R=Rimu,t=timu;其中Rimu为在IMU数据中得到的旋转矩阵,timu为在IMU数据中得到的位移分量;
通过旋转矩阵R和位移分量t将雷达点云P={pi,i=1,2,…,n}投影到全局地图,得到转换点云P′={p′i,i=1,2,…,n},其中p′i=Rpi+t;
为每个转换点云p′i遍历全局地图点云Q={qj,j=1,2,…,m},在全局地图点云中找到距离p′i最近的全局地图点云q′j,并组成点对(p′i,q′j);
舍弃p′i与q′j欧式距离最大的20%的点对后,结合DLT算法计算出新的旋转矩阵R′和新的位移分量t′;
对比旧的位姿参数(R,t)与新的位姿参数(R′,t′),判断两者的差值是否小于设定值;如是,使R=R′,t=t′,得到转换矩阵;如否,使R=R′,t=t′,重新运行上述步骤。
匹配后得到转换矩阵
其中R为旋转矩阵,t为位移分量;将当前雷达点云投影到全局地图中:
当前雷达点云P=(Px,Py,Pz);投影之后得到投影点云Q=(Qx,Qy,Qz)=RP+t;找到距离投影点云最近的雷达点云,计算两者间的距离
其中Δx、Δy、Δz分别为投影点云和最近的雷达点云在x方向、y方向、z方向的坐标差。
当距离D小于0.1m时,则判断对应的雷达点云是背景点云,反之则为运动物体点云。
知道转换矩阵T之后,用T中的位移分量t,结合雷达点云与最新全局地图点云采集的时间间隔τ,可以得到对移动机器人运动状态的估计值v1:
1.2动态建图
多传感器数据融合预处理部分已经将原始的雷达点云数据区分成为了背景点云和运动物体点云两个部分,那么动态建图时也需要对这两部分分开处理:
对于背景点云,直接通过匹配结果的转换矩阵T投影到全局地图Q=RP+t;
对于运动物体点云,它在原来位置上发生了移动,所以它的位置信息只有当前采集到的雷达点云数据是可信的,之前采集的雷达点云数据建立的全局地图点云失去了可信度;将当前采集到的运动物体点云数据经过转换矩阵投影之后,用最小长方体框选出运动物体的位置、大小;位于该长方体框和机器人原点之间的运动物体点云是原来的运动物体留下的点云,这些点云都需要删除,说明原来的运动物体在向远离移动机器人的方向上有了位移或者是原来位置上的运动物体已经消失;新的长方体框在其他长方体框与移动机器人之间时,需要根据后续目标检测的结果进行不同处理:当两个长方体框内的物体被识别成同一物体时,说明原来物体在向靠近机器人的方向上有了位移,则删除其他长方体框中的点云;如果两个物体被识别为不同物体时,说明新的物体是从其他地方位移过来的。这样就实现了在动态环境下全局地图点云的实时更新。
2.目标检测模块
目标检测模块主要分为两大步骤:目标提取和目标检测。虽然建立地图模块的动态建图部分已经将物体用长方体框选出来,但是为了后面目标检测的准确性,这里还需要通过目标提取模块更加的细化提取出物体的轮廓信息;之后将提取出来的物体轮廓中的点云输入进提前离线训练好的深度神经网络中,输出的结果就是对这部分点云所代表的物体的检测结果。目标检测模块的流程示意图如图3所示:
2.1目标提取
激光雷达扫描到物体表面时产生的点云数据和扫描到环境背景产生的点云数据相比,深度信息变化比较明显。所以从多个角度把全局地图点云中与周围其他点云深度信息变化明显的点云提取出来,得到物体轮廓信息,轮廓之内的点云均属于这个物体对应的点云。如图4所示,能够明显地看得出有一把椅子靠着一张桌子。
2.2目标检测
如图5所示,目标提取的结果首先降采样到固定的数目,便于之后输入进神经网络进行目标检测;然后通过神经网络输出一个向量作为结果,这个向量的每个值代表了这部分点云是某一类物体的概率,采用概率最大的值代表对这部分点云检测结果的估计。
3.探索模块
在动态环境中建图时,没有先验环境信息、周围障碍物的遮挡均为阻碍移动机器人建图的重要因素。接下来分为两个部分,分别解决未知环境下如何自主探索周围环境建立点云地图以及有障碍物遮挡时如何探索障碍物背后的环境。
3.1自主探索
全局地图点云中一块区域的未知程度也就是这块区域的空旷程度,一块区域的点云越密集,则该区域的信息就越多,地图就越完整。考虑到现实场景中一般情况下背景都是一个平面,则单位点云对应的平均面积
其中N代表在这块区域中点云的数目,S表示着这块区域的面积;Saver的数值越小则表示这块区域中的点云越密集,信息越多,地图建立得越完整;Saver的数值越大,则这块区域中的点云越稀疏,信息越少,地图建立得越空旷。移动机器人通过比较左右两侧区域的地图建立的完整度来自主选择更加空旷的区域前去探索,以达到自主建图的目的。考虑周围环境复杂多变,为了统一左右两侧区域的比较范围,选择的区域是一个顶角为的球冠区域,球面以移动机器人中心为球心,球面的半径是背景板与机器人之间的距离r(即背景点云的距离信息),球冠区域如图6所示。
球冠区域的面积
球冠区域对应的立体角
全局地图点云投影到这个球冠区域的点云数目即为N。
在左右两侧分别选取这样的球冠区域,就能分别计算出左右两侧区域单位点云对应的平均面积Saver1和Saver2。考虑到雷达采集数据的频率高、点云稠密,设定阈值Sthreshold=0.01m2。
当一侧区域存在Saver<Sthreshold,另一侧区域存在Saver≥Sthreshold时,则表示一侧区域建图较为完整,另一侧区域建图较为空旷,移动机器人选择建图较为空旷的一侧区域进行探索。
当两侧区域均存在Saver≥Sthreshold时,则两侧区域建图均较为空旷,比较两侧区域Saver值,移动机器人选择Saver值较大的一侧区域继续探索。
当两侧区域存在Saver<Sthreshold时,则两侧区域建图均较为完整,通过全局地图点云的距离信息判断前方是否可以通行,如果前方背景距离机器人超过1m则继续向前探索,反之则查看左右两侧背景距离移动机器人是否超过1m,选择两侧中背景距离机器人超过1m并且距离较小的一侧进行探索;若前方和两侧均无法通行则移动机器人现在走进了U型环境,在全局地图点云中对地面背景打上“已探索”标记,并回溯之前位置并探索其他未探索区域。上述自主探索的决策流程如图7所示。
3.2盲区探索
如图8所示,由于全局地图点云中已经有了障碍物的轮廓信息,那么将障碍物框选出来,框的正面面积为S1,背景点云中投影到此面的数目为N3,视野盲区中单位点云对应的面积
通过Saver3表征出障碍物遮挡视野盲区的建图完整程度。
在动态环境中障碍物分为两种,一种是动态的障碍物,另一种是静态的障碍物。
当检测到动态障碍物遮挡背景时,并且在全局地图点云中此处视野盲区尚未被建立完整时,那么移动机器人原地等待障碍物离开原来位置,激光雷达即可扫描到背景点云信息。
当检测到静态障碍物遮挡背景时,并且在全局地图点云中此处视野盲区尚未被建立完整时,那么移动机器人绕行到静态障碍物背后对视野盲区的背景环境进行探索。
4.硬件具体实现
本发明中的移动机器人采用turtlebot3 burger柱型轮式机器人,底层处理器采用OpenCR 1.0、STM32F7系列芯片和树莓派3b+;硬件结构主要包括机械构架、Dynamixle舵机和电机,外加一个驱动电路来提供电压;数据采集通过石头科技TOF的360°激光雷达LDS-01获取移动机器人周围360°的测量数据,并依次作为点云信息。上层通过树莓派3b+工控机做建图和目标检测算法的处理,下层通过搭载STM32F7芯片的OpenCR控制板实现移动机器人各向运动。为了验证不同情况下避障算法的准确性,搭建一个封闭的空间,并且在封闭空间中从多个方向均有移动障碍物来验证系统的避障功能。在写字楼中也进行了相应的实验,验证移动机器人可以自主智能的探索周围环境,建立周围环境的地图。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立技术方案,说明书的这种叙述方式仅仅是为了清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种在动态环境下基于深度学习的自主建图方法,通过移动机器人上安装的IMU设备获取IMU数据、通过移动机器人上安装的激光雷达设备获得雷达点云数据,动态环境包括背景和物体,物体包括静态物体和运动物体;自主建图方法包括以下步骤:
步骤一:在有IMU数据初始估计的情况下将雷达点云与全局地图点云进行匹配,得到具有转换矩阵的匹配结果,识别出雷达点云中的背景点云和运动物体点云;
步骤二:将当前的背景点云和运动物体点云通过匹配结果中的转换矩阵投影到全局地图后,用最小的长方体框选出运动物体;将长方体框与移动机器人原点之间的全局地图点云删除;新的长方体框位于旧的长方体框与移动机器人原点之间时,如果两个长方体框内的物体不是同一个运动物体,则将旧的长方体框的全局地图点云删除;实现动态环境下全局地图点云的更新;
步骤三:根据更新后全局地图点云的深度信息对物体轮廓信息进行目标提取;对目标提取的结果进行降采样,将得到的向量输入至预训练的神经网络中,输出物体的检测结果,得到带有物体信息的全局地图点云;
步骤四:以移动机器人当前运动方向为分界线将待探测区域分成两块区域,计算两块区域中的全局地图点云密集程度;当两块区域中一个或者全部的全局地图点云密集程度小于设定值时,移动机器人向全局地图点云密集程度最低的区域移动,再通过步骤一、步骤二对全局地图点云进行更新。
2.根据权利要求1所述的在动态环境下基于深度学习的自主建图方法,其特征在于,步骤一中将雷达点云与全局地图点云进行匹配得到具有转换矩阵的匹配结果时,包括以下步骤:
步骤11:初始化旋转矩阵R和位移分量t:R=Rimu,t=timu;其中Rimu为在IMU数据中得到的旋转矩阵,timu为在IMU数据中得到的位移分量;
步骤12:通过旋转矩阵R和位移分量t将雷达点云P={pi,i=1,2,...,n}投影到全局地图,得到转换点云P′={p′i,i=1,2,...,n},其中p′i=Rpi+t;
步骤13:为每个转换点云p′i遍历全局地图点云Q={qj,j=1,2,...,m},在全局地图点云中找到距离p′i最近的全局地图点云q′j,并组成点对(p′i,q′j);
步骤14:舍弃步骤13中p′i与q′j欧式距离最大的20%的点对后,结合DLT算法计算出新的旋转矩阵R′和位移分量t′;
步骤15:对比旧的位姿参数(R,t)与新的位姿参数(R′,t′),判断两者的差值是否小于设定值;如是,使R=R′,t=t′,进行步骤16;如否,使R=R′,t=t′,重新运行步骤12至步骤15;
3.根据权利要求1所述的在动态环境下基于深度学习的自主建图方法,其特征在于,步骤一中识别背景点云和运动物体点云时,将当前雷达点云投影到全局地图中得到投影点云,计算投影点云与最近的雷达点云之间的距离,点云距离小于阈值时对应的雷达点云为背景点云,点云距离大于或者等于阈值时对应的雷达点云为运动物体点云。
5.根据权利要求1所述的在动态环境下基于深度学习的自主建图方法,其特征在于:步骤四中计算区域中全局地图点云的密集程度时,在两块区域中分别选择以移动机器人中心为球心、半径为r、顶角为的球冠区域;两块区域中的球冠区域分别为左侧区域和右侧区域,其中r为背景点云与移动机器人的距离;
以单位点云对应的面积Saver衡量全局地图点云的密集程度,其中左侧区域中单位点云对应的面积Saver1和右侧区域中单位点云对应的面积Saver2计算如下:
其中S为球冠区域的面积,N1为全局地图点云投影到左侧区域的点云数目,N2为全局地图点云投影到左侧区域的点云数目,Saver数值越小则全局地图点云密集程度越高,反之全局地图点云密集程度越低。
6.根据权利要求1所述的在动态环境下基于深度学习的自主建图方法,其特征在于,通过以下方式对物体遮挡的环境进行建图:通过步骤三对物体轮廓信息进行目标提取以及物体检测,并计算被物体遮挡形成的视野盲区中全局地图点云的密集程度;如图物体为动态物体,且物体遮挡形成的视野盲区中全局地图点云密集程度小于设定值,则以移动机器人原地等待该动态物体离开,再通过激光雷达获取视野盲区中的雷达点云;如果物体为静态物体,且物体遮挡形成的视野盲区中全局地图点云密集程度小于设定值,则移动机器人绕道静态物体背后,通过激光雷达获取视野盲区中的雷达点云;
获取雷达点云后,再通过步骤一和步骤二实现动态环境下全局地图点云的更新。
7.一种在动态环境下基于深度学习的自主建图系统,其特征在于,包括:
建立地图模块,在有IMU数据初始估计的情况下将雷达点云与全局地图点云进行匹配,得到具有转换矩阵的匹配结果,识别出雷达点云中的背景点云和运动物体点云;将当前的背景点云和运动物体点云通过匹配结果中的转换矩阵投影到全局地图后,用最小的长方体框选出运动物体;将长方体框与移动机器人原点之间的运动物体点云删除;新的长方体框位于旧的长方体框与移动机器人原点之间时,如果两个长方体框内的物体不是同一个运动物体,则将旧的长方体框的运动物体点云删除;实现动态环境下全局地图点云的更新;
目标检测模块,根据更新后全局地图点云的深度信息对物体轮廓信息进行目标提取;对目标提取的结果进行降采样,将得到的向量输入至预训练的神经网络中,输出物体的检测结果,得到带有物体信息的全局地图点云;
探索模块,以移动机器人当前运动方向为分界线将待探测区域分成两块区域,计算两块区域中的全局地图点云密集程度;当两块区域的全局地图点云密集程度中的一个或者全部小于设定值时,移动机器人向点云密度最低的区域移动,再通过建立地图模块对全局地图点云进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210820895.8A CN115307622A (zh) | 2022-07-13 | 2022-07-13 | 在动态环境下基于深度学习的自主建图方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210820895.8A CN115307622A (zh) | 2022-07-13 | 2022-07-13 | 在动态环境下基于深度学习的自主建图方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115307622A true CN115307622A (zh) | 2022-11-08 |
Family
ID=83856251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210820895.8A Pending CN115307622A (zh) | 2022-07-13 | 2022-07-13 | 在动态环境下基于深度学习的自主建图方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115307622A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117968682A (zh) * | 2024-04-01 | 2024-05-03 | 山东大学 | 基于多线激光雷达和惯性测量单元的动态点云去除方法 |
-
2022
- 2022-07-13 CN CN202210820895.8A patent/CN115307622A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117968682A (zh) * | 2024-04-01 | 2024-05-03 | 山东大学 | 基于多线激光雷达和惯性测量单元的动态点云去除方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
EP3405845B1 (en) | Object-focused active three-dimensional reconstruction | |
CN111563415B (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
WO2022188663A1 (zh) | 一种目标检测方法及装置 | |
Huang et al. | A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field | |
CN111862201A (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
Wang et al. | An overview of 3d object detection | |
CN115032648B (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
Lin et al. | CNN-based classification for point cloud object with bearing angle image | |
CN117058646B (zh) | 基于多模态融合鸟瞰图的复杂道路目标检测方法 | |
CN114742888A (zh) | 一种基于深度学习的6d姿态估计方法 | |
Bogoslavskyi et al. | Analyzing the quality of matched 3D point clouds of objects | |
CN115307622A (zh) | 在动态环境下基于深度学习的自主建图方法和系统 | |
Zhang et al. | Front vehicle detection based on multi-sensor fusion for autonomous vehicle | |
Pot et al. | Self-supervisory signals for object discovery and detection | |
Persson et al. | Automatic building detection from aerial images for mobile robot mapping | |
CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
Zhao et al. | DHA: Lidar and vision data fusion-based on road object classifier | |
Xu et al. | Real-time road detection and description for robot navigation in an unstructured campus environment | |
Forman Jr et al. | Contextual analysis of tactical scenes | |
IL277741B2 (en) | System and method for visual positioning | |
Dong et al. | Semantic lidar odometry and mapping for mobile robots using rangeNet++ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |