CN107741234A - 一种基于视觉的离线地图构建及定位方法 - Google Patents
一种基于视觉的离线地图构建及定位方法 Download PDFInfo
- Publication number
- CN107741234A CN107741234A CN201710939482.0A CN201710939482A CN107741234A CN 107741234 A CN107741234 A CN 107741234A CN 201710939482 A CN201710939482 A CN 201710939482A CN 107741234 A CN107741234 A CN 107741234A
- Authority
- CN
- China
- Prior art keywords
- map
- point cloud
- robot
- dimensional point
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明为一种地图的构建方法,所述地图应用于移动机器人的视觉定位技术中,至少包括以下步骤:A.通过3D摄像头采集机器人应用场合中的RGB图像以及深度图像,计算三维点云的参数;B.提取所采集图像的ORB特征以及描述子,拼接周围环境的三维点云的图像,生成RGB以及深度图像的关键帧;C.根据所提取的ORB特征以及描述子生成词袋,进行聚类,生成ORB特征树;D.分析所述三维点云中所处的空间方向,获得三维点云空间的投影参数,按照需求将与地面垂直方向的点云投影到地面,形成2D地图;E.获得移动机器人视觉定位所需要的定位地图以及地图的关键帧。另外本发明还提出一种采用该地图构建方法的机器人定位方法,解决现有技术中定位失败无法知晓机器人位置的问题。
Description
技术领域
本发明涉及机器人定位技术,尤其涉及一种基于视觉的离线地图构建及定位方法。
背景技术
当前,随着移动机器人技术的发展,越来越多的移动机器人产品进入消费品市场和商用市场。在商业应用的市场领域中,移动机器人主要用来导引、导购、讲解、介绍、迎宾、物品输送等。移动机器人作为一种移动平台,可移动性是其基本的功能,而移动机器人的定位功能则是移动机器人实现自主化的关键技术之一,移动机器人只有了解了自己在当前环境中所处的位置,才能决定下一步要去什么地方?以及怎么样到达目的地?当前移动机器人的定位方法有很多种,诸如:WIFI定位、RFID定位、UWB定位、视觉定位、iBeacon定位、无线传感器定位、激光定位和超声波定位等,这些方法各有各的优缺点。其中视觉定位和激光定位技术以其良好的部署特性而越来越受服务机器人企业的重视和使用。
其中在一些专利申请中都给出了一些基于视觉定位的技术,如在专利CN201610997735.5提出了一种基于视觉定位的机器人自主导航方法及系统,该专利虽然提出了用视觉定位来实现机器人来定位,但是并没有较详细地描述如何用视觉定位算法来进行定位,其本质上还只是一种单传感器的视觉里程计的方法,并没有给出如何消除视觉定位的缺点所带来的技术问题。而在专利CN201510400786.0中,公开了一种基于Kinect的机器人自定位方法,其方法是通过Kinect获取环境的RGB图像和深度图像,通过融合视觉和里程计的信息,来估计机器人的相对运动量,并根据上一时刻机器人位姿,实现位姿跟踪,再将深度信息转换成三维点云,在点云中提取出地面,并根据地面自动标定Kinect相对于地面的高度和俯仰角,从而将三维点云投影到地面,得到类似于激光数据的二维点云,将其与事先构建的环境格栅地图进行匹配,从而修正机器人跟踪过程中的累积误差,估计机器人的位姿。该发明本质上还是激光雷达进行定位的方法,并不是真正的视觉定位算法。
而实际上,视觉定位在移动机器人的定位功能中的应用主要源于其成本相对较低,部署相对较容易,但是视觉定位受环境影响非常严重,并且计算量也比较大,对CPU的性能要求比较高,尤其是要在实时定位的场合。目前的视觉定位技术的定位精度相对比较差,速度比较慢,而且经常出现定位失败的情况。当前,将3D摄像头用于服务机器人的定位和导航方面非常普遍,这主要是由于用3D摄像头可以很方便地获取环境的深度信息;但是用3D摄像头进行定位方法各不相同,性能也不一样。有些在定位的时候将3D摄像头当激光雷达的方式来使用,有些虽然是用视觉来定位,但是定位精度差,定位速度慢,算法的鲁棒性也比较差。因此为了改进现有视觉定位中存在的技术问题,急需一种提高机器人视觉定位精度的方法。
发明内容
本发明目的是提供一种基于视觉的离线地图构建及定位方法,基于本发明提出的地图构建方法,移动机器人在定位时是基于视觉、IMU(Inertial measurement unit,惯性测量单元)以及里程计三者结合的定位方法,解决机器人视觉定位失败后,无法获知自己位置而无法进行导航的技术问题,并提高视觉定位的精度。
本发明解决技术问题采用如下技术方案:一种地图的构建方法,所述地图应用于移动机器人的视觉定位技术中,至少包括以下步骤:
A.通过3D摄像头采集机器人应用场合中的RGB图像以及深度图像,计算三维点云的参数;
B.提取所采集图像的ORB特征以及描述子,拼接周围环境的三维点云的图像,生成RGB以及深度图像的关键帧;
C.根据所提取的ORB特征以及描述子生成词袋,进行聚类,生成ORB特征树;
D.分析所述三维点云中所处的空间方向,获得三维点云空间的投影参数,按照需求将与地面垂直方向的点云投影到地面,形成2D地图;
E.获得移动机器人视觉定位所需要的定位地图以及地图的关键帧。
其中,在所述步骤A中,通过离线或在线方式采集图像数据进行三维点云计算;在所述步骤B中,通过特征匹配获得每相邻帧之间的平移和旋转量,并采集每帧图像的IMU数据以及里程计数据,计算后获得相机运动量,并构建所述相机的运动特征转移矩阵。
3、根据权利要求2所述的地图的构建方法,其特征在于,在所述步骤B中采用FLANN算法对两帧图像进行特征匹配计算,并采用卡尔曼滤波算法融合特征匹配算出相机的运动量。
其中,在所述步骤B中,仅对关键帧的图像帧拼接,并采用BA算法对点云地图进行闭环优化。
其中,在所述步骤C中,采用K-Means聚类算法构造词袋,生成特征树。
其中,在所述步骤D中,所述三维点云空间的方向采用PCA方法分析获得。
其中,所述的地图可离线或者在线构建。
本发明还提供一种移动机器人的定位方法,采用上述各权利要求所述的地图构建方法,包括以下步骤:
实时采集获得环境的RGB以及深度图像;
对采集获得的图像数据进行预处理,并与构建所述地图生成的关键帧进行匹配比较,获得匹配度最高的图片;
对所获得的图片进行计算,获得所采集的图像与匹配最高的图片的匹配帧之间的绝对位置和相对位置信息;
根据地图中由三维点云到2D地图的投影变化计算获得移动机器人定位的2D位置。
其中,还包括获取IMU以及里程数据参数,并计算获得所述机器人的位置增量值,校准所述移动机器人的定位。
其中所述机器人的位置增量值的计算包括:采用卡尔曼滤波算法获得机器人姿态欧拉角;以及采用里程计算模型数据计算机器人的位置增量以及姿态角。
本发明具有如下有益效果:
在本发明的地图构建方法中,构建了关键帧的KeyPoint和Descriptor的ORB特征树和数据库,提高了所构建的三维地图精度,在投影生成2D地图时,选取了限定范围内的三维点云进行投影,减少天花板物体的投影对定位和导航的影响,提高采用该地图进行定位的准确性。并且在采用该地图构建方法的定位方法中,提出了将视觉定位的结果与航向角、里程计数据进行融合的算法,进一步提高定位的精度和定位的成功率。
附图说明
图1为本发明的具体实施例中地图构建方法中的3D点云地图构建流程示意图;
图2为本发明的具体实施例中地图构建方法中的特征树生成流程示意图;
图3为本发明的具体实施例中地图构建方法中的2D地图生成的投影示意图;
图4为本发明的具体实施例中视觉定位计算过程示意图;
图5为本发明的具体实施例中定位融合算法的过程示意图。
具体实施方式
在本发明中,提出了一种地图的构建方法,主要用于在视觉定位领域中,用来生成周围环境的KeyFrame(关键帧),进而实现有效的视觉定位。尽管实时建图、定位和导航是当下的热门,但是实时建图建立的三维点云图不够精确,而且随着地图的增大容易出现很多的问题,因此在本发明的实施例中,给出了在离线状态进行地图构建的方法,采用该离线地图,并在本实施例中,提出了一种视觉定位融合IMU和里程计数据的定位方法,解决视觉定位失败的时候机器人的定位问题,具体是通过将地图构建中生成的图片关键帧,生成一个Keypoint和Descriptor的查找树,提高视觉定位的速度,并对地图构建阶段所形成的环境的三维点云图,通过PCA(Principal Component Analysis)主成分分析,分析出点云空间的方向,计算出三维点云的投影参数,从而生成一个投影到地面的用于机器人定位以及路径规划的参考二维地图。本发明的实施例是基于Intel公司的RealSense深度摄像头进行建图、定位和导航,同时融合IMU和里程计数据进行辅助定位,从而提高整个系统定位算法的鲁棒性,使得机器人在任何时候都不会定位失败。
下面结合实施例及附图对本发明的技术方案作进一步阐述。
本发明提供地图的构建方法,所述地图应用于移动机器人的视觉定位技术中,至少包括以下步骤:
A.通过3D摄像头采集机器人应用场合中的RGB图像以及深度图像,计算三维点云的参数;
B.提取所采集图像的ORB特征以及描述子,拼接周围环境的三维点云的图像,生成RGB以及深度图像的关键帧;
C.根据所提取的ORB特征以及描述子生成词袋,进行聚类,生成ORB特征树;
D.分析所述三维点云中所处的空间方向,获得三维点云空间的投影参数,按照需求将与地面垂直方向的点云投影到地面,形成2D地图;
E.获得移动机器人视觉定位所需要的定位地图以及地图的关键帧。
在本发明的实施例中,在所述步骤A中,通过离线或在线方式采集图像数据进行三维点云计算;在所述步骤B中,通过特征匹配获得每相邻帧之间的平移和旋转量,并采集每帧图像的IMU数据以及里程计数据,计算后获得相机运动量,并构建所述相机的运动特征转移矩阵。在所述步骤B中采用FLANN算法对两帧图像进行特征匹配计算,并采用卡尔曼滤波算法融合特征匹配算出相机的运动量。在所述步骤B中,仅对关键帧的图像帧拼接,并采用BA算法对点云地图进行闭环优化。在所述步骤C中,采用K-Means聚类算法构造词袋,生成特征树。在所述步骤D中,所述三维点云空间的方向采用PCA方法分析获得。
在本发明中,所述的地图可离线或者在线构建,本实施例中以采用离线构建地图的方法进行具体说明,因为在本发明的实施例中,离线构建地图有助于构建精确完整的环境地图,在构建地图时,采用提取图片ORB特征的方式,然后将采集到的图片三维点云拼接成整个环境的三维点云模型。参考图1,地图的构建步骤如下:在本发明中的三维点云地图是离线构建的,利用3D摄像头采集RGB图像和深度图像,计算三维点云,提取图片的ORB特征和描述子,拼接周围环境的三维点云图,生成RGB和深度的关键帧。
具体为,在离线的3D点云地图构建算法中,由于视觉定位本质是采用视觉里程计的实现,因此预先构建环境的一张3D点云图或者是一边构建3D点云图进行定位,但是在本实施例中先单独构建环境的3D点云图,在3D地图构建的时候,本发明在离线构建地图方法中加入了里程计数据的进行地图构建,进一步参考图1所示。为了构建精确的三维点云地图,对通过特征匹配计算出的相邻两帧之间的平移量和旋转量,同时采集每帧图像的IMU数据和里程计数据,采用卡尔曼滤波算法融合特征匹配算出的运动量和传感器所采集的运动量,得到一个比较准确相机的运动量,构建一个相机的运动特征转移矩阵。在特征匹配时,采用FLANN算法(该算法为现有技术的内容,在此不再进行赘述)进行特征匹配计算,对于两帧图像的匹配,可能存在完全无法匹配的情况,也可能存在有大量的特征匹配点,其中不乏错误的匹配点,而我们不需要这些特征匹配点;或者匹配特征点之后,通过灰度直方图相似性的方式、最大匹配和最小匹配等方式去掉大部分的不合理的特征匹配点。在进行点云拼接时,只对被选定为KeyFrame的图像帧进行拼接,拼接的转移矩阵则是融合了多传感器所得到的转移矩阵。为了减少拼接时的误差,可采用稀疏的BA算法对拼接的点云地图进行了闭环优化。
进一步,为了减少机器人定位的时间,本实施例中,在三维点云提取的特征和描述子生成一个词袋,然后利用K-Means聚类算法构造一个词袋,并生成ORB特征树,这个词袋和特征树在闭环优化和定位阶段都会用到。
在实际使用的过程中,首先提取并产生一本特征点和描述子的词典,内部的单词就是一些特征聚类的结果。所形成的词袋生成一个ORB特征树,如图2所示。
另外,构建周围环境的三维点云地图是定位和导航的基础,但在实际应用中,机器人进行定位和导航所使用的地图是环境的二维地图,二维地图的生成是在三维地图的基础上朝某一个平面投影所致,很明显投影的这个平面是机器人所行走的地面这个平面,2D地图的生成过程如下:首先用PCA方法分析出三维点云空间的方向,计算出三维点云空间的投影参数;为了减少三维点云空间天花板点云对地面投影所产生的影响,在本实施例中,只把与地面垂直方向的的某些范围点云投影到地面,从而形成2D地图,如图3所示。
本发明还提出一种采用上述地图构建方法的移动机器人的定位方法,包括以下步骤:
实时采集获得环境的RGB以及深度图像;
对采集获得的图像数据进行预处理,并与构建所述地图生成的关键帧进行匹配比较,获得匹配度最高的图片;
对所获得的图片进行计算,获得所采集的图像与匹配最高的图片的匹配帧之间的绝对位置和相对位置信息;
根据地图中由三维点云到2D地图的投影变化计算获得移动机器人定位的2D位置。
在本发明的方案中,还包括获取IMU以及里程数据参数,并计算获得所述机器人的位置增量值,校准所述移动机器人的定位。其中所述机器人的位置增量值的计算包括:采用卡尔曼滤波算法获得机器人姿态欧拉角;以及采用里程计算模型数据计算机器人的位置增量以及姿态角。
下面采用具体实施例进行说明,本发明中所述的视觉定位算法主要是,移动机器人实时采集环境的RGB和DEPTH图,图片进行过预处理后与地图构建时生成的Keyframe进行匹配,然后得出机器人相机姿态的位置。图片的预处理主要包括DEPTH图的平滑处理,图片的特征提取等。图片的匹配算法是将采集的图片与Keframe中每一帧进行比较,计算出8帧与之比较相似候选图片,最后在这8帧图片中选出匹配程度最好的图片,从而计算出采集到的图片和匹配帧之间的绝对位置和相对位置,根据从3D到2D的投影变化计算出所定位出来的2D位置,如图4所示。
由于视觉定位时,受环境光线、深度信息、纹理特征信息等影响,视觉定位时可能定位出来的位置有偏差或者是定位不到位置,这时机器人在环境中,就会迷失方向,从而不会向下一个目标位置移动。为了解决这个问题,在本发明的方案中,将惯性测量单元计算出来机器人的航向角和里程计所记录的编码器的数据融合进机器人的定位过程中。其中在本发明的实施例中,航向角解算是指:将从9轴IMU单元都出来的原始的各方向的数据,利用卡尔曼滤波算法解算出机器人的四元数的姿态表示值,从而计算出机器人姿态的欧拉角。里程计模型计算:在本发明中,定位算法不是每时每刻都进行的,只在需要定位的时候才开始定位。因此,自从上一次定位完成,从移动机器人底盘采集到下一次需要定位时的4个电机的编码器的增量值,通过全向轮运动学解算,算出机器人在X方向和Y方向的运动增量(有关机器人位置确定的计算过程为现有技术的内容,在此不再详细描述)。根据航向角的值和里程计模型数据算出机器人从上一次定位成功之后,本次定位的位置增量和姿态角。如果在本次视觉定位成功的情况,将IMU和里程计算出来的位置增量值与视觉定位结果进行融合,校准本次视觉定位的结果,从而得出比较准确的定位结果;如果在本次视觉定位失败的情况下,那么根据上次IMU和里程计定位的结果,再加上本次IMU和里程计的计算值,算出机器人最终位置作为本次定位的位置,从而提高机器人的定位效率,具体定位过程如图5所示。
综上所述,本发明的方案有如下有益的技术效果:
1、在构建三维点云地图时,提出了一种离线的地图构建方法,并且融合里程计数据进行建图,提高建立的三维地图的准确性。
2、在构建三维点云地图时,将生成的图像的KeyFrame所提取的KeyPoint和Descriptor以K-Means聚类生成ORB特征树,提高机器人的定位速度。
3、在投影生成二位地图时,采用了将距离地面和天花板一定距离内的所有点云同时向某一个平面进行投影的方法,从而避免将天花板物体投影到地面对路径规划所产生的负面影响,同时也将地面上物体投影到天花板投影的平面,从而有利于机器人在路径规划时,避开地面障碍物,提高避障的准确率。
4、在定位时,提出了将视觉定位的结果与航向角、里程计数据进行融合的算法,提高定位的精度和定位的成功率。
以上实施例的先后顺序仅为便于描述,不代表实施例的优劣。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种地图的构建方法,所述地图应用于移动机器人的视觉定位技术中,其特征在于,至少包括以下步骤:
A.通过3D摄像头采集机器人应用场合中的RGB图像以及深度图像,计算三维点云的参数;
B.提取所采集图像的ORB特征以及描述子,拼接周围环境的三维点云的图像,生成RGB以及深度图像的关键帧;
C.根据所提取的ORB特征以及描述子生成词袋,进行聚类,生成ORB特征树;
D.分析所述三维点云中所处的空间方向,获得三维点云空间的投影参数,按照需求将与地面垂直方向的点云投影到地面,形成2D地图;
E.获得移动机器人视觉定位所需要的定位地图以及地图的关键帧。
2.根据权利要求1所述的地图的构建方法,其特征在于,在所述步骤A中,通过离线或在线方式采集图像数据进行三维点云计算;在所述步骤B中,通过特征匹配获得每相邻帧之间的平移和旋转量,并采集每帧图像的IMU数据以及里程计数据,计算后获得相机运动量,并构建所述相机的运动特征转移矩阵。
3.根据权利要求2所述的地图的构建方法,其特征在于,在所述步骤B中采用FLANN算法对两帧图像进行特征匹配计算,并采用卡尔曼滤波算法融合特征匹配算出相机的运动量。
4.根据权利要求1所述的地图的构建方法,其特征在于,在所述步骤B中,仅对关键帧的图像帧拼接,并采用BA算法对点云地图进行闭环优化。
5.根据权利要求1所述的地图的构建方法,其特征在于,在所述步骤C中,采用K-Means聚类算法构造词袋,生成特征树。
6.根据权利要求1所述的地图的构建方法,其特征在于,在所述步骤D中,所述三维点云空间的方向采用PCA方法分析获得。
7.根据权利要求1所述的地图的构建方法,其特征在于,所述的地图可离线或者在线构建。
8.一种移动机器人的定位方法,采用上述各权利要求所述的地图构建方法,其特征在于,包括以下步骤:
实时采集获得环境的RGB以及深度图像;
对采集获得的图像数据进行预处理,并与构建所述地图生成的关键帧进行匹配比较,获得匹配度最高的图片;
对所获得的图片进行计算,获得所采集的图像与匹配最高的图片的匹配帧之间的绝对位置和相对位置信息;
根据地图中由三维点云到2D地图的投影变化计算获得移动机器人定位的2D位置。
9.根据权利要求8所述的移动机器人的定位方法,其特征在于,还包括获取IMU以及里程数据参数,并计算获得所述机器人的位置增量值,校准所述移动机器人的定位。
10.根据权利要求9所述的移动机器人的定位方法,其特征在于,其中所述机器人的位置增量值的计算包括:采用卡尔曼滤波算法获得机器人姿态欧拉角;以及采用里程计算模型数据计算机器人的位置增量以及姿态角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710939482.0A CN107741234B (zh) | 2017-10-11 | 2017-10-11 | 一种基于视觉的离线地图构建及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710939482.0A CN107741234B (zh) | 2017-10-11 | 2017-10-11 | 一种基于视觉的离线地图构建及定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107741234A true CN107741234A (zh) | 2018-02-27 |
CN107741234B CN107741234B (zh) | 2021-10-19 |
Family
ID=61237243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710939482.0A Active CN107741234B (zh) | 2017-10-11 | 2017-10-11 | 一种基于视觉的离线地图构建及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107741234B (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108731664A (zh) * | 2018-05-18 | 2018-11-02 | 深圳清创新科技有限公司 | 机器人状态估计方法、装置、计算机设备和存储介质 |
CN108748184A (zh) * | 2018-06-13 | 2018-11-06 | 四川长虹电器股份有限公司 | 一种基于区域地图标识的机器人巡逻方法及机器人设备 |
CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
CN109326006A (zh) * | 2018-09-30 | 2019-02-12 | 百度在线网络技术(北京)有限公司 | 地图融合方法和装置 |
CN109506661A (zh) * | 2019-01-11 | 2019-03-22 | 轻客小觅智能科技(北京)有限公司 | 一种机器人的定位方法、装置、机器人及存储介质 |
CN109584299A (zh) * | 2018-11-13 | 2019-04-05 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、定位装置、终端及存储介质 |
CN109661659A (zh) * | 2018-07-19 | 2019-04-19 | 驭势科技(北京)有限公司 | 视觉定位地图存储及加载方法、装置、系统及存储介质 |
CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
CN109949375A (zh) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
CN110031825A (zh) * | 2019-04-17 | 2019-07-19 | 北京智行者科技有限公司 | 激光定位初始化方法 |
CN110196686A (zh) * | 2019-04-26 | 2019-09-03 | 陈文仰 | 服务器的自动维护方法 |
CN110222761A (zh) * | 2019-05-31 | 2019-09-10 | 中国民航大学 | 基于数字地标地图的室内定位系统及室内定位方法 |
CN110275540A (zh) * | 2019-07-01 | 2019-09-24 | 湖南海森格诺信息技术有限公司 | 用于扫地机器人的语义导航方法及其系统 |
CN110457414A (zh) * | 2019-07-30 | 2019-11-15 | Oppo广东移动通信有限公司 | 离线地图处理、虚拟对象显示方法、装置、介质和设备 |
CN110514198A (zh) * | 2019-08-28 | 2019-11-29 | 电子科技大学 | 一种基于计算机视觉技术的前后端架构地图定位方法 |
CN110806585A (zh) * | 2019-10-16 | 2020-02-18 | 北京理工华汇智能科技有限公司 | 一种基于树干聚类跟踪的机器人定位方法及系统 |
WO2020037553A1 (zh) * | 2018-08-22 | 2020-02-27 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、移动设备 |
CN110928301A (zh) * | 2019-11-19 | 2020-03-27 | 北京小米智能科技有限公司 | 一种检测微小障碍的方法、装置及介质 |
CN111145251A (zh) * | 2018-11-02 | 2020-05-12 | 深圳市优必选科技有限公司 | 一种机器人及其同步定位与建图方法和计算机存储设备 |
CN111351493A (zh) * | 2018-12-24 | 2020-06-30 | 上海欧菲智能车联科技有限公司 | 一种定位方法和系统 |
CN111383270A (zh) * | 2018-12-27 | 2020-07-07 | 深圳市优必选科技有限公司 | 物体定位方法、装置、计算机设备及存储介质 |
CN111638709A (zh) * | 2020-03-24 | 2020-09-08 | 上海黑眸智能科技有限责任公司 | 自动避障跟踪方法、系统、终端以及介质 |
CN111746504A (zh) * | 2019-03-27 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 记忆泊车方法、系统、装置及计算机可读存储介质 |
CN111829531A (zh) * | 2019-04-15 | 2020-10-27 | 北京京东尚科信息技术有限公司 | 二维地图构建方法、装置、机器人定位系统和存储介质 |
CN112308904A (zh) * | 2019-07-29 | 2021-02-02 | 北京初速度科技有限公司 | 一种基于视觉的建图方法、装置及车载终端 |
CN112378397A (zh) * | 2020-11-02 | 2021-02-19 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
CN113240755A (zh) * | 2021-07-12 | 2021-08-10 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
CN113450439A (zh) * | 2020-03-26 | 2021-09-28 | 华为技术有限公司 | 一种虚实融合方法、设备及系统 |
CN113834492A (zh) * | 2021-09-22 | 2021-12-24 | 广州小鹏自动驾驶科技有限公司 | 地图匹配方法、系统、设备及可读存储介质 |
CN114947652A (zh) * | 2019-03-21 | 2022-08-30 | 深圳阿科伯特机器人有限公司 | 导航、划分清洁区域方法及系统、移动及清洁机器人 |
WO2023045271A1 (zh) * | 2021-09-24 | 2023-03-30 | 奥比中光科技集团股份有限公司 | 一种二维地图生成方法、装置、终端设备及存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750449A (zh) * | 2012-06-20 | 2012-10-24 | 北京航空航天大学 | 基于分步三维空间-特征域映射的点云直线特征提取方法 |
CN104240297A (zh) * | 2014-09-02 | 2014-12-24 | 东南大学 | 一种救援机器人三维环境地图实时构建方法 |
CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
CN106023211A (zh) * | 2016-05-24 | 2016-10-12 | 深圳前海勇艺达机器人有限公司 | 基于深度学习的机器人图像定位方法及系统 |
US20160350927A1 (en) * | 2015-05-29 | 2016-12-01 | Northrop Grumman Systems Corporation | Cross spectral feature correlation for navigational adjustment |
US20170132808A1 (en) * | 2015-03-24 | 2017-05-11 | Sharper Shape Oy | Method and system for inertial measurement |
CN106780699A (zh) * | 2017-01-09 | 2017-05-31 | 东南大学 | 一种基于sins/gps和里程计辅助的视觉slam方法 |
CN106887037A (zh) * | 2017-01-23 | 2017-06-23 | 杭州蓝芯科技有限公司 | 一种基于gpu和深度相机的室内三维重建方法 |
CN106940186A (zh) * | 2017-02-16 | 2017-07-11 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
US9734587B2 (en) * | 2015-09-30 | 2017-08-15 | Apple Inc. | Long term object tracker |
CN107085710A (zh) * | 2017-04-26 | 2017-08-22 | 长江空间信息技术工程有限公司(武汉) | 一种基于多光谱LiDAR数据的单木自动提取方法 |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
CN107194957A (zh) * | 2017-04-17 | 2017-09-22 | 武汉光庭科技有限公司 | 智能驾驶中激光雷达点云数据与车辆信息融合的方法 |
WO2017164479A1 (en) * | 2016-03-25 | 2017-09-28 | Samsung Electronics Co., Ltd. | A device and method for determining a pose of a camera |
-
2017
- 2017-10-11 CN CN201710939482.0A patent/CN107741234B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750449A (zh) * | 2012-06-20 | 2012-10-24 | 北京航空航天大学 | 基于分步三维空间-特征域映射的点云直线特征提取方法 |
CN104240297A (zh) * | 2014-09-02 | 2014-12-24 | 东南大学 | 一种救援机器人三维环境地图实时构建方法 |
US20170132808A1 (en) * | 2015-03-24 | 2017-05-11 | Sharper Shape Oy | Method and system for inertial measurement |
US20160350927A1 (en) * | 2015-05-29 | 2016-12-01 | Northrop Grumman Systems Corporation | Cross spectral feature correlation for navigational adjustment |
US9734587B2 (en) * | 2015-09-30 | 2017-08-15 | Apple Inc. | Long term object tracker |
CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
WO2017164479A1 (en) * | 2016-03-25 | 2017-09-28 | Samsung Electronics Co., Ltd. | A device and method for determining a pose of a camera |
CN106023211A (zh) * | 2016-05-24 | 2016-10-12 | 深圳前海勇艺达机器人有限公司 | 基于深度学习的机器人图像定位方法及系统 |
CN106780699A (zh) * | 2017-01-09 | 2017-05-31 | 东南大学 | 一种基于sins/gps和里程计辅助的视觉slam方法 |
CN106887037A (zh) * | 2017-01-23 | 2017-06-23 | 杭州蓝芯科技有限公司 | 一种基于gpu和深度相机的室内三维重建方法 |
CN106940186A (zh) * | 2017-02-16 | 2017-07-11 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
CN107194957A (zh) * | 2017-04-17 | 2017-09-22 | 武汉光庭科技有限公司 | 智能驾驶中激光雷达点云数据与车辆信息融合的方法 |
CN107085710A (zh) * | 2017-04-26 | 2017-08-22 | 长江空间信息技术工程有限公司(武汉) | 一种基于多光谱LiDAR数据的单木自动提取方法 |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
Non-Patent Citations (4)
Title |
---|
GABRIEL NUTZI等: "" Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM"", 《JOURNAL OF INTELLIGENT AND ROBOTIC SYSTEMS》 * |
余杰: ""基于ORB关键帧闭环检测算法的SLAM方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
权美香等: ""视觉SLAM综述"", 《智能系统学报》 * |
黄显林等: ""自主视觉导航方法综述"", 《吉林大学学报(信息科学版)》 * |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108731664A (zh) * | 2018-05-18 | 2018-11-02 | 深圳清创新科技有限公司 | 机器人状态估计方法、装置、计算机设备和存储介质 |
CN108731664B (zh) * | 2018-05-18 | 2020-08-11 | 深圳一清创新科技有限公司 | 机器人状态估计方法、装置、计算机设备和存储介质 |
CN108748184A (zh) * | 2018-06-13 | 2018-11-06 | 四川长虹电器股份有限公司 | 一种基于区域地图标识的机器人巡逻方法及机器人设备 |
CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
CN109661659A (zh) * | 2018-07-19 | 2019-04-19 | 驭势科技(北京)有限公司 | 视觉定位地图存储及加载方法、装置、系统及存储介质 |
CN109661659B (zh) * | 2018-07-19 | 2023-01-20 | 驭势科技(北京)有限公司 | 视觉定位地图存储及加载方法、装置、系统及存储介质 |
CN110892449A (zh) * | 2018-08-22 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、移动设备 |
WO2020037553A1 (zh) * | 2018-08-22 | 2020-02-27 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、移动设备 |
CN109326006A (zh) * | 2018-09-30 | 2019-02-12 | 百度在线网络技术(北京)有限公司 | 地图融合方法和装置 |
CN111145251A (zh) * | 2018-11-02 | 2020-05-12 | 深圳市优必选科技有限公司 | 一种机器人及其同步定位与建图方法和计算机存储设备 |
CN111145251B (zh) * | 2018-11-02 | 2024-01-02 | 深圳市优必选科技有限公司 | 一种机器人及其同步定位与建图方法和计算机存储设备 |
CN109584299A (zh) * | 2018-11-13 | 2019-04-05 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、定位装置、终端及存储介质 |
CN111351493A (zh) * | 2018-12-24 | 2020-06-30 | 上海欧菲智能车联科技有限公司 | 一种定位方法和系统 |
CN111383270B (zh) * | 2018-12-27 | 2023-12-29 | 深圳市优必选科技有限公司 | 物体定位方法、装置、计算机设备及存储介质 |
CN111383270A (zh) * | 2018-12-27 | 2020-07-07 | 深圳市优必选科技有限公司 | 物体定位方法、装置、计算机设备及存储介质 |
CN109506661A (zh) * | 2019-01-11 | 2019-03-22 | 轻客小觅智能科技(北京)有限公司 | 一种机器人的定位方法、装置、机器人及存储介质 |
CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
CN109949375A (zh) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
CN114947652A (zh) * | 2019-03-21 | 2022-08-30 | 深圳阿科伯特机器人有限公司 | 导航、划分清洁区域方法及系统、移动及清洁机器人 |
CN111746504B (zh) * | 2019-03-27 | 2022-05-13 | 上海欧菲智能车联科技有限公司 | 记忆泊车方法、系统、装置及计算机可读存储介质 |
CN111746504A (zh) * | 2019-03-27 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 记忆泊车方法、系统、装置及计算机可读存储介质 |
CN111829531A (zh) * | 2019-04-15 | 2020-10-27 | 北京京东尚科信息技术有限公司 | 二维地图构建方法、装置、机器人定位系统和存储介质 |
CN110031825A (zh) * | 2019-04-17 | 2019-07-19 | 北京智行者科技有限公司 | 激光定位初始化方法 |
CN110031825B (zh) * | 2019-04-17 | 2021-03-16 | 北京智行者科技有限公司 | 激光定位初始化方法 |
CN110196686A (zh) * | 2019-04-26 | 2019-09-03 | 陈文仰 | 服务器的自动维护方法 |
CN110222761B (zh) * | 2019-05-31 | 2023-01-17 | 中国民航大学 | 基于数字地标地图的室内定位系统及室内定位方法 |
CN110222761A (zh) * | 2019-05-31 | 2019-09-10 | 中国民航大学 | 基于数字地标地图的室内定位系统及室内定位方法 |
CN110275540A (zh) * | 2019-07-01 | 2019-09-24 | 湖南海森格诺信息技术有限公司 | 用于扫地机器人的语义导航方法及其系统 |
CN112308904A (zh) * | 2019-07-29 | 2021-02-02 | 北京初速度科技有限公司 | 一种基于视觉的建图方法、装置及车载终端 |
CN110457414A (zh) * | 2019-07-30 | 2019-11-15 | Oppo广东移动通信有限公司 | 离线地图处理、虚拟对象显示方法、装置、介质和设备 |
CN110514198A (zh) * | 2019-08-28 | 2019-11-29 | 电子科技大学 | 一种基于计算机视觉技术的前后端架构地图定位方法 |
CN110806585A (zh) * | 2019-10-16 | 2020-02-18 | 北京理工华汇智能科技有限公司 | 一种基于树干聚类跟踪的机器人定位方法及系统 |
CN110806585B (zh) * | 2019-10-16 | 2021-10-19 | 北京理工华汇智能科技有限公司 | 一种基于树干聚类跟踪的机器人定位方法及系统 |
CN110928301A (zh) * | 2019-11-19 | 2020-03-27 | 北京小米智能科技有限公司 | 一种检测微小障碍的方法、装置及介质 |
US11810376B2 (en) | 2019-11-19 | 2023-11-07 | Beijing Xiaomi Intelligent Technology Co., Ltd. | Method, apparatus and storage medium for detecting small obstacles |
CN111638709A (zh) * | 2020-03-24 | 2020-09-08 | 上海黑眸智能科技有限责任公司 | 自动避障跟踪方法、系统、终端以及介质 |
CN113450439A (zh) * | 2020-03-26 | 2021-09-28 | 华为技术有限公司 | 一种虚实融合方法、设备及系统 |
CN112378397B (zh) * | 2020-11-02 | 2023-10-10 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
CN112378397A (zh) * | 2020-11-02 | 2021-02-19 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
CN113240755A (zh) * | 2021-07-12 | 2021-08-10 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
CN113240755B (zh) * | 2021-07-12 | 2021-09-21 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
CN113834492A (zh) * | 2021-09-22 | 2021-12-24 | 广州小鹏自动驾驶科技有限公司 | 地图匹配方法、系统、设备及可读存储介质 |
WO2023045271A1 (zh) * | 2021-09-24 | 2023-03-30 | 奥比中光科技集团股份有限公司 | 一种二维地图生成方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107741234B (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107741234A (zh) | 一种基于视觉的离线地图构建及定位方法 | |
Yang et al. | Cubeslam: Monocular 3-d object slam | |
CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
EP3451296B1 (en) | Multidimensional evidence grids and system and methods for applying same | |
CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
CN111914715B (zh) | 一种基于仿生视觉的智能车目标实时检测与定位方法 | |
CN112476434A (zh) | 一种基于协作机器人的视觉3d取放方法及系统 | |
CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
CN110361027A (zh) | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN112833892B (zh) | 一种基于轨迹对齐的语义建图方法 | |
CN110705385B (zh) | 一种障碍物角度的检测方法、装置、设备及介质 | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
Jiao et al. | 2-entity random sample consensus for robust visual localization: Framework, methods, and verifications | |
CN104166995B (zh) | 一种基于马步测度的Harris‑SIFT双目视觉定位方法 | |
Kim et al. | Automatic multiple LiDAR calibration based on the plane features of structured environments | |
Nie et al. | A survey of extrinsic parameters calibration techniques for autonomous devices | |
Xue et al. | Visual-marker based localization for flat-variation scene | |
CN111784798B (zh) | 地图生成方法、装置、电子设备和存储介质 | |
Mihalyi et al. | Uncertainty estimation of ar-marker poses for graph-slam optimization in 3d object model generation with rgbd data | |
Zhang et al. | Object depth measurement from monocular images based on feature segments | |
Qian et al. | An improved ORB-SLAM2 in dynamic scene with instance segmentation | |
Sun et al. | Indoor Li-DAR 3D mapping algorithm with semantic-based registration and optimization | |
Fujino et al. | Integrated Autonomous Navigation System and Automatic Large Scale Three Dimensional Map Construction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518100 Building 2A, 4 Floors, 2B, 4 Floors, Taihua Industries Park, Hangcheng Street Gushi Development Zone, Baoan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Yong Yida robot Co., Ltd. Address before: 518101, 4 floor, 2A building, Wu Tung Island, Shunchang Road, Baoan District, Shenzhen, Guangdong. Applicant before: Shenzhen Yong Yida robot Co., Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |