CN107830854A - 基于orb稀疏点云与二维码的视觉定位方法 - Google Patents
基于orb稀疏点云与二维码的视觉定位方法 Download PDFInfo
- Publication number
- CN107830854A CN107830854A CN201711075798.6A CN201711075798A CN107830854A CN 107830854 A CN107830854 A CN 107830854A CN 201711075798 A CN201711075798 A CN 201711075798A CN 107830854 A CN107830854 A CN 107830854A
- Authority
- CN
- China
- Prior art keywords
- quick response
- response code
- coordinate system
- pose
- orb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提出了基于RGBD模式下ORB SLAM稀疏点云地图与二维码定位相结合的定位系统。机器人通过单目视觉传感器观测二维码，来进行位姿的初始化。二维码在世界坐标系下的坐标已知，通过观测信息反算出机器人在世界坐标系下的位姿。RGB‑D视觉传感器捕获当前场景，运转SLAM系统，同时构建稀疏点云地图和自身的定位信息。通过相机在机器人坐标系中的位姿和机器人在世界坐标系中的位姿，建立世界坐标系与ORB SLAM构建稀疏点云地图之间的坐标系关系。机器人在稀疏点云地图中定位自身位姿，通过坐标系之间的关系得到机器人在世界坐标系下的位姿。
Description
技术领域
本方法中应用了ORB-SLAM和二维码识别及定位，涉及机器视觉和数字图像处理领域。
背景技术
随着科技的进步，机器人技术越来越成熟。搬运机器人的逐渐融入到我们的生活当中，广泛的应用于港口码头、仓库存储等环境，节约了成本，提高了工作效率。移动机器人的自定位是实现导航等搬运任务的关键。
随着计算机视觉技术的发展，视觉传感器逐渐被利用，与传统的传感器相比，视觉传感器能够提供更多的外界信息、应用范围更为广发、成本也相对低廉。
同时定位与建图技术是指机器人在未知的环境中行进，可以通过自身位姿来定位周围场景的位姿，构建场景地图。构建地图的过程中，通过之前构建地图来定位自身的位姿。传统的定位方法有结合了机器人视觉与RF技术，通过RF识别贴于天花板的ID，利用摄像头识别位置和方向从何捕获当前机器人的位姿；采用磁钉路标配合光栅尺检测确定机器人的当前位姿；采用基于激光的路标检测方法来求解机器人位姿；尽管这些方法定位方法具有较好的可靠性，满足一些特定环境或任务的要求，但他们分别存在不足之处。基于RF技术很难做到准确定位，磁钉光栅尺应用过程对场地的布局繁琐，激光路标法成本高且遇到遮挡容易位姿丢失，而且他们的重定位能力差。SLAM技术与这些方法相比较，具有应用场景广泛、应用成本低、应用场地不需要前期铺设等优点。
ARToolKit Plus Library提供的二维码识别技术非常稳定，对光照影响具有鲁棒性。位姿求解过程中利用RRP算法，在迭代误差方程时避免了局部最小值问题导致的出现错误解的问题。保证了二维码定位位姿的正确性，具有很高的应用性。
发明内容
本发明解决的技术问题是提供一种定位方法，能够在场景复杂的情况下进行AGV的自主定位。
为解决上述技术问题采用如下技术方案：本定位方法将ORB-SLAM系统与二维码定位相结合的方法。该方案分两个阶段——位姿初始化，稀疏点云定位阶段。在位姿初始化过程中，机器人通过单目识别二维码获得在世界坐标系中的位姿，建立世界坐标系与稀疏点云坐标系之间的联系。稀疏点云定位阶段，机器人通过RGB-D视觉传感器捕获当前场景，在运动的过程中建立空间稀疏点云地图，同时在构建的地图中定位、跟踪自身在地图坐标系下的位姿。当相机位姿丢失时，在稀疏点云地图中的寻找最大相似关键帧，通过3D-2D匹配点求解当前帧的位姿完成重定位功能；
这种方法具备了ORB-SLAM对场景要求低、重定位能力强、系统鲁棒性强等优点，同时引入了二位码定位技术建立坐标系之间的联系。后台进行世界坐标系下的路径规划，在将路径信息转换到稀疏点云坐标系实现自主导航，弥补了ORB-SLAM稀疏点云地图不能路径规划的缺陷。。
使用的是150mm*150mm的二维码，在二位码坐标系Z轴方向上进行了定位误差实验。识别范围10cm-430cm。10cm-100cm平均垂直距离误差为1cm，1m-2m平均垂直距离误差为1cm-7.5cm，2m-3m平均垂直距离误差为7.5cm-14.8cm。
附图说明
图1是ARToolKit Plus二维码
图2是二维码定位误差分析图
图3是稀疏点云定位测试距离12米的定位误差图
图4测试架构图
具体实施方式
以下结合实施例具体阐述本发明基于ORB稀疏点云与二维码的视觉定位方法，相对于激光定位具有成本低、适应性强的特点，通过特征布置及补光增设可适用于任何工况。
将单目相机罗技C920或深度相机Kinect 1.0(2)分别布置于试验车体(3)，识别布置于地面的二维码进行实验测试，首先进行相机内参及畸变系数的标定操作。
根据相机与机器人之间的安装参数，确定两个相机坐标系与机器人自身坐标系之间的关系。位姿初始化阶段，利用二维码标定机器人在世界坐标系下的坐标，间接建立稀疏点云坐标系与世界坐标系之间的联系。
二位码摆放的过程中，二维码所在平面垂直于世界坐标系的XOY平面，二维码坐标系下的Y轴与世界坐标系Z轴平行且方向相反，二维码坐标系Z轴垂直于二维码平面。通过人工示教法，标定二维码坐标系原点在世界坐标系下的位姿。
机器人在行进的过程中，通过机器人坐标系与相机坐标系之间的关系，将深度相机在稀疏点云坐标系下位姿转换到世界坐标系下，实时定位机器人在世界坐标系下的位姿。以激光三角测距法测量的定位信息为对比参考，测试距离12米，对本方法中稀疏点云定位效果进行了测试，其对比结果如图3所示。
Claims (7)
1.基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：利用RGB-D模式下ORB-SLAM系统构建稀疏点云地图，利用单目相机识别二维码获得定位信息，建立稀疏点云地图坐标系与世界坐标系之间的联系。
2.根据权利要求1所述的基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：深度相机采用Kinect 1.0，单目相机采用罗技C920，利用张正友标定法对其进行畸变参数及内参的标定，通过二维码定位信息，标定机器人在世界坐标系中的位姿。
3.根据权利要求2所述的基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：二维码选用的尺寸为ARToolKit Plus Library提供的二维码，大小尺寸为150mm*150mm，识别范围为10cm-430cm，二维码ID绑定了该二维码在世界坐标系下的位姿。
4.根据权利要求3所述的基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：通过人工示教的方法标定二维码在世界坐标系下坐标，从而间接建立稀疏点云坐标系与世界坐标系之间的联系，机器人在构建稀疏点云地图时，同时定位并跟踪自身位姿，最终获得机器人在世界坐标系下的位姿。
5.根据权利要求4所述的基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：在相机位姿跟踪的过程中，采用了匀速模型跟踪、关键帧模型跟踪、局部地图跟踪三种模式的跟踪，确保能够成功跟踪位姿，提高鲁棒性。
6.根据权利要求5所述的基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：在构建地图时为保证地图尺度的统一性，选择3D-2D的模型，采用EPnP算法进行相机位姿的求解。
7.根据权利要求6所述的基于ORB稀疏点云与二维码的视觉定位方法，其特征在于：EPnP算法在求解的过程中对噪声敏感，容易产生较大的误差，采用光束平差法进行位姿优化，提高ORB-SLAM定位精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711075798.6A CN107830854A (zh) | 2017-11-06 | 2017-11-06 | 基于orb稀疏点云与二维码的视觉定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711075798.6A CN107830854A (zh) | 2017-11-06 | 2017-11-06 | 基于orb稀疏点云与二维码的视觉定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107830854A true CN107830854A (zh) | 2018-03-23 |
Family
ID=61653804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711075798.6A Pending CN107830854A (zh) | 2017-11-06 | 2017-11-06 | 基于orb稀疏点云与二维码的视觉定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107830854A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108571971A (zh) * | 2018-05-17 | 2018-09-25 | 北京航空航天大学 | 一种agv视觉定位系统及方法 |
| CN108734654A (zh) * | 2018-05-28 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 绘图与定位方法、系统及计算机可读存储介质 |
| CN108827317A (zh) * | 2018-08-20 | 2018-11-16 | 重庆师范大学 | 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 |
| CN108875868A (zh) * | 2018-06-29 | 2018-11-23 | 北京艾瑞思机器人技术有限公司 | 移动机器人定位方法、装置和系统 |
| CN109029463A (zh) * | 2018-08-20 | 2018-12-18 | 重庆师范大学 | 面向车辆安全行驶的室内多平衡车自主导航与调度系统 |
| CN109540144A (zh) * | 2018-11-29 | 2019-03-29 | 北京久其软件股份有限公司 | 一种室内定位方法及装置 |
| CN109655069A (zh) * | 2019-02-03 | 2019-04-19 | 上海允登信息科技有限公司 | 一种数据中心机房机器人导航定位系统 |
| CN110411441A (zh) * | 2018-04-30 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 用于多模态映射和定位的系统和方法 |
| CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
| CN111083633A (zh) * | 2019-12-12 | 2020-04-28 | 华为技术有限公司 | 移动终端定位系统及其建立方法、移动终端的定位方法 |
| CN111553985A (zh) * | 2020-04-30 | 2020-08-18 | 四川大学 | 邻图配对式的欧式三维重建方法及装置 |
| CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
| CN111862200A (zh) * | 2020-06-30 | 2020-10-30 | 同济大学 | 一种煤棚内无人机定位方法 |
| CN111857114A (zh) * | 2019-04-17 | 2020-10-30 | 顺丰科技有限公司 | 一种机器人编队移动方法、系统、设备和存储介质 |
| CN112045655A (zh) * | 2020-08-14 | 2020-12-08 | 华中科技大学 | 用于大尺度多站点场景的移动机器人位姿测量方法及系统 |
| WO2021026850A1 (zh) * | 2019-08-09 | 2021-02-18 | 东莞市普灵思智能电子有限公司 | 一种基于二维码的导航定姿定位方法和系统 |
| CN117197246A (zh) * | 2023-11-07 | 2023-12-08 | 江苏云幕智造科技有限公司 | 一种基于三维点云与双目视觉的人形机器人位置确认方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106959691A (zh) * | 2017-03-24 | 2017-07-18 | 联想(北京)有限公司 | 可移动电子设备和即时定位与地图构建方法 |
-
2017
- 2017-11-06 CN CN201711075798.6A patent/CN107830854A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106959691A (zh) * | 2017-03-24 | 2017-07-18 | 联想(北京)有限公司 | 可移动电子设备和即时定位与地图构建方法 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110411441A (zh) * | 2018-04-30 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 用于多模态映射和定位的系统和方法 |
| CN110411441B (zh) * | 2018-04-30 | 2023-04-07 | 北京京东乾石科技有限公司 | 用于多模态映射和定位的系统和方法 |
| CN108571971B (zh) * | 2018-05-17 | 2021-03-09 | 北京航空航天大学 | 一种agv视觉定位系统及方法 |
| CN108571971A (zh) * | 2018-05-17 | 2018-09-25 | 北京航空航天大学 | 一种agv视觉定位系统及方法 |
| CN108734654A (zh) * | 2018-05-28 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 绘图与定位方法、系统及计算机可读存储介质 |
| CN108875868A (zh) * | 2018-06-29 | 2018-11-23 | 北京艾瑞思机器人技术有限公司 | 移动机器人定位方法、装置和系统 |
| CN108827317A (zh) * | 2018-08-20 | 2018-11-16 | 重庆师范大学 | 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 |
| CN109029463A (zh) * | 2018-08-20 | 2018-12-18 | 重庆师范大学 | 面向车辆安全行驶的室内多平衡车自主导航与调度系统 |
| CN108827317B (zh) * | 2018-08-20 | 2022-05-24 | 重庆金美汽车电子有限公司 | 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 |
| CN109029463B (zh) * | 2018-08-20 | 2021-08-24 | 重庆师范大学 | 面向车辆安全行驶的室内多平衡车自主导航与调度系统 |
| CN109540144A (zh) * | 2018-11-29 | 2019-03-29 | 北京久其软件股份有限公司 | 一种室内定位方法及装置 |
| CN109655069A (zh) * | 2019-02-03 | 2019-04-19 | 上海允登信息科技有限公司 | 一种数据中心机房机器人导航定位系统 |
| CN111857114A (zh) * | 2019-04-17 | 2020-10-30 | 顺丰科技有限公司 | 一种机器人编队移动方法、系统、设备和存储介质 |
| WO2021026850A1 (zh) * | 2019-08-09 | 2021-02-18 | 东莞市普灵思智能电子有限公司 | 一种基于二维码的导航定姿定位方法和系统 |
| CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
| CN111083633B (zh) * | 2019-12-12 | 2021-06-22 | 华为技术有限公司 | 移动终端定位系统及其建立方法、移动终端的定位方法 |
| CN111083633A (zh) * | 2019-12-12 | 2020-04-28 | 华为技术有限公司 | 移动终端定位系统及其建立方法、移动终端的定位方法 |
| CN111553985A (zh) * | 2020-04-30 | 2020-08-18 | 四川大学 | 邻图配对式的欧式三维重建方法及装置 |
| CN111862200A (zh) * | 2020-06-30 | 2020-10-30 | 同济大学 | 一种煤棚内无人机定位方法 |
| CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
| CN111862200B (zh) * | 2020-06-30 | 2023-04-28 | 同济大学 | 一种煤棚内无人机定位方法 |
| CN111707281B (zh) * | 2020-06-30 | 2023-05-30 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
| CN112045655A (zh) * | 2020-08-14 | 2020-12-08 | 华中科技大学 | 用于大尺度多站点场景的移动机器人位姿测量方法及系统 |
| CN117197246A (zh) * | 2023-11-07 | 2023-12-08 | 江苏云幕智造科技有限公司 | 一种基于三维点云与双目视觉的人形机器人位置确认方法 |
| CN117197246B (zh) * | 2023-11-07 | 2024-01-26 | 江苏云幕智造科技有限公司 | 一种基于三维点云与双目视觉的人形机器人位置确认方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107830854A (zh) | 基于orb稀疏点云与二维码的视觉定位方法 | |
| AU2012376428B2 (en) | Map data creation device, autonomous movement system and autonomous movement control device | |
| CN102419178B (zh) | 基于红外路标的移动机器人定位系统和方法 | |
| CN109087393A (zh) | 一种构建三维地图的方法 | |
| CN105547305A (zh) | 一种基于无线定位和激光地图匹配的位姿解算方法 | |
| CN105512646A (zh) | 一种数据处理方法、装置及终端 | |
| US11441900B2 (en) | Movable marking system, controlling method for movable marking apparatus, and computer readable recording medium | |
| CN110243375A (zh) | 一种同时构建二维地图和三维地图的方法 | |
| KR101272422B1 (ko) | 레이저 스캐너와 인공표식 매칭을 이용한 위치측정장치 및 방법 | |
| CN103900535B (zh) | 面向文物微小变化检测的相机四点重定位方法 | |
| Varelas et al. | An AR indoor positioning system based on anchors | |
| WO2005040721A1 (ja) | ３ｄ自動測量装置 | |
| Heißmeyer et al. | Indoor positioning of vehicles using an active optical infrastructure | |
| Wang et al. | UAV navigation in large-scale GPS-denied bridge environments using fiducial marker-corrected stereo visual-inertial localisation | |
| Wang et al. | Real-time omnidirectional visual SLAM with semi-dense mapping | |
| CN110081861B (zh) | 一种基于图像识别的激光快速测绘系统及测绘方法 | |
| CN103663149A (zh) | 一种起重机吊臂末端位置检测设备、方法、系统及起重机 | |
| Burdziakowski | Towards precise visual navigation and direct georeferencing for MAV using ORB-SLAM2 | |
| CN111536976A (zh) | 一种校园穿梭防控系统 | |
| CN110988795A (zh) | 融合wifi定位的无标记导航agv全局初定位方法 | |
| CN112229394B (zh) | 基于红外运动捕捉的煤矿井下移动设备定位定姿系统 | |
| CN109086843A (zh) | 一种基于二维码的移动机器人导航方法 | |
| Shao et al. | Slam for indoor parking: A comprehensive benchmark dataset and a tightly coupled semantic framework | |
| Pagliari et al. | Use of assisted photogrammetry for indoor and outdoor navigation purposes | |
| Iwaszczuk et al. | Evaluation of a mobile multi-sensor system for seamless outdoor and indoor mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 15 / F, block a, building 6, Shenzhen International Innovation Valley, Dashi Road, Nanshan District, Shenzhen City, Guangdong Province Applicant after: SHENZHEN JINGZHI MACHINE Co.,Ltd. Address before: 518000 Beek science and technology building, 9 research road, Nanshan District hi tech Development Zone, Guangdong, Shenzhen, 1101-B Applicant before: SHENZHEN JINGZHI MACHINE Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180323 |