CN108180913A - 一种基于3d摄像头的二维码定位系统 - Google Patents

一种基于3d摄像头的二维码定位系统 Download PDF

Info

Publication number
CN108180913A
CN108180913A CN201810005934.2A CN201810005934A CN108180913A CN 108180913 A CN108180913 A CN 108180913A CN 201810005934 A CN201810005934 A CN 201810005934A CN 108180913 A CN108180913 A CN 108180913A
Authority
CN
China
Prior art keywords
cameras
quick response
response code
alignment system
label node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810005934.2A
Other languages
English (en)
Inventor
李明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yong Yida Robot Co Ltd
Original Assignee
Shenzhen Yong Yida Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yong Yida Robot Co Ltd filed Critical Shenzhen Yong Yida Robot Co Ltd
Priority to CN201810005934.2A priority Critical patent/CN108180913A/zh
Publication of CN108180913A publication Critical patent/CN108180913A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Abstract

本发明提供了一种基于3D摄像头的二维码定位系统，包括：3D摄像头、计算处理单元以及多个二维码标签节点；其中，所述3D摄像头中加载有经由地图构建生成的二维地图，各个二维码标签节点被依照所述二维地图布置在所述二维码定位系统的应用环境中；而且，所述3D摄像头布置在目标对象上；在所述二维码定位系统执行二维码定位操作时，3D摄像头拍摄二维码标签节点的图片，并且根据图片获取相对于该二维码标签节点的距离值，而且计算处理单元利用该距离值计算机器人相对二维码标签节点的位置坐标，随后将计算出的位置坐标转换到地图坐标系中。

Description

一种基于3D摄像头的二维码定位系统
技术领域
本发明涉及一种基于3D摄像头的二维码定位系统。
背景技术
当前，随着移动机器人技术的发展，越来越多的移动机器人产品进入消费品市场和商用市场。在商用市场领域，移动机器人主要用来导引、导购、讲解、介绍、迎宾、物品输送等。移动机器人作为一种移动平台，可移动性是其基本的功能。而移动机器人的定位功能则是移动机器人实现自主化的关键技术之一，移动机器人只有了解了自己在当前环境中所处的位置，才能决定下一步要去什么地方？和怎么样到达目的地？当前移动机器人的定位方法有很多中，诸如：WIFI定位、RFID定位、UWB定位、视觉定位、iBeacon定位、无线传感器定位、激光定位和超声波定位；这些方法各有各的有点，各有各的缺点；其中视觉定位和激光定位以其良好的部署特性而越来越受服务机器人企业的重视。本发明主要提出了一种二维码定位和RGBD SLAM的相结合的导航方法，解决视觉RGB-D SLAM定位失败之后，机器人无法获知自己位置，从而无法进行导航的问题，提高系统定位的鲁棒性。
中国专利申请CN106017477A提出了一种果园机器人的视觉导航系统，该专利申请采用一个CCD摄像头来检测道路的中线，确保果园机器人是沿着道路中心行走；然后采用一个USB摄像头来检测贴在路边的二维码识别牌，并确定机器人在果园中的位置信息，同时将位置信息映射成为下一步的行走命令。
中国专利申请CN102735235A公开了一种二维码的机器人定位方法。该方法是通过摄像头获二维码的图像，并计算出机器人的相对二维码的位置，然后再根据二维码的绝对位置，计算出机器人的实际位置。
RGB-D SLAM技术目前慢慢地应用于机器人定位导航中，由于及相对较低的成本，部署相对较容易，从而成为服务机器人定位导航的一种未来趋势，但是视觉定位和导航技术受目前技术发展的限制也具有一定局限性，比如其受周围环境特征影响非常大，受光照的影响非常大，计算量也相对比较大，实时性也需要硬件计算能力的支撑。在应用过程中，受环境的影响，应用视觉进行定位和导航的机器人有时候会定位不到自己的位置，从而导致无法进行导航。因此，视觉导航必须结合其他的定位方法来进行辅助进行到位，这样才能扬长避短。
发明内容
本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种将RGB-DSLAM与二维码定位结合起来为机器人提供更加鲁棒的定位导航方案的技术方案。
根据本发明，提供了一种基于3D摄像头的二维码定位系统，包括：3D摄像头、计算处理单元以及多个二维码标签节点；其中，所述3D摄像头中加载有经由地图构建生成的二维地图，各个二维码标签节点被依照所述二维地图布置在所述二维码定位系统的应用环境中；而且，所述3D摄像头布置在目标对象上；在所述二维码定位系统执行二维码定位操作时，3D摄像头拍摄二维码标签节点的图片，并且根据图片获取相对于该二维码标签节点的距离值，而且计算处理单元利用该距离值计算机器人相对二维码标签节点的位置坐标，随后将计算出的位置坐标转换到地图坐标系中。
优选地，所述基于3D摄像头的二维码定位系统还包括：RGB-D定位装置，并且所述二维码定位系统在RGB-D定位装置操作失败时执行二维码定位操作。
优选地，所述计算处理单元利用距离值计算：
z＝d/s
x＝(u-cx)·z/fx
y＝(v-cy)·z/fy
其中，d为距离值，s为缩放尺度，fx、fy、cx、cy为3D摄像头的内参矩阵，x、y、z表示机器人相对二维码标签节点的位置坐标。
优选地，3D摄像头根据RGB-D定位和导航算法生成二维地图。
优选地，所述目标对象是机器人。
优选地，所述3D摄像头是RealSense深度摄像头。
优选地，所述基于3D摄像头的二维码定位系统还包括：里程计和惯性测量单元；惯性测量单元用于提供目标对象的惯性测量数据，里程计用于提供目标对象的里程数据。
本发明提出了一种融合3D摄像头深度数据的二维码定位方法，可提高二维码定位的精度，其中将二维码定位的方法融合到RGB-D定位和导航方案中，使得当RGB-D定位失败时，可以调用二维码定位方法进行定位，则将在一定程度提高系统定位的成功率。
在本发明中将RGB-D定位和导航方法与二维码定位导航方法结合起来，可大大提高系统的定位成功率，使得机器人不会在特征缺失的环境中迷失自己。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1示意性地示出了根据本发明优选实施例的基于3D摄像头的二维码定位系统的系统框图。
需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。
图1示意性地示出了根据本发明优选实施例的基于3D摄像头的二维码定位系统的系统框图。
如图1所示，根据本发明优选实施例的基于3D摄像头的二维码定位系统包括：3D摄像头10、计算处理单元20以及多个二维码标签节点30。
3D摄像头10中加载有经由地图构建生成的二维地图，各个二维码标签节点30被依照所述二维地图布置在所述二维码定位系统的应用环境中。
而且，3D摄像头10布置在目标对象上；在所述二维码定位系统执行二维码定位操作时，3D摄像头10拍摄二维码标签节点30的图片，并且根据图片获取相对于该二维码标签节点30的距离值，而且计算处理单元20利用该距离值计算机器人相对二维码标签节点的位置坐标，随后将计算出的位置坐标转换到地图坐标系中。
具体地，例如，计算处理单元20利用该距离值计算：
z＝d/s
x＝(u-cx)·z/fx
y＝(v-cy)·z/fy
其中，d为距离值，s为缩放尺度，fx、fy、cx、cy为3D摄像头的内参矩阵，x、y、z表示机器人相对二维码标签节点的位置坐标。
优选地，3D摄像头10根据RGB-D定位和导航算法生成二维地图。
例如，所述目标对象是机器人。
优选地，所述3D摄像头10是RealSense深度摄像头。
具体地说，在应用环境中可以采用二维码辅助机器人进行定位和导航，将每张二维码图片成为标签节点。首先需要在应用环境中部署二维码标签节点，在目标应用环境的四面墙壁上贴上二维码标签节点，二维码标签节点不能太小(例如，可以是A4纸大小)，张贴二维码标签节点的个数不受限制。二维码标签节点的位置需要根据RGB-D定位和导航算法生成的二维地图来设置。在计算机器人与二维码标签节点之间的距离和角度时，即使用了二维码标签节点本身估算出来的距离值，也采用了3D摄像头的深度数据，融合两者的距离值可以提高距离计算的精度。
优选地，如图1所示，根据本发明优选实施例的基于3D摄像头的二维码定位系统还包括：里程计40和惯性测量单元50；惯性测量单元50用于提供目标对象的惯性测量数据，里程计40用于提供目标对象的里程数据。这样，通过在建图和定位的时候，加入了里程计和惯性测量单元(IMU，Inertial measurement unit)数据，提高建图的效率和精度，也会提高定位的精度。
优选地，根据本发明优选实施例的基于3D摄像头的二维码定位系统还包括：RGB-D定位装置，并且所述二维码定位系统在RGB-D定位装置操作失败时执行二维码定位操作。
由此，本发明的定位方法可以融合RGB-D定位方案和二维码定位方案。系统首先进行初始化，初始化包括加载地图、投影参数、keyframe等，加载的地图是二维地图。如果3D摄像头采集到的图片的质量可能不太如人意，则对RGB图和DEPTH图进行预处理，例如对采集到图像作平滑处理。系统可以首先调用RGB-D SLAM的定位方法进行定位，如果定位成功，则进行下一步的路径规划的任务；如果定位失败，则调用二维码定位方法进行定位，定位成功之后，则进行规划运动的轨迹，轨迹规划成功之后，则驱动底盘运动到目标位置。
在本发明中，优选地采用离线式的地图构建的方式，生成用于导航的二维地图；采用离线构图的方式，从而尽可能地提高图的精度。
本发明实现了机器人鲁棒的定位和导航方案，在RGB-D SLAM方案中加入二维码定位的方案。本发明中RGB-D SLAM方案是采用RealSense深度摄像头进行建图、定位和导航，同时融合IMU和里程计数据进行辅助定位。对于二维码定位的方法，采用深度相机来采集图像数据，并利用深度相机的深度数据，可以非常简单地计算出机器人在地图中的位置。同时由于采用的是具有深度数据的深度相机，这里计算机器人相对二维码的位置的方法也与现有的专利申请CN102735235A中的技术的不一样。当RGB-D SLAM方案定位出了机器人的位置，本发明利用其定位结果进行导航；当RGB-D SLAM方案定位失败时，调用二维码定位方法进行定位，利用其定位结果进行定位导航。
此外，需要说明的是，除非特别指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (7)

1.一种基于3D摄像头的二维码定位系统，其特征在于包括：3D摄像头、计算处理单元以及多个二维码标签节点；其中，所述3D摄像头中加载有经由地图构建生成的二维地图，各个二维码标签节点被依照所述二维地图布置在所述二维码定位系统的应用环境中；而且，所述3D摄像头布置在目标对象上；在所述二维码定位系统执行二维码定位操作时，3D摄像头拍摄二维码标签节点的图片，并且根据图片获取相对于该二维码标签节点的距离值，而且计算处理单元利用该距离值计算机器人相对二维码标签节点的位置坐标，随后将计算出的位置坐标转换到地图坐标系中。
2.根据权利要求1所述的基于3D摄像头的二维码定位系统，其特征在于还包括：RGB-D定位装置，并且所述二维码定位系统在RGB-D定位装置操作失败时执行二维码定位操作。
3.根据权利要求1或2所述的基于3D摄像头的二维码定位系统，其特征在于，所述计算处理单元利用距离值计算：
z＝d/s
x＝(u-cx)·z/f，
y＝(v-cy)·z/fy
其中，d为所述距离值，s为缩放尺度，fx、fy、cx、cy为3D摄像头的内参矩阵，x、y、z表示机器人相对二维码标签节点的位置坐标。
4.根据权利要求1或2所述的基于3D摄像头的二维码定位系统，其特征在于，3D摄像头根据RGB-D定位和导航算法生成二维地图。
5.根据权利要求1或2所述的基于3D摄像头的二维码定位系统，其特征在于，所述目标对象是机器人。
6.根据权利要求1或2所述的基于3D摄像头的二维码定位系统，其特征在于，所述3D摄像头是RealSense深度摄像头。
7.根据权利要求1或2所述的基于3D摄像头的二维码定位系统，其特征在于还包括：里程计和惯性测量单元；惯性测量单元用于提供目标对象的惯性测量数据，里程计用于提供目标对象的里程数据。
CN201810005934.2A 2018-01-03 2018-01-03 一种基于3d摄像头的二维码定位系统 Pending CN108180913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810005934.2A CN108180913A (zh) 2018-01-03 2018-01-03 一种基于3d摄像头的二维码定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810005934.2A CN108180913A (zh) 2018-01-03 2018-01-03 一种基于3d摄像头的二维码定位系统

Publications (1)

Publication Number Publication Date
CN108180913A true CN108180913A (zh) 2018-06-19

Family

ID=62549777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810005934.2A Pending CN108180913A (zh) 2018-01-03 2018-01-03 一种基于3d摄像头的二维码定位系统

Country Status (1)

Country Link
CN (1) CN108180913A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109655069A (zh) * 2019-02-03 2019-04-19 上海允登信息科技有限公司 一种数据中心机房机器人导航定位系统
CN111113415A (zh) * 2019-12-19 2020-05-08 上海点甜农业专业合作社 一种基于二维码路标、摄像头和陀螺仪的机器人定位方法
CN112556681A (zh) * 2019-09-10 2021-03-26 中国农业机械化科学研究院 一种基于视觉的果园机械导航定位方法
CN112734852A (zh) * 2021-03-31 2021-04-30 浙江欣奕华智能科技有限公司 一种机器人建图方法、装置及计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375509A (zh) * 2014-12-11 2015-02-25 山东大学 一种基于rfid和视觉的信息融合定位系统及方法
CN106197422A (zh) * 2016-06-27 2016-12-07 东南大学 一种基于二维标签的无人机定位及目标跟踪方法
CN106338991A (zh) * 2016-08-26 2017-01-18 南京理工大学 一种基于惯性导航和二维码的机器人及定位导航方法
US20170305546A1 (en) * 2014-04-29 2017-10-26 Baidu Online Network Technology (Beijing) Co., Ltd. Autonomous navigation method and system, and map modeling method and system
CN206724970U (zh) * 2017-03-29 2017-12-08 北京米文动力科技有限公司 一种室内机器人混合定位系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170305546A1 (en) * 2014-04-29 2017-10-26 Baidu Online Network Technology (Beijing) Co., Ltd. Autonomous navigation method and system, and map modeling method and system
CN104375509A (zh) * 2014-12-11 2015-02-25 山东大学 一种基于rfid和视觉的信息融合定位系统及方法
CN106197422A (zh) * 2016-06-27 2016-12-07 东南大学 一种基于二维标签的无人机定位及目标跟踪方法
CN106338991A (zh) * 2016-08-26 2017-01-18 南京理工大学 一种基于惯性导航和二维码的机器人及定位导航方法
CN206724970U (zh) * 2017-03-29 2017-12-08 北京米文动力科技有限公司 一种室内机器人混合定位系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109655069A (zh) * 2019-02-03 2019-04-19 上海允登信息科技有限公司 一种数据中心机房机器人导航定位系统
CN112556681A (zh) * 2019-09-10 2021-03-26 中国农业机械化科学研究院 一种基于视觉的果园机械导航定位方法
CN112556681B (zh) * 2019-09-10 2023-04-28 中国农业机械化科学研究院 一种基于视觉的果园机械导航定位方法
CN111113415A (zh) * 2019-12-19 2020-05-08 上海点甜农业专业合作社 一种基于二维码路标、摄像头和陀螺仪的机器人定位方法
CN112734852A (zh) * 2021-03-31 2021-04-30 浙江欣奕华智能科技有限公司 一种机器人建图方法、装置及计算设备

Similar Documents

Publication Publication Date Title
Yang et al. Cubeslam: Monocular 3-d object slam
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
US10059006B2 (en) Methods and systems for providing landmarks to facilitate robot localization and visual odometry
US8744169B2 (en) Voting strategy for visual ego-motion from stereo
Campbell et al. A robust visual odometry and precipice detection system using consumer-grade monocular vision
Burger et al. Estimating 3D egomotion from perspective image sequence
CN104299244B (zh) 基于单目相机的障碍物检测方法及装置
KR20200041355A (ko) 마커를 결합한 동시 위치결정과 지도작성 내비게이션 방법, 장치 및 시스템
JP5618569B2 (ja) 位置姿勢推定装置及びその方法
CN108180913A (zh) 一种基于3d摄像头的二维码定位系统
Yu et al. An autonomous restaurant service robot with high positioning accuracy
CN102419178A (zh) 基于红外路标的移动机器人定位系统和方法
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
CN108481327A (zh) 一种增强视觉的定位装置、定位方法及机器人
WO2021004483A1 (zh) 一种导航方法、移动载体及导航系统
US11151737B1 (en) Automatic field of view detection
Schmidt et al. The visual SLAM system for a hexapod robot
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
Novoselov et al. Development of the method local navigation of mobile robot a based on the tags with QR code and wireless sensor network
US20090226094A1 (en) Image correcting device and method, and computer program
Asada et al. Representing global world of a mobile robot with relational local maps
Song et al. Scale Estimation with Dual Quadrics for Monocular Object SLAM
Mair et al. Real-time image-based localization for hand-held 3d-modeling
Aladem et al. Evaluation of a Stereo Visual Odometry Algorithm for Passenger Vehicle Navigation
Tanveer et al. An ipm approach to multi-robot cooperative localization: Pepper humanoid and wheeled robots in a shared space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180619

RJ01 Rejection of invention patent application after publication