CN107860390A - 基于视觉ros系统的非完整机器人远程定点自导航方法 - Google Patents

基于视觉ros系统的非完整机器人远程定点自导航方法 Download PDF

Info

Publication number
CN107860390A
CN107860390A CN201711391727.7A CN201711391727A CN107860390A CN 107860390 A CN107860390 A CN 107860390A CN 201711391727 A CN201711391727 A CN 201711391727A CN 107860390 A CN107860390 A CN 107860390A
Authority
CN
China
Prior art keywords
auto
access control
pinpoints
control model
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711391727.7A
Other languages
English (en)
Inventor
陈华
王鹏远
朱校君
刘少国
杨柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201711391727.7A priority Critical patent/CN107860390A/zh
Publication of CN107860390A publication Critical patent/CN107860390A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉ROS系统的非完整机器人远程定点自导航方法，首先通过标定的Kinect摄像机采集RGB图像和深度图像以获取点云图像，采用SURF法提取每一帧图像的特征信息，并对相邻帧之间的特征进行匹配，结合深度图像估计相邻两帧之间的机器人的位姿变化并优化估计结果，创建周围环境的栅格地图，实现上位机与下位联机，对地图进行目的地的标记，实现机器人的远程定点自导航。本发明通过点云图像读取机器人的位姿信息，提高了位置精度，采用SURF法进行特征提取，使得提取速度和精度都能满足实时性的需要，对位姿变化进行了优化处理，提高了定位准确性，同时实现了机器人远程定点自导航的功能。

Description

基于视觉ROS系统的非完整机器人远程定点自导航方法
技术领域
本发明属于非完整机器人的视觉控制领域的一种基于视觉ROS系统的非完整机器人远程定点自导航方法。
背景技术
非完整机器人作为轮式移动机器人中一种最常见的机器人，在众多领域都得到广泛应用。目前，机器人的自主定位与导航是一个比较热门的研究方向，在设计过程中需要同时满足实时性和准确性，远程控制也显得更加重要。
如何准确的远程控制非完整机器人实现定点自动导航问题是当前计算机视觉领域中的一大问题，借助视觉实现机器人在指定地点的自动导航是一个有效的方法，但也是存在很多问题的一种方法。本发明提出了一种基于视觉ROS系统的非完整机器人远程定点自导航方法具有重要的理论价值和实际意义。
发明内容
本发明的目的在于，提出一种基于视觉ROS系统的非完整机器人远程定点自导航方法，实现机器人自主到达指定地点，解决机器人自主定位、自主导航、远程控制的技术问题。
本发明采用如下技术方案，基于视觉ROS系统的非完整机器人远程定点自导航方法，具体步骤如下：
(1)对Kinect摄像机的红外摄像头和RGB摄像头的内外参数进行标定和图像配准，通过标定的摄像机将采集到的RGB图像和深度图像生成点云图像，利用SURF方法对得到的每一帧点云图像数据进行特征提取；
(2)根据步骤(1)中得出的不同帧之间的特征，实现相邻帧之间的特征匹配；
(3)Kinect摄像机采集到的数据为3D-2D点对，基于Kinect摄像机所获取RGB图像和深度图像信息，采用P3P方法，即通过采集到的3D空间点和3D空间点的投影位置来确定机器人所在的位姿；
(4)对机器人的位姿估计进行优化处理；
(5)创建周围环境的栅格地图；
(6)将上位机与下位联机，对步骤(5)中所创建的地图进行目的地的标记，实现机器人的远程定点自导航。
优选地，在所述步骤(1)中的摄像机标定采用张定有标定方法，根据标定结果得到红外摄像头坐标系到RGB摄像头坐标系旋转矩阵和平移向量，根据旋转矩阵和平移向量对同时获得的深度图像和RGB图像进行处理生成点云数据，具有容易实现、算法简单、鲁棒性强、精度高等优点。
优选地，在所述步骤(1)中，利用开放式的自然交互框架Open NI，在linux环境下接收Kinect摄像机中传感器的信息。
优选地，其特征在于，在所述步骤(1)中，要提取的特征包括Gabor特征、几何特征和纹理特征，除此之外选取的特征还应具备以下特点：重复性，尽量把不同帧之间相同的物体或场景检测出来；显著性，特征的属性要丰富，便于匹配和区分；数量众多，检测到的数量需要足够丰富，才可以在绝大多数物体上都能检测到足够数量的特征；准确性，检测到的特征在形状和尺度上应当可以进行精确的定位；时效性，特征检测需要满足实时性要求，因此时间复杂度不能够太高。
优选地，几何特征包括角点和几何不变量。
优选地，纹理特征为LBP特征和HOG特征。
优选地，在所述步骤(2)中，使用跨平台计算机视觉库Open CV(Open SourceComputer Vision Library)库中的快速近似最近邻算法实现相邻帧之间的特征匹配，相较于暴力匹配算法，更适合匹配点数量较多的情况。
优选地，在所述步骤(3)中，使用P3P求解方法确定相邻两帧之间的机器人的位姿变化，包括机器人的旋转和平移信息。
优选地，在所述步骤(4)中，采用g2o方法对机器人的位姿估测进行优化处理，g2o是一个基于图优化，用来解决非线性最小二乘问题的一个开源C++框架。
优选地，在所述步骤(5)中，利用ROS系统中的Gmapping功能包，将激光传感器获得的数据作为参数输入，输出栅格地图。
优选地，在所述步骤(6)中，通过SSH协议，实现上位机与下位机的联机，使得两台电脑共享资源。
优选地，在所述步骤(6)中，利用ROS系统中的RVIZ功能包在创建的地图上标记目的地。
发明所达到的有益效果：本发明是一种基于视觉ROS系统的非完整机器人远程定点自导航方法，实现机器人自主到达指定地点，解决机器人自主定位、自主导航、远程控制的技术问题。通过深度图和RGB图所生成点云图像读取机器人的位姿信息，提高了位置精度，避免了单独使用一种图像带来的较大误差；采用SURF方法进行特征提取，使得提取速度和精度都能满足实时性的需要；对位姿变化进行了优化处理，减少了位姿估计产生的累计误差，提高了定位准确性；此外还通过上位机与下位机的联机,实现机器人远程定位自导航的功能。
附图说明
图1是机器人内部数据流向图；
图2是本发明的非完整机器人的控制原理图；
图3是本发明的黑塞矩阵Hessian的二阶混合偏导模板。
具体实施方式
下面根据附图并结合实施例对本发明的技术方案作进一步阐述。
图1是本发明的基于视觉ROS系统的非完整机器人远程定点自导航方法的内部数据流向图。双向箭头和单向箭头分别表示数据为双向流动和单向流动。其中远程计算机和上位机之间通过网络远程桌面控制来进行信息交互，上位机和下位机之间通过Socket通信进行信息交互。机器人的下位机用来计算出当前机器人的实际速度，并将速度数据传递给上位机。上位机根据Kinect摄像机中的传感器数据和接受的下位机数据决策出机器人运动速度，下位机根据决策出的速度，控制机器人产生相应的动作。
图2是本发明基于视觉ROS系统的非完整机器人远程定点自导航方法的流程图，具体步骤如下：
(1)对Kinect摄像机的红外摄像头和RGB摄像头的内外参数进行标定，根据标定获得的红外摄像头和RGB摄像头的外参数，可得红外摄像头坐标系到RGB摄像头坐标系旋转矩阵R和平移向量T，步骤如下：
设空间某点在RGB摄像头坐标系与深度摄像头坐标系下的坐标分别为Prgb和Pir，则有：
Prgb＝Rrgb×P+Trgb
Pir＝Rir×P+Tir
其中，Rrgb,Trgb,Rir,Tir是在两个摄像头分别对同一位姿的目标物求外参数，Rrgb和Trgb是RGB摄像头的外参数，Rir和Tir是红外摄像头的外参数。
设T和R分别为红外摄像头坐标系到RGB摄像头坐标系的平移向量和旋转矩阵，则有：
Prgb＝R×Pir+T
则根据上述三个公式，可得：
T＝Trgb-R×Tir
根据旋转矩阵R和平移向量T对同时获得的深度图像和RGB图像进行处理生成点云数据。利用SURF方法对得到的每一帧点云图像数据进行特征提取，具体步骤分为：
(a)构建黑塞矩阵Hessian，生成所有的兴趣点，用于特征的提取，黑塞矩阵Hessian矩阵中兴趣点的值可通过计算DxxDyy-(0.9Dxy)2可得，其中Dxx，Dyy，Dxy分别是图像中的像素点分别与图3中的二阶混合偏导模板做卷积运算的到，其中图3中前两个模板中白色区域像素值设定为1，黑色像素值为-2，灰色像素值为0，第三个模板中白色像素值为1，黑色像素值为-1，灰色像素值为0，且考虑到不损失模板像素信息与进一步的扩展，最小尺寸为9*9个像素点；
(b)构建尺度空间，即构造高斯金字塔，一般取金字塔层数为3-4层，图像尺寸不变，将模板的变长以3×(2octave×scale+1)的关系来扩展，使得其始终为奇数个，其中octave为定义的组数，一个组代表了逐步放大的模板对同一个输入图像进行计算后的一系列响应图像，共有scale个响应图像，scale为层数，最小尺寸为9*9个像素点；
(c)特征点定位，采用3D非极大值抑制法，即将经过黑塞矩阵Hessian处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行大小比较，26个点是由像素点周围，即像素点所在层内的8个点与相邻上下层的9个点组成，若像素点的响应值大于周围点的响应值，则初步确定为特征点，设定关键点响应值的阈值，去除小于阈值的特征点；
(d)特征点主方向分配，统计特征点在一个圆形邻域内的在水平和垂直方向上的haar小波特征响应值，以在特征点为圆心，统计扇形内所有点的水平方向和垂直方向的harr小波特征响应值总和，考虑到运算的速度与精度，选择60度的扇形区域，扇形以0.2弧度的间隔进行旋转并再次统计该区域内harr小波特征响应值的和，最后将和最大的扇形的方向作为特征点的主方向；
(e)生成特征点描述子，在构造SURF特征点描述算子时，在特征点周围取一个20*20个像素点的区域，区域方向是(d)中确立的特征点的主方向，将区域分为4*4个子区域，分别统计子区域中各像素点相对于主方向，在水平方向和垂直方向上的haar小波特征响应值之和，以及对应的绝对值之和，共4*4*4个数据。
(2)根据步骤(1)中得出的不同帧之间的特征，实现相邻帧之间的特征匹配；
(3)Kinect摄像机采集到的数据为3D-2D点对，基于Kinect摄像机所获取RGB图像和深度图像信息，采用P3P方法，通过已知的3D空间点和3D空间点的投影位置来确定机器人所在的位姿；
(4)对机器人的位姿估计进行优化处理；
(5)创建周围环境的栅格地图；
(6)将上位机与下位联机，对步骤(5)中所创建的地图进行目的地的标记，实现机器人的远程定点自导航。
需要说明的是，以上说明仅是本发明的优选实施方式，应当理解，对于本领域技术人员来说，在不脱离本发明技术构思的前提下还可以做出若干改变和改进，这些都包括在本发明的保护范围内。

Claims (12)

1.一种基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，包括以下步骤：
(1)对Kinect摄像机的红外摄像头和RGB摄像头的内外参数进行标定和图像配准，通过标定的摄像机将采集到的RGB图像和深度图像生成点云图像，利用SURF方法对得到的每一帧点云图像数据进行特征提取；
(2)根据步骤(1)中得出的不同帧之间的特征，实现相邻帧之间的特征匹配；
(3)Kinect摄像机采集到的数据为3D-2D点对，基于Kinect摄像机所获取RGB图像和深度图像信息，采用P3P方法，即通过采集到的3D空间点和3D空间点的投影位置来确定机器人所在的位姿；
(4)对机器人的位姿估计进行优化处理；
(5)创建周围环境的栅格地图；
(6)将上位机与下位联机，对步骤(5)中所创建的地图进行目的地的标记，实现机器人的远程定点自导航。
2.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(1)中的摄像机标定采用张定有标定方法，根据标定结果得到由红外摄像头坐标系到RGB摄像头坐标系的旋转矩阵和平移向量，基于旋转矩阵和平移向量对获得的深度图像和RGB图像进行处理生成点云数据。
3.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(1)中，利用开放式的自然交互框架Open NI，在linux环境下接收Kinect摄像机中传感器的信息。
4.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(1)中，要提取的特征包括Gabor特征、几何特征和纹理特征。
5.根据权利要求4所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，几何特征包括角点和几何不变量。
6.根据权利要求4所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，纹理特征为LBP特征和HOG特征。
7.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(2)中，使用跨平台计算机视觉库Open CV库中的快速近似最近邻算法实现相邻帧之间的特征匹配。
8.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(3)中，使用P3P求解方法确定相邻两帧之间的机器人的位姿变化，包括机器人的旋转和平移信息。
9.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(4)中，采用g2o方法对机器人的位姿估测进行优化处理。
10.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(5)中，利用ROS系统中的Gmapping功能包，将激光传感器获得的数据作为参数输入，输出栅格地图。
11.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(6)中，通过SSH协议，实现上位机与下位机的联机，使两台电脑共享资源。
12.根据权利要求1所述的基于视觉ROS系统的非完整机器人远程定点自导航方法，其特征在于，在所述步骤(6)中，利用ROS系统中的RVIZ功能包在创建的地图上标记目的地。
CN201711391727.7A 2017-12-21 2017-12-21 基于视觉ros系统的非完整机器人远程定点自导航方法 Pending CN107860390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711391727.7A CN107860390A (zh) 2017-12-21 2017-12-21 基于视觉ros系统的非完整机器人远程定点自导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711391727.7A CN107860390A (zh) 2017-12-21 2017-12-21 基于视觉ros系统的非完整机器人远程定点自导航方法

Publications (1)

Publication Number Publication Date
CN107860390A true CN107860390A (zh) 2018-03-30

Family

ID=61706714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711391727.7A Pending CN107860390A (zh) 2017-12-21 2017-12-21 基于视觉ros系统的非完整机器人远程定点自导航方法

Country Status (1)

Country Link
CN (1) CN107860390A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563224A (zh) * 2018-04-04 2018-09-21 河海大学常州校区 一种基于ros的餐饮机器人及其使用方法
CN108665541A (zh) * 2018-04-09 2018-10-16 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN108873911A (zh) * 2018-07-26 2018-11-23 河海大学常州校区 一种基于ros的自动跟随行李箱及其控制方法
CN110782506A (zh) * 2019-11-21 2020-02-11 大连理工大学 一种利用红外相机和深度相机融合构建栅格地图的方法
US20210041886A1 (en) * 2018-01-24 2021-02-11 Zhuineng Robotics (Shanghai) Co., Ltd. Multi-device visual navigation method and system in variable scene

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913489A (zh) * 2016-04-19 2016-08-31 东北大学 一种利用平面特征的室内三维场景重构方法
CN106127739A (zh) * 2016-06-16 2016-11-16 华东交通大学 一种结合单目视觉的rgb‑d slam方法
CN106403924A (zh) * 2016-08-24 2017-02-15 智能侠（北京）科技有限公司 基于深度摄像头的机器人快速定位与姿态估计方法
CN106908064A (zh) * 2017-01-22 2017-06-30 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN107097256A (zh) * 2017-04-21 2017-08-29 河海大学常州校区 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913489A (zh) * 2016-04-19 2016-08-31 东北大学 一种利用平面特征的室内三维场景重构方法
CN106127739A (zh) * 2016-06-16 2016-11-16 华东交通大学 一种结合单目视觉的rgb‑d slam方法
CN106403924A (zh) * 2016-08-24 2017-02-15 智能侠（北京）科技有限公司 基于深度摄像头的机器人快速定位与姿态估计方法
CN106908064A (zh) * 2017-01-22 2017-06-30 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN107097256A (zh) * 2017-04-21 2017-08-29 河海大学常州校区 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
奥凯恩M.杰森等: "《机器人操作系统浅析》", 30 September 2016, 国防工业出版社 *
彭真: "动态环境下基于视觉的自运动估计与环境建模方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
秦丽娟等: "《计算机单目视觉定位》", 30 April 2016, 国防工业出版社 *
陈超: "《导盲机器人定位与路径规划技术》", 31 December 2015, 国防工业出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210041886A1 (en) * 2018-01-24 2021-02-11 Zhuineng Robotics (Shanghai) Co., Ltd. Multi-device visual navigation method and system in variable scene
CN108563224A (zh) * 2018-04-04 2018-09-21 河海大学常州校区 一种基于ros的餐饮机器人及其使用方法
CN108665541A (zh) * 2018-04-09 2018-10-16 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN108665541B (zh) * 2018-04-09 2019-06-07 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
US11315264B2 (en) 2018-04-09 2022-04-26 Beijing Sankuai Online Technology Co., Ltd Laser sensor-based map generation
CN108873911A (zh) * 2018-07-26 2018-11-23 河海大学常州校区 一种基于ros的自动跟随行李箱及其控制方法
CN110782506A (zh) * 2019-11-21 2020-02-11 大连理工大学 一种利用红外相机和深度相机融合构建栅格地图的方法
CN110782506B (zh) * 2019-11-21 2021-04-20 大连理工大学 一种利用红外相机和深度相机融合构建栅格地图的方法

Similar Documents

Publication Publication Date Title
CN107860390A (zh) 基于视觉ros系统的非完整机器人远程定点自导航方法
CA2826534C (en) Backfilling points in a point cloud
Mueggler et al. Continuous-time trajectory estimation for event-based vision sensors
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
Gao et al. Robust RGB-D simultaneous localization and mapping using planar point features
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
CN108701376A (zh) 三维图像的基于识别的对象分割
Yue et al. Fast 3D modeling in complex environments using a single Kinect sensor
CN110503686A (zh) 基于深度学习的物体位姿估计方法及电子设备
JP2020512646A (ja) 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム
CN107843251A (zh) 移动机器人的位姿估计方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN111709988B (zh) 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN113066129A (zh) 基于动态环境下的目标检测的视觉定位与建图系统
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
CN114708309A (zh) 基于建筑平面图先验信息的视觉室内定位方法及系统
Zhou et al. Information-efficient 3-D visual SLAM for unstructured domains
Vokhmintsev et al. Simultaneous localization and mapping in unknown environment using dynamic matching of images and registration of point clouds
Huang et al. Fast initialization method for monocular slam based on indoor model
Jatoth et al. Performance comparison of Kalman filter and mean shift algorithm for object tracking
Zhang et al. Research on mobile robot target recognition and obstacle avoidance based on vision
Wang Autonomous mobile robot visual SLAM based on improved CNN method
Xu et al. 3D depth perception from single monocular images
Beleznai et al. Pose-aware object recognition on a mobile platform via learned geometric representations
Cazorla et al. An improvement of a SLAM RGB-D method with movement prediction derived from a study of visual features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330

RJ01 Rejection of invention patent application after publication