CN107097256B - 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法 - Google Patents

基于视觉非完整机器人在极坐标下的无模型目标跟踪方法 Download PDF

Info

Publication number
CN107097256B
CN107097256B CN201710266847.8A CN201710266847A CN107097256B CN 107097256 B CN107097256 B CN 107097256B CN 201710266847 A CN201710266847 A CN 201710266847A CN 107097256 B CN107097256 B CN 107097256B
Authority
CN
China
Prior art keywords
image
rgb
target
robot
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710266847.8A
Other languages
English (en)
Other versions
CN107097256A (zh
Inventor
陈华
陈晖�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201710266847.8A priority Critical patent/CN107097256B/zh
Publication of CN107097256A publication Critical patent/CN107097256A/zh
Application granted granted Critical
Publication of CN107097256B publication Critical patent/CN107097256B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的非完整机器人在极坐标下的无模型目标跟踪方法，非完整机器人通过RGB‑D摄像机实时采集机器人前方的视觉信息，利用RGB‑D摄像机可同时采集深度图像和RGB图像的特点，根据采集的RGB图像来判断目标物体的水平横向位移；根据采集的深度图像来判断目标物体的水平纵向位移。通过部分坐标的选取可以把不同坐标系中的RGB图像数据和深度数据映射到同一个极坐标中；根据极坐标设计跟踪算法，从而实现对目标物体的跟踪。本发明实现了非完整机器人的目标跟踪，充分利用了RGB‑D摄像机的特点，通过分别利用深度图和RGB图的优点得到精度更高的目标位置解决了单独使用一种图像跟踪的误差较大的问题。

Description

基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
技术领域
本发明属于非完整机器人的视觉控制领域，基于视觉的非完整机器人快速目标跟踪方法。
背景技术
非完整机器人作为轮式移动机器人中一种最常见的机器人，无论是在工业、农业、医疗服务还是城市安全、国防和太空探索等领域都得到广泛应用。它是一个集环境感知，运动规划，运动控制等多功能于一体的综合系统，包括了传感器技术、信息处理、计算机工程以及人工智能等多个学科的研究成果，是目前科学技术发展最活跃的领域之一。近年来，随着机器视觉的发展，机器人越来越朝着智能化，自主化的方向发展。
视觉跟踪问题是当前计算机视觉领域中的热点问题，所谓视觉跟踪是可靠性非常高的一种跟踪方式，同时也是存在很多问题的一种方法。本发明提出了一种快速跟踪技术具有重要的理论价值和实际意义。
发明内容
本发明的目的在于，提出一种基于视觉的非完整机器人在极坐标下的无模型/目标跟踪方法，实现机器人自主跟踪的目标，解决机器人自主识别目标、自主运动控制、自主定位的技术问题。
本发明采用如下技术方案：一种基于视觉的非完整机器人在极坐标下的目标跟踪方法，其特征在于，具体步骤如下：
(1)机器人通过摄像机获取环境信息图像并对RGB图像先进行高斯平滑滤波、图像灰度化处理，来提高处理速度，然后利用Sobel算子进行边缘检测，通过自适应二值化处理获得二值化图像，对二值化图像进行图像形态学处理，需要根据实际需要进行调整腐蚀和膨胀算子达到更优的效果，然后通过对连通区域进行判断，提取出目标区域。
(2)根据RGB图像中与深度图像的坐标关系，确定深度图像中的目标区域。
(3)当目标运动时，根据ICP(迭代最近点)算法计算出相邻两帧图像间的位移关系，两帧图获取间隔为t，得到目标的水平方向的位移x。同时根据深度图得出垂直方向的位移y。
(4)根据步骤(3)中得出的位移值，在极坐标系中建立机器人的目标间的坐标图。
(5)根据(4)中的机器人与目标间的关系得出机器人的线速度和角速度。
优选地，在所述步骤1中，提前根据目标特征选取检测方法。
优选地，在所述步骤2中，事先要对RGB-D摄像机的深度图和RGB图的坐标进行校准，使深度数据和RGB数据能对应起来。
优选地，所述机器人是360度范围的旋转。
优选地，在所述步骤3中，通过对相邻两帧图像提取尺度不变特征变换 (Scale-invariant feature transform，SIFT)关键点进行匹配，得出图像间的转移关系。通过PCL的ICP算法求解出位移x和y。
优选地，在所述步骤4中，以机器人中心为极坐标的原点得到目标的位置为 (ρ,θ)，其中x,y为所求出的位移量：
优选地，在所述步骤5中，机器人的线速度v和角速度ω分别为：
本发明所达到的有益效果：(1)本发明的一种基于视觉的非完整机器人在极坐标下的无模型目标跟踪方法，实现机器人自主跟踪的目标，解决机器人自主识别目标、自主运动控制、自主定位的技术问题。(2)本发明通过RGB-D 摄像机获取图像，并通过分别从RGB图像和深度图像中读取位移数据，提高了位置精度；(3)本发明的采用极坐标的建立机器人和跟踪目标的关系，提高跟踪速度；(4)本发明通过采用差动轮可以实现360度跟踪。
附图说明
图1是本发明的完整机器人的控制原理图。
图2是本发明的非完整机器人运动控制算法流程图。
具体实施方式
下面结合附图对本发明的实施案例作进一步描述。
本发明可以用于带有RGB-D摄像头的非完整机器人控制系统，包括图像获取、图像处理、坐标变换、机器人运动控制，如图1所示，为机器人的控制原理。图2为控制机器人跟踪目标的算法。
图1是本发明的本发明的一种基于视觉的非完整机器人在极坐标下的无模型目标跟踪方法的流程图。基于视觉跟踪流程的步骤如下：
(1)机器人通过摄像机获取环境信息图像并对RGB图像先进行高斯平滑滤波、图像灰度化处理，来提高处理速度，然后利用Sobel算子进行边缘检测，通过自适应二值化处理获得二值化图像，对二值化图像进行图像形态学处理，需要根据实际需要进行调整腐蚀和膨胀算子达到更优的效果，然后通过对连通区域进行判断，提取出目标区域。
(2)根据RGB图像中与深度图像的坐标关系，确定深度图像中的目标区域。
(3)当目标运动时，根据ICP(迭代最近点)算法计算(是PCL库中一种常规算法，根据特征点求解机器人的位姿变换)出相邻两帧图像间的位移关系，两帧图获取间隔为t，得到目标的水平方向的位移x。同时根据深度图得出垂直方向的位移值y。
(4)根据步骤(3)中得出的位移值，在极坐标系中建立机器人的目标间的坐标图。
(5).根据步骤(4)中的机器人与目标间的关系得出机器人的线速度和角速度。
本发明的通过上述实施例实现机器人自主跟踪的目标，解决机器人自主识别目标、自主运动控制、自主定位的技术问题，并通过RGB-D摄像机获取图像，并通过分别从RGB图像和深度图像中读取位移数据，提高了位置精度；此外采用极坐标的建立机器人和跟踪目标的关系，提高跟踪速度；且通过采用差动轮可以实现360度跟踪。
基于上述，本发明非完整机器人通过RGB-D摄像机实时采集机器人前方的视觉信息，利用RGB-D摄像机可同时采集深度图像和RGB图像的特点，根据采集的RGB图像来判断目标物体的水平横向位移；根据采集的深度图像来判断目标物体的水平纵向位移。通过部分坐标的选取可以把不同坐标系中的RGB图像数据和深度数据映射到同一个极坐标中；根据极坐标设计跟踪算法，从而实现对目标物体的跟踪。本发明实现了非完整机器人的目标跟踪，充分利用了 RGB-D摄像机的特点，通过分别利用深度图和RGB图的优点得到精度更高的目标位置解决了单独使用一种图像跟踪的误差较大的问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于视觉非完整机器人在极坐标下的无模型目标跟踪方法，其特征在于，具体步骤如下：
(1)机器人通过摄像机获取环境信息图像并对RGB图像先进行高斯平滑滤波、图像灰度化处理，然后利用Sobel算子进行边缘检测，通过自适应二值化处理获得二值化图像，对二值化图像进行图像形态学处理，之后通过对连通区域进行判断，根据颜色和形状特征提取出目标区域；
(2)根据RGB图像中与深度图像的坐标关系，确定深度图像中的目标区域；
(3)当目标运动时，根据迭代最近点算法计算出相邻两帧图像间的位移关系，设两帧图获取间隔为t，得到目标的水平方向的位移x，同时根据深度图像得出垂直方向的位移值y；
(4)根据步骤(3)中得出的位移值，在极坐标系中建立机器人与目标间的坐标图；
(5)根据步骤(4)中的机器人与目标间的关系得出机器人的线速度和角速度。
2.根据权利要求1所述的目标跟踪方法，其特征在于，在所述步骤(1)中的边缘检测是根据目标特征选取检测方法。
3.根据权利要求1所述的目标跟踪方法，其特征在于，在所述步骤(2)中，首先对RGB-D摄像机的深度图和RGB图的坐标进行校准，使深度数据和RGB数据相对应。
4.根据权利要求1所述的目标跟踪方法，其特征在于，在所述步骤(3)中，通过对相邻两帧图像提取SIFT关键点进行匹配，得出图像间的转移关系，通过PCL的迭代最近点算法求解出位移x和y。
5.根据权利要求1所述的目标跟踪方法，其特征在于，在所述步骤(4)中，以机器人中心为极坐标的原点得到目标的位置为(ρ,θ)，其中x,y为所求出的位移量：
6.根据权利要求5所述的目标跟踪方法，其特征在于，在所述步骤(5)中，机器人的线速度v和角速度ω分别为：
CN201710266847.8A 2017-04-21 2017-04-21 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法 Expired - Fee Related CN107097256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710266847.8A CN107097256B (zh) 2017-04-21 2017-04-21 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710266847.8A CN107097256B (zh) 2017-04-21 2017-04-21 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107097256A CN107097256A (zh) 2017-08-29
CN107097256B true CN107097256B (zh) 2019-05-10

Family

ID=59657074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710266847.8A Expired - Fee Related CN107097256B (zh) 2017-04-21 2017-04-21 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107097256B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107860390A (zh) * 2017-12-21 2018-03-30 河海大学常州校区 基于视觉ros系统的非完整机器人远程定点自导航方法
CN108594803B (zh) * 2018-03-06 2020-06-12 吉林大学 基于q-学习算法的路径规划方法
CN108717553B (zh) * 2018-05-18 2020-08-18 杭州艾米机器人有限公司 一种机器人跟随人体的方法及系统
CN109709810B (zh) * 2019-01-22 2022-03-15 天津大学 全方位移动机器人轨迹跟踪无模型自抗扰控制方法
CN109848990B (zh) * 2019-01-28 2022-01-11 南京理工大学 基于pso的膝关节外骨骼增益可变无模型角度控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
CN103559711B (zh) * 2013-11-05 2016-04-27 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法
US9639951B2 (en) * 2014-10-23 2017-05-02 Khalifa University of Science, Technology & Research Object detection and tracking using depth data
CN105425795B (zh) * 2015-11-26 2020-04-14 纳恩博（北京）科技有限公司 规划最优跟随路径的方法及装置
CN105955251A (zh) * 2016-03-11 2016-09-21 北京克路德人工智能科技有限公司 一种机器人的视觉跟随控制方法及机器人
CN106203361A (zh) * 2016-07-15 2016-12-07 苏州宾果智能科技有限公司 一种机器人跟踪方法和装置

Also Published As

Publication number Publication date
CN107097256A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107097256B (zh) 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN102646275B (zh) 通过跟踪和定位算法实现虚拟三维叠加的方法
Cai et al. Perspective-SIFT: An efficient tool for low-altitude remote sensing image registration
Romero-Ramire et al. Fractal Markers: a new approach for long-range marker pose estimation under occlusion
Li et al. 3D autonomous navigation line extraction for field roads based on binocular vision
Zhou et al. Vision-based pose estimation from points with unknown correspondences
Ferguson et al. A 2d-3d object detection system for updating building information models with mobile robots
Zhao et al. Improved vision-based algorithm for unmanned aerial vehicles autonomous landing
Zhao et al. Visual odometry-A review of approaches
Cai et al. Improving CNN-based planar object detection with geometric prior knowledge
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
Wu et al. Adaptive ORB feature detection with a variable extraction radius in RoI for complex illumination scenes
Chen et al. Extracting and matching lines of low-textured region in close-range navigation for tethered space robot
van de Wouw et al. Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences
Lee et al. Visual odometry for absolute position estimation using template matching on known environment
CN108058170A (zh) 一种视觉机器人数据采集处理系统
Fei et al. Robust visual tracking based on improved perceptual hashing for robot vision
Syahputra et al. 3D Indoor Mapping Based on Camera Visual Odometry Using Point Cloud
Song et al. Image Matching and Localization Based on Fusion of Handcrafted and Deep Features
Basit et al. Joint localization and target tracking with a monocular camera
Meng et al. Camera motion estimation algorithm for IoT devices based on optimized feature tracking method
Foresti A line segment based approach for 3D motion estimation and tracking of multiple objects
Wang et al. Work area monitoring in dynamic environments using multiple auto-aligning 3-D sensors
Shilin et al. Application of a Depth Camera for Constructing Complex Three-Dimensional Models in Multiple Scanning Complexes
Yu Localization for autonomous construction vehicles using monocular camera and AprilTag

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190510

CF01 Termination of patent right due to non-payment of annual fee