CN112629528A - 利用视觉相机实现四足机器人定位导航系统及其工作方法 - Google Patents

利用视觉相机实现四足机器人定位导航系统及其工作方法 Download PDF

Info

Publication number
CN112629528A
CN112629528A CN202011365211.7A CN202011365211A CN112629528A CN 112629528 A CN112629528 A CN 112629528A CN 202011365211 A CN202011365211 A CN 202011365211A CN 112629528 A CN112629528 A CN 112629528A
Authority
CN
China
Prior art keywords
upper computer
positioning
quadruped robot
navigation
vision camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011365211.7A
Other languages
English (en)
Inventor
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gazelle Yunzhi Technology Co ltd
Original Assignee
Beijing Gazelle Yunzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gazelle Yunzhi Technology Co ltd filed Critical Beijing Gazelle Yunzhi Technology Co ltd
Priority to CN202011365211.7A priority Critical patent/CN112629528A/zh
Publication of CN112629528A publication Critical patent/CN112629528A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了利用视觉相机实现四足机器人定位导航系统及其工作方法，该系统包括上位机、上位机控制单元、视觉相机、惯性传感器、GPU计算单元和移动电源本发明的有益效果在于，本发明的四足机器人定位导航系统使用上位机控制单元与云服务器进行交互，使得四足机器人能够接受不同的指令，执行不同的任务，提高了四足机器人应用的灵活性和指挥效率。能够批量部署，多任务定制，提高四足机器人的应用的经济价值；本发明的四足机器人定位导航系统使用了双目视觉相机，利用左右视图的视差构建三维点云地图。避免了光照的不利影响。双目视觉相机融合了IMU惯性传感器的数据，提高了四足机器人定位的精度，增加了其定位和导航的鲁棒性。

Description

利用视觉相机实现四足机器人定位导航系统及其工作方法
技术领域
本发明涉及机器人自动导航技术领域，尤其涉及利用视觉相机实现四足机器人定位导航系统及其工作方法。
背景技术
四足机器人相比AVG小车具有全地形的穿越能力，能够适应复杂崎岖的地形，具有灵活的运动适应性。但是由于缺乏低成本、高效的自主导航定位技术，局限了其进一步的应用和发展。目前多数采用激光雷达、领航员或者使用人工遥控控制其行走
目前，常见的激光导航的应用有扫地机器人，单线的激光导航可用于室内二维平面的定位和导航，不可用于三维物体的识别。其次，激光雷达容易受雨、雾、雪、粉尘、高低温、强光等因素的印象，其应用主要集中在室内的导航和定位。其三，由于激光雷达的波束极窄,在空间搜索目标非常困难,直接影响对非合作目标的截获概率和探测效率,只能在较小的范围内搜索，识别效率有限。其四，激光雷达技术形成的点云比较稀疏，信息量没有视觉传感器的丰富，限制了进一步利用场景信息的可能。多线激光雷达是较为成熟的导航技术，但是多线激光雷达费用高昂，通常高达数万元，而视觉传感器成本仅千元。另外激光雷达使用寿命短，一般工作一年就需更换，综合较高的使用成本导致了其短期内无法被广泛应用。
现有的用于AVG小车的视觉传感器，图像特征匹配计算的单元采用低性能的计算单元，图像处理速度慢，图像处理的精度低，极大的影响了路径规划的实时性。在四足机器人领域暂未见到双目视觉相机应用于定位和导航的案例。双目视觉相机获取的图像数据，需要凭借强大的计算能力，才能提高图像实时处理速度，从而提高路径规划能力。综合以上应用于四足机器人的计算单元应具备计算性能强大，体积小，重量轻，成本低的特点。
根据现有的文献专利资料，四足机器人多使用遥控手柄、VR手势或者跟踪特定目标进行遥控和指挥。上述四足机器人的导航方式自动化程度低，效率低，不具备成本和效率优势。不可用于四足机器人在生产实践中大批量的应用和部署。
发明内容
1.需要解决的技术问题
本发明的目的在于提供利用视觉相机实现四足机器人定位导航系统及其工作方法，解决现有技术无法实现喷嘴飞溅多角度清除的问题，实现喷嘴自助、高效的清除，借以提高产品的焊接质量和效率。
2.技术方案
为实现上述目的，本发明提供如下技术方案：利用视觉相机实现四足机器人定位导航系统，包括上位机、上位机控制单元、视觉相机、惯性传感器、GPU计算单元和移动电源；所述上位机控制单元与所述视觉相机、惯性传感器电性连接；所述GPU计算单元安装在所述上位机上；所述上位机与所述上位机控制单元通过无线通信方式连接；所述上位机控制单元、视觉相机、惯性传感器和移动电源安装在四足机器人上，且所述上位机控制单元经所述移动电源供电。
上述的四足机器人定位导航系统，其中，所述视觉相机为Zed双目视觉相机。
上述的四足机器人定位导航系统，其中，所述惯性传感器为IMU惯性传感器。
上述的四足机器人定位导航系统，其中，所述GPU计算单元为NVIDA Jetson系列GPU。
上述的四足机器人定位导航系统，其中，所述GPU计算单元基于SLEM技术实现地图的构建和定位。
本发明同时公开了一种利用视觉相机实现四足机器人定位导航系统的工作方法，包括如下步骤：
步骤1，所述上位机控制单元接收上位机的指令，启动四足机器人并明确行走任务的起点和终点，同时启动所述视觉相机和惯性传感器；
步骤2，所述视觉相机捕捉周边图像并获取图像中的特征点，经所述上位机控制单元传输至所述上位机，由GPU计算单元构建三维点地图；
步骤3，所述视觉相机实时采集周边图像与步骤2构建的三位点地图或已有的地图中的特征点对比，完成四足机器人的定位；
步骤4，根据步骤3采集的周边图像，通过所述GPU计算单元计算四足机器人与路径障碍之间的距离获取地图的可行区域，以此规划出行走路径；
步骤5，所述四足机器人根据上位机的指令行走；
步骤6，重复步骤4-5，直至四足机器人完成行走任务。
上述的四足机器人定位导航系统的工作方法，其中，所述步骤3中，如果环境光线较暗，所述上位机融合所述惯性传感器的数据，提高四足机器人定位的鲁棒性。
3.有益效果
综上所述，本发明的有益效果在于：
(1)本发明的四足机器人定位导航系统使用上位机控制单元与云服务器进行交互，使得四足机器人能够接受不同的指令，执行不同的任务，提高了四足机器人应用的灵活性和指挥效率。能够批量部署，多任务定制，提高四足机器人的应用的经济价值；
(2)本发明的四足机器人定位导航系统使用了双目视觉相机，利用左右视图的视差构建三维点云地图。避免了光照的不利影响。双目视觉相机融合了IMU惯性传感器的数据，提高了四足机器人定位的精度，增加了其定位和导航的鲁棒性。
(3)本发明的四足机器人定位导航系统相较于成熟的激光雷达定位和导航，双目视觉相机使用寿命长，硬件成本低。极大地降低了四足机器人定位和导航的成本，扩展了其应用的范围。
(4)本发明的四足机器人定位导航系统使用了高性能GPU计算单元，使得机器狗捕获的高频次的图像得到实时的处理，快速匹配到图像特征实现定位，提高了路径规划的速度，提高四足机器人行走速度的上限。
附图说明
图1为四足机器人定位导航系统的示意图；
图2为四足机器人定位导航系统工作方法的流程图。
图中，1-上位机；2-上位机控制单元；3-视觉相机；4-惯性传感器；5-GPU计算单元；6-移动电源。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见附图1及附图2所示，本发明提供如下技术方案：利用视觉相机实现四足机器人定位导航系统，包括上位机1、上位机控制单元2、视觉相机3、惯性传感器4、GPU计算单元5和移动电源6；所述上位机控制单元2与所述视觉相机3、惯性传感器4电性连接；所述GPU计算单元5安装在所述上位机1上；所述上位机1与所述上位机控制单元2通过无线通信方式连接；所述上位机控制单元2、视觉相机3、惯性传感器4和移动电源6安装在四足机器人上，且所述上位机控制单元2经所述移动电源6供电。
上述的四足机器人定位导航系统，其中，所述视觉相机3为Zed双目视觉相机。
上述的四足机器人定位导航系统，其中，所述惯性传感器4为IMU惯性传感器。
上述的四足机器人定位导航系统，其中，所述GPU计算单元5为NVIDA Jetson系列GPU。
上述的四足机器人定位导航系统，其中，所述GPU计算单元5基于SLEM技术实现地图的构建和定位。
本发明同时公开了一种利用视觉相机实现四足机器人定位导航系统的工作方法，包括如下步骤：
步骤1，所述上位机控制单元2接收上位机1的指令，启动四足机器人并明确行走任务的起点和终点，同时启动所述视觉相机3和惯性传感器4；
步骤2，所述视觉相机3捕捉周边图像并获取图像中的特征点，经所述上位机控制单元2传输至所述上位机1，由GPU计算单元5构建三维点地图；
步骤3，所述视觉相机3实时采集周边图像与步骤2构建的三位点地图或已有的地图中的特征点对比，完成四足机器人的定位；
步骤4，根据步骤3采集的周边图像，通过所述GPU计算单元5计算四足机器人与路径障碍之间的距离获取地图的可行区域，以此规划出行走路径；
步骤5，所述四足机器人根据上位机的指令行走；
步骤6，重复步骤4-5，直至四足机器人完成行走任务。
上述的四足机器人定位导航系统的工作方法，其中，所述步骤3中，如果环境光线较暗，所述上位机1融合所述惯性传感器4的数据，提高四足机器人定位的鲁棒性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.利用视觉相机实现四足机器人定位导航系统，其特征在于：包括上位机(1)、上位机控制单元(2)、视觉相机(3)、惯性传感器(4)、GPU计算单元(5)和移动电源(6)；所述上位机控制单元(2)与所述视觉相机(3)、惯性传感器(4)电性连接；所述GPU计算单元(5)安装在所述上位机(1)上；所述上位机(1)与所述上位机控制单元(2)通过无线通信方式连接；所述上位机控制单元(2)、视觉相机(3)、惯性传感器(4)和移动电源(6)安装在四足机器人上，且所述上位机控制单元(2)经所述移动电源(6)供电。
2.根据权利要求1所述的利用视觉相机实现四足机器人定位导航系统，其特征在于：所述视觉相机(3)为Zed双目视觉相机。
3.根据权利要求1所述的利用视觉相机实现四足机器人定位导航系统，其特征在于：所述惯性传感器(4)为IMU惯性传感器。
4.根据权利要求1所述的利用视觉相机实现四足机器人定位导航系统，其特征在于：所述GPU计算单元(5)为NVIDA Jetson系列GPU。
5.根据权利要求4所述的利用视觉相机实现四足机器人定位导航系统，其特征在于：所述GPU计算单元(5)基于SLEM技术实现地图的构建和定位。
6.一种利用权利要求1-5任意一项所述的利用视觉相机实现四足机器人定位导航系统的工作方法，其特征在于，包括如下步骤：
步骤1，所述上位机控制单元(2)接收上位机(1)的指令，启动四足机器人并明确行走任务的起点和终点，同时启动所述视觉相机(3)和惯性传感器(4)；
步骤2，所述视觉相机(3)捕捉周边图像并获取图像中的特征点，经所述上位机控制单元(2)传输至所述上位机(1)，由GPU计算单元(5)构建三维点地图；
步骤3，所述视觉相机(3)实时采集周边图像与步骤(2)构建的三位点地图或已有的地图中的特征点对比，完成四足机器人的定位；
步骤4，根据步骤3采集的周边图像，通过所述GPU计算单元(5)计算四足机器人与路径障碍之间的距离获取地图的可行区域，以此规划出行走路径；
步骤5，所述四足机器人根据上位机的指令行走；
步骤6，重复步骤4-5，直至四足机器人完成行走任务。
7.根据权利要求6所述的利用视觉相机实现四足机器人定位导航系统的工作方法，其特征在于，所述步骤3中，如果环境光线较暗，所述上位机(1)融合所述惯性传感器(4)的数据，提高四足机器人定位的鲁棒性。
CN202011365211.7A 2020-11-28 2020-11-28 利用视觉相机实现四足机器人定位导航系统及其工作方法 Pending CN112629528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011365211.7A CN112629528A (zh) 2020-11-28 2020-11-28 利用视觉相机实现四足机器人定位导航系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011365211.7A CN112629528A (zh) 2020-11-28 2020-11-28 利用视觉相机实现四足机器人定位导航系统及其工作方法

Publications (1)

Publication Number Publication Date
CN112629528A true CN112629528A (zh) 2021-04-09

Family

ID=75306751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011365211.7A Pending CN112629528A (zh) 2020-11-28 2020-11-28 利用视觉相机实现四足机器人定位导航系统及其工作方法

Country Status (1)

Country Link
CN (1) CN112629528A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
CN105629970A (zh) * 2014-11-03 2016-06-01 贵州亿丰升华科技机器人有限公司 一种基于超声波的机器人定位避障方法
CN205507540U (zh) * 2016-03-28 2016-08-24 山东国兴智能科技有限公司 一种带人脸识别和学习功能的智能巡逻机器人
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
CN108873908A (zh) * 2018-07-12 2018-11-23 重庆大学 基于视觉slam和网络地图结合的机器人城市导航系统
WO2019209878A1 (en) * 2018-04-23 2019-10-31 Purdue Research Foundation Robot navigation and robot-iot interactive task planning using augmented reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
CN105629970A (zh) * 2014-11-03 2016-06-01 贵州亿丰升华科技机器人有限公司 一种基于超声波的机器人定位避障方法
CN205507540U (zh) * 2016-03-28 2016-08-24 山东国兴智能科技有限公司 一种带人脸识别和学习功能的智能巡逻机器人
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
WO2019209878A1 (en) * 2018-04-23 2019-10-31 Purdue Research Foundation Robot navigation and robot-iot interactive task planning using augmented reality
CN108873908A (zh) * 2018-07-12 2018-11-23 重庆大学 基于视觉slam和网络地图结合的机器人城市导航系统

Similar Documents

Publication Publication Date Title
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN108764187B (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN107650908B (zh) 无人车环境感知系统
CN109708644B (zh) 移动机器人导航方法、装置和移动机器人
Wang et al. Pointloc: Deep pose regressor for lidar point cloud localization
CA2950791A1 (en) Binocular visual navigation system and method based on power robot
US20230057965A1 (en) Robot and control method therefor
Yin et al. Radar-on-lidar: metric radar localization on prior lidar maps
CN109528089A (zh) 一种被困清洁机器人的继续行走方法、装置及芯片
Zhang et al. Multiple vehicle-like target tracking based on the velodyne lidar
Lakas et al. A framework for a cooperative UAV-UGV system for path discovery and planning
WO2019232804A1 (zh) 软件更新方法、系统、移动机器人及服务器
CN108958267A (zh) 一种基于激光雷达的无人车避障方法
CN112904874A (zh) 一种面向无人艇的无人机自主降落控制方法
Sun et al. A review of visual SLAM based on unmanned systems
Bultmann et al. Real-time multi-modal semantic fusion on unmanned aerial vehicles
Eiffert et al. Resource and response aware path planning for long-term autonomy of ground robots in agriculture
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
CN112991440A (zh) 车辆的定位方法和装置、存储介质和电子装置
US11822331B2 (en) Three-dimensional environmental coverage oriented motion system and method
Chen et al. Dynamic visual servo control methods for continuous operation of a fruit harvesting robot working throughout an orchard
CN113536820B (zh) 位置识别方法、装置以及电子设备
CN112629528A (zh) 利用视觉相机实现四足机器人定位导航系统及其工作方法
CN116466712A (zh) 基于cml-avg激光雷达小车的自主巡航方法及系统
CN113821033B (zh) 一种无人车路径规划方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409