CN108646759B - 基于立体视觉的智能可拆卸移动机器人系统及控制方法 - Google Patents

基于立体视觉的智能可拆卸移动机器人系统及控制方法 Download PDF

Info

Publication number
CN108646759B
CN108646759B CN201810744684.4A CN201810744684A CN108646759B CN 108646759 B CN108646759 B CN 108646759B CN 201810744684 A CN201810744684 A CN 201810744684A CN 108646759 B CN108646759 B CN 108646759B
Authority
CN
China
Prior art keywords
robot
binocular camera
target
personal computer
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810744684.4A
Other languages
English (en)
Other versions
CN108646759A (zh
Inventor
赵熙桐
程磊
彭锐
代雅婷
李婵
丁仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201810744684.4A priority Critical patent/CN108646759B/zh
Publication of CN108646759A publication Critical patent/CN108646759A/zh
Application granted granted Critical
Publication of CN108646759B publication Critical patent/CN108646759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于立体视觉的智能可拆卸移动机器人系统及控制方法，通过将立体视觉、交互式系统和运动控制系统结合起来实现移动机器人在陌生环境下，简便快速地了解环境，在人机交互的基础上实现各类功能，在运动控制的辅助下完成各项任务。相较于传统机器人，立体视觉与交互式系统结合能够弥补信息获取质量与数量的不足和信息传递的单向性问题，具有人机交互和环境理解等优势。本发明的可拆卸性解决一体化机器人只能工作在一种背景，实现一种智能化操作的问题。使用便利且成本小易于推广。

Description

基于立体视觉的智能可拆卸移动机器人系统及控制方法
技术领域
本发明属于机器人技术领域，涉及一种室内定位移动机器人系统及控制方法，具体涉及一种基于立体视觉的智能可拆卸移动机器人系统及控制方法。
背景技术
当前移动机器人在各行各业具有不同程度的应用，譬如：在工业方面的自动运输机器人；在安保方面的自动巡检机器人；在服务方面的餐厅服务机器人等。而在这些方面应用中都或多或少的存在一些不足，例如：运输机器人一般需要固定的轨道约束；巡检机器人对缺乏更优秀的判断能力；餐厅服务机器人智能化程度不足。并且大多数机器人基本只能在单一工作环境下实现单一目标，无法实现一机多用。
发明内容
为了节省成本实现一机多用，本发明提供了一种基于立体视觉的智能可拆卸移动机器人系统及方法，通过将立体视觉，交互式系统相结合实现移动机器人在陌生环境甚至是光线昏暗下，仍能简便快速地实现各类功能。
本发明的系统所采用的技术方案是：一种基于立体视觉的智能可拆卸移动机器人系统，其特征在于：包括全向移动平台、可开启的封装箱、第一双目相机固定位、触摸屏固定支架、触摸式显示屏、第二双目相机固定位、带扶手可拆卸置物筐；
所述全向移动平台上固定设置有主机、蓄电池、电机、驱动器；所述全向移动平台配置有全向轮，
所述蓄电池用于给所述主机及控制板供电，所述控制板发送脉冲信号控制所述驱动器，所述驱动器给出电压信号控制所述电机，所述电机的转动带动所述全向轮运动；
所述可开启的封装箱安装在所述全向移动平台上，用于封装所述主机及控制板、全向轮、电机、驱动器、蓄电池；
所述第一双目相机固定位设置所述可开启的封装箱外侧壁上，用于固定安装第一双目相机；所述第一双目相机通过个人计算机控制运动；
所述带扶手可拆卸置物筐可拆卸地安装在所述可开启的封装箱上；所述触摸屏固定支架固定安装在所述可拆卸置物筐前端，用于固定安装所述触摸式显示屏；所述触摸式显示屏通过导线与所述主机连接；所述第二双目相机固定位固定安装在所述可拆卸置物筐上，用于固定安装第二双目相机；所述第二双目相机通过导线与所述主机连接，用于实现立体视觉SLAM功能和对视野范围内指定目标进行定位与跟踪的功能。
本发明的方法所采用的技术方案是：一种基于立体视觉的智能可拆卸移动机器人系统控制方法，其特征在于，包括以下步骤：
步骤1：在主机和个人计算机中安装ROS系统；
步骤2：基于双目的视觉SLAM；
步骤3：双目相机指定目标跟踪；
步骤4：双目相机动态避障；
步骤5：利用ROS的分布式计算特点实现人机交互；
步骤6：通过个人计算机或者触摸式显示屏实现运动控制。
本发明相比现有技术，其优点和积极效果主要体现在以下几个方面：
1)系统集成度高、升级空间大。利用ROS分布式计算系统将机器人系统资源的利用率最大化，将我们要实现的各类功能封装为一个个功能包，通过发布与订阅消息实现各种功能的运作，集成性强。未来添加新功能时，只需添加传感器和对应功能包，升级空间大。
2)多视觉功能。本系统的核心部分为立体视觉系统，主要有双目视觉SLAM，对餐厅环境进行理解和构建导航地图；选定目标定位和跟踪，可以使得机器人对选定好的目标，譬如：用餐客户、餐厅服务人员等进行定位和跟随；动态障碍物的避障，机器人在运动过程中检测到前方出现障碍物会停止，直到障碍物离开视野范围后继续运动。
3)人机交互功能。本系统重要组成部分为人机交互系统，主要是用户能够远程共享机器人视觉图像信息，可以根据实际情况使用主机键盘或者主机语音接口远距离发送运动控制指令，也可以远程控制机器人发出语音消息，从而实现人机交互。
附图说明
图1本发明实施例的方法原理图；
图2本发明实施例的双目视觉SLAM流程图；
图3本发明实施例的双目相机运动目标跟踪与定位流程图；
图4本发明实施例的双目相机动态避障流程图；
图5本发明实施例的人机交互系统流程图；
图6本发明实施例的语音交互流程图；
图7本发明实施例的个人计算机或触摸式显示屏控制流程图；
图8本发明实施例的运动控制系统流程图；
图9全向移动平台内部运动控制系统；
图10本发明实施例的运动控制系统实验图；
图11本发明实施例的基于立体视觉的智能可拆卸移动机器人结构示意图；
图12本发明实施例的全向移动平台内部结构。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图10、11，本发明提供的一种一种基于立体视觉的智能可拆卸移动机器人系统，包括全向移动平台1、可开启的封装箱2、第一双目相机固定位4、触摸屏固定支架5、触摸式显示屏6、第二双目相机固定位7、带扶手可拆卸置物筐8；全向移动平台1上固定设置有主机、蓄电池106、电机104、驱动器105；全向移动平台1配置有全向轮103，蓄电池106用于给主机及控制板101供电，控制板发送脉冲信号控制驱动器105，驱动器105给出电压信号控制电机104，电机104的转动带动全向轮103运动；可开启的封装箱2安装在全向移动平台1上，用于封装主机及控制板101、全向轮103、电机104、驱动器105、蓄电池106。
本实施例的一种工作状态是：
系统配置有第一双目相机固定位4，第一双目相机固定位4设置可开启的封装箱2外侧壁上，用于固定安装第一双目相机；第一双目相机通过个人计算机控制，用于实现立体视觉SLAM功能和对视野范围内指定目标进行定位与跟踪的功能。
本实施例的另一种工作状态是：
系统配置触摸屏固定支架5、触摸式显示屏6、第二双目相机固定位7、带扶手可拆卸置物筐8；带扶手可拆卸置物筐8可拆卸地安装在可开启的封装箱2上；触摸屏固定支架5固定安装在可拆卸置物筐8前端，用于固定安装触摸式显示屏6；触摸式显示屏6通过导线与主机连接；第二双目相机固定位7固定安装在可拆卸置物筐8上，用于固定安装第二双目相机；第二双目相机通过导线与主机连接，用于实现立体视觉SLAM功能和对视野范围内指定目标进行定位与跟踪的功能。触摸屏固定支架5上配置有安全扣；触摸式显示屏6、第二双目相机均通过USB线接口3、USB线102与主机连接。
本实施例在不需要置物筐和触摸屏时，将带扶手可拆卸置物筐8等拆卸下来，可以将原位置的双目相机拆下来，固定在第一双目相机固定位4，通过个人计算机控制运动。
本实施例的可开启的封装箱2，在电池电量不足或系统出现故障时，打开封装箱进行充电或者检修工作。
请见图1，本发明提供的一种基于立体视觉的智能可拆卸移动机器人系统控制方法，包括以下步骤：
步骤1：在主机和个人计算机中安装ROS系统；
本实施例是在ROS操作系统下执行的，按照功能不同分为立体视觉系统，人机交互系统，运动控制系统；具体实现包括以下子步骤：
步骤1.1：搭建立体视觉系统；
步骤1.2：搭建人机交互系统；
步骤1.3：搭建运动控制系统；
通过个人计算机或者触摸式显示屏，使机器人系统启动后，通过个人计算机或者触摸式显示屏，操作机器人实现立体视觉系统，人机交互系统，运动控制系统。并且这几个系统都是相对独立的，可以同时进行也可以分别进行。
步骤2：基于双目的视觉SLAM；
请见图2是双目视觉SLAM流程图，具体包括以下步骤：
步骤2.1：Matlab标定工具箱离线双目相机标定，用于调整双目相机参数，使双目相机成像效果达到最佳；
步骤2.2：利用ORB特征进行双目相机自身位置定位，也就是视觉里程计，然后根据视觉里程计数据，加入非线性滤波算法进行数据优化后，利用这些数据完成环境地图构建；
步骤2.3：加入回环检测，保持地图的全局一致性，剔除不合理的地图点，完成图优化；
步骤2.4：双目SLAM测试实验；令双目视觉机器人在室内行走一圈，进行测试。
步骤3：双目相机指定目标跟踪；
请见图3，是双目相机运动目标跟踪与定位流程图，具体包括以下步骤：
步骤3.1：用触摸屏或者个人计算机选定目标区域；
步骤3.2：通过KCF算法对目标进行实时跟踪，解决目标丢失的问题，利用跟踪到的目标区域计算出目标中心点的图像坐标；
步骤3.3：根据双目视觉测距原理获取目标在世界坐标系中的三维坐标，实现对运动目标的定位；
步骤3.4：双目定位跟踪实验测试；选取一个水杯为目标进行跟踪；
在双目相机操作界面标记后，开始跟踪其运动轨迹；
KCF(Kernerlized Correlation Filter)算法由于具备良好的跟踪效果，相比Struck算法、TLD算法以及CT算法，KCF算法的跟踪速度和准确率更高，因此，将KCF目标跟踪算法与双目视觉测距算法相结合，通过KCF目标跟踪算法跟踪到目标后，获取目标中心点的图像坐标，进而根据双目视觉测距算法获取目标在环境中的三维坐标，实现对运动目标的跟踪与定位；
步骤4：双目相机动态避障；
请见图4为双目相机动态避障流程图，具体包括以下步骤：
步骤4：双目相机动态避障；
步骤4.1：双目相机获取图像；
步骤4.2：利用BM算法对图像中全部区域的深度信息进行计算；
步骤4.3：在兴趣点的深度信息小于设定阈值时，便认为有障碍物出现，上位机立即发送零速信号是机器人停止运动；
步骤4.4：选取一个水杯为目标进行跟踪；
步骤4.5：直至深度信息大于设定阈值后恢复运动；
双目相机动态避障主要是利用双目立体匹配算法，对图像中全部区域的深度信息进行计算，在兴趣点的深度信息小于设定阈值时，便认为有障碍物出现，上位机立即发送零速信号是机器人停止运动，直至深度信息大于设定阈值后恢复运动。常见的双目立体匹配算法主要是BM算法、SGBM算法和GC算法这三种，三者精度依次提高，但是运行时间依次增加，鉴于障碍物是动态的，因而为了保证避障的及时性，本实施例选择BM算法，牺牲一定的匹配精度而提高匹配速度，然后在现有的BM算法基础上进行改进，使其变为对固定区域的多个兴趣点均值搜索匹配，进一步提高了匹配精度和速度。
步骤5：利用ROS的分布式计算特点实现人机交互；
请见图5，为人机交互系统流程图，图6为语音交互流程图，图7为个人计算机或触摸式显示屏控制流程图。
在ROS系统中，个人计算机与上位机(可以将触摸式显示屏与主机看做上位机便于理解以及描述)之间通过共同Master节点链接实现通信交互、语音交互、键盘或触摸屏控制交互；
具体包括以下步骤：
步骤5.1：将个人计算机与移动机器人设置在同一个局域网内；
步骤5.2：通信交互；使用已编写好的控制节点进行通信；
步骤5.3：语音交互；用户发出语音信息；
步骤5.3.1：百度在线语音识别库识别；
步骤5.3.2：语音信息通过转换节点转换为底盘控制信号控制机器人运动；
步骤5.3.3：当机器人遇到障碍物，如上述步骤4所述，机器人自动停止，进行语音播报，提醒行人避让。
步骤5.4：个人计算机或触摸式显示屏控制交互；用户打开个人计算机或触摸式显示屏，输入指令；
步骤5.4.1：按键信号通过节点转换为底盘控制信号；
步骤5.4.2：控制信号控制机器人运动；
步骤5.5：测试通信系统的实时性和连通性，两台主机(两台主机具体指个人计算机与全向移动平台内置主机)互相ping对方的IP地址，来检验通信效果；
步骤5.6：测试语音交互，在ROS操作系统中加入语音包，通过编写代码调用语音识别关键字，如前进，后退，左转，右转，停止，通过语音命令机器人运动；
步骤5.7：测试个人计算机或触摸式显示屏控制交互，通过个人计算机或触摸式显示屏控制机器人运动，shift+w前进，shift+s后退，shift+q左转，shift+e右转，shift+a左平移，shift+d右平移，w加速，s减速，任意键停止；
在图5中粗线箭头表示发布信息，细线箭头表示接收信息。可见用户和机器人既可以是信息的发布者，也可以是信息的接收者，实现了信息交互，人机交互。
步骤6：通过个人计算机或者触摸式显示屏6实现运动控制。
请见图8，是运动控制系统流程图，图9是全向移动平台内部运动控制系统，图10是运动控制系统实验图；
步骤6.1：系统初始化；
步骤6.2：获取角度信息；
步骤6.3：获取X、Y轴速度和计算时间间隔；
步骤6.4：获取系统时间计算时间间隔；
步骤6.5：计算X、Y轴位移，确定机器人位置；
步骤6.5：获取系统时间；
步骤6.6：全向移动平台内部工作步骤；
步骤6.6.1：主机及控制板与蓄电池连接，需要蓄电池供电；
步骤6.6.2：控制板发送脉冲信号控制驱动器；
步骤6.6.3：驱动器给出电压信号控制电机；
步骤6.6.4：电机的转动带动全向轮运动；
步骤6.7：运动控制系统实验测试；给机器人两个目标点，分别进行折线和直线测试，测试效果合理；
机器人的运动是通过主控板控制驱动器，驱动器驱动电机的方式。其中电机驱动器采用的是robomodule驱动器，采用PPM通信方式控制驱动器。驱动器有电流模式、速度模式、位置模式等多种模式。本实施例选用的是速度模式，驱动器的速度环采用的是PID控制器，PID参数已经调节好了。所以在速度模式下，只需调节位置环的控制器的参数，位置环控制器输出速度环的参考量。位置环的反馈量并不是直接通过编码器直接获取，而是通过四个驱动器反馈回的电机速度，然后对速度进行积分得到位置信息。但是不是简单的通过对四个电机速度进行积分运算得到位置信息，因为机器人是全向运动，不是单向运动，简单的积分只能得到一个位置标量，是没有方向的，不能代表机器人的位置矢量。要想确定机器人的位置矢量信息，必须融合姿态信息。因为机器人的运动是通过X、Y轴和旋转三部分分别控制，再合成到四个麦轮上的控制方式。所以机器人位置矢量的求解也可以通过这三个部分分别计算的位置矢量的合成而来，也就是分别对机器人的X、Y轴和旋转三个方向分别对速度进行积分得到三个方向的位置矢量，最后将这三个位置矢量进行合成得到最终机器人的位置矢量信息。
本发明区别于传统一体智能移动机器人，立体视觉，人机交互式，运动控制系统依据不同背景环境，用户需求可以根据不同硬件搭配达到不同效果。只需要在ROS操作系统中录入本文中所提到的立体视觉系统(步骤2、3、4结合)，人机交互系统，运动控制系统，然后封装好配置相应的硬件。当机器人启动后，用户通过触屏显示器，或者个人计算机给出终点坐标，可以操作机器人导航，定位，跟随目标移动，运输货物。
相比传统的机器人，可拆卸式机器人实现了一机多用，立体视觉，交互式系统结合能够弥补信息获取的质量与数量的不足和机器人控制的单向性缺陷，具有理解环境以及人机互补等优势。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于立体视觉的智能可拆卸移动机器人系统控制方法，采用基于立体视觉的智能可拆卸移动机器人系统；
其特征在于：所述系统包括全向移动平台（1）、可开启的封装箱（2）；
所述全向移动平台（1）内固定设置有主机及控制板（101）、蓄电池（106）、电机（104）、驱动器（105）；所述全向移动平台（1）配置有全向轮（103），
所述蓄电池（106）用于给所述主机及控制板（101）供电，所述控制板发送脉冲信号控制所述驱动器（105），所述驱动器（105）给出电压信号控制所述电机（104），所述电机（104）的转动带动所述全向轮（103）运动；
所述可开启的封装箱（2）安装在所述全向移动平台（1）上，用于封装所述主机及控制板（101）、全向轮（103）、电机（104）、驱动器（105）、蓄电池（106）；
所述系统还配置有第一双目相机固定位（4），所述第一双目相机固定位（4）设置所述可开启的封装箱（2）外侧壁上，用于固定安装第一双目相机；所述第一双目相机通过个人计算机控制，用于实现立体视觉SLAM功能和对视野范围内指定目标进行定位与跟踪的功能；
所述系统还配置触摸屏固定支架（5）、触摸式显示屏（6）、第二双目相机固定位（7）、带扶手可拆卸置物筐（8）；
所述带扶手可拆卸置物筐（8）可拆卸地安装在所述可开启的封装箱（2）上；所述触摸屏固定支架（5）固定安装在所述可拆卸置物筐（8）前端，用于固定安装所述触摸式显示屏（6）；所述触摸式显示屏（6）通过导线与所述主机（101）连接；所述第二双目相机固定位（7）固定安装在所述可拆卸置物筐（8）上，用于固定安装第二双目相机；所述第二双目相机通过导线与所述主机（101）连接，用于实现立体视觉SLAM功能和对视野范围内指定目标进行定位与跟踪的功能；
所述触摸屏固定支架（5）上配置有安全扣；所述触摸式显示屏（6）、第二双目相机均通过USB线接口（3）、USB线（102）与所述主机连接；
所述方法包括以下步骤：
步骤1：在主机和个人计算机中安装ROS系统；
步骤2：基于双目的视觉SLAM；
步骤2的具体实现包括以下子步骤：
步骤2.1：Matlab标定工具箱离线双目相机标定，用于调整双目相机参数，使双目相机成像效果达到最佳；
步骤2.2：利用ORB特征进行双目相机自身位置定位，即视觉里程计，然后根据视觉里程计数据，加入非线性滤波算法进行数据优化后，利用这些数据完成环境地图构建；
步骤2.3：加入回环检测，保持地图的全局一致性，剔除不合理的地图点，完成地图优化；
步骤2.4：双目SLAM测试；
控制机器人在室内行走一圈，进行测试；
步骤3：双目相机指定目标跟踪；
步骤3的具体实现包括以下子步骤：
步骤3.1：用触摸式显示屏（6）或者个人计算机选定目标区域；
步骤3.2：通过KCF算法对目标进行实时跟踪，解决目标丢失的问题，利用跟踪到的目标区域计算出目标中心点的图像坐标；
步骤3.3：根据双目视觉测距原理获取目标在世界坐标系中的三维坐标，实现对运动目标的定位；
步骤3.4：双目定位跟踪实验测试；
选取一个预定目标进行跟踪，在双目相机操作界面标记后，开始跟踪其运动轨迹；
步骤4：双目相机动态避障；
步骤5：利用ROS的分布式计算特点实现人机交互；
步骤6：通过个人计算机或者触摸式显示屏（6）实现运动控制。
2.根据权利要求1所述的方法，其特征在于，步骤4的具体实现包括以下子步骤：
步骤4.1：双目相机获取图像；
步骤4.2：利用BM算法对图像中全部区域的深度信息进行计算；
步骤4.3：在兴趣点的深度信息小于设定阈值时，便认为有障碍物出现，上位机立即发送零速信号是机器人停止运动；
步骤4.4：直至深度信息大于设定阈值后恢复运动。
3.根据权利要求1所述的方法，其特征在于，步骤5的具体实现包括以下子步骤：
步骤5.1：将个人计算机与机器人设置在同一个局域网内；
步骤5.2：通信交互；使用已编写好的控制节点进行通信；
步骤5.3：语音交互；
步骤5.3.1：用户发出语音信息，百度在线语音识别库识别；
步骤5.3.2：语音信息通过转换节点转换为底盘控制信号控制机器人运动；
步骤5.3.3：当机器人遇到障碍物，执行步骤4，机器人自动停止，进行语音播报，提醒行人避让；
步骤5.4：个人计算机或触摸式显示屏（6）控制交互；
步骤5.4.1：用户打开个人计算机或触摸式显示屏（6），输入指令；按键信号通过节点转换为底盘控制信号；
步骤5.4.2：控制信号控制机器人运动；
步骤5.5：测试通信系统的实时性和连通性；
个人计算机与主机互相ping对方的IP地址，来检验通信效果；
步骤5.6：测试语音交互；
在ROS操作系统中加入语音包，通过编写代码调用语音识别关键字，包括前进、后退、左转、右转、停止，通过语音命令机器人运动；
步骤5.7：测试个人计算机或触摸式显示屏（6）控制交互；
通过个人计算机或触摸式显示屏（6）控制机器人运动，shift+w前进，shift+s后退，shift+q左转，shift+e右转，shift+a左平移，shift+d右平移，w加速，s减速，任意键停止。
4.根据权利要求1-3任意一项所述的方法，其特征在于，步骤6的具体实现包括以下子步骤：
步骤6.1：系统初始化；
步骤6.2：获取角度信息；
步骤6.3：获取X、Y轴速度和计算时间间隔；
步骤6.4：获取系统时间计算时间间隔；
步骤6.5：计算X、Y轴位移，确定机器人位置；
步骤6.5：获取系统时间；
步骤6.6：运动控制系统实验测试；
给机器人两个目标点，分别进行折线和直线测试。
CN201810744684.4A 2018-07-09 2018-07-09 基于立体视觉的智能可拆卸移动机器人系统及控制方法 Active CN108646759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810744684.4A CN108646759B (zh) 2018-07-09 2018-07-09 基于立体视觉的智能可拆卸移动机器人系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810744684.4A CN108646759B (zh) 2018-07-09 2018-07-09 基于立体视觉的智能可拆卸移动机器人系统及控制方法

Publications (2)

Publication Number Publication Date
CN108646759A CN108646759A (zh) 2018-10-12
CN108646759B true CN108646759B (zh) 2021-08-03

Family

ID=63751261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810744684.4A Active CN108646759B (zh) 2018-07-09 2018-07-09 基于立体视觉的智能可拆卸移动机器人系统及控制方法

Country Status (1)

Country Link
CN (1) CN108646759B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109352654A (zh) * 2018-11-23 2019-02-19 武汉科技大学 一种基于ros的智能机器人跟随系统及方法
CN111481125A (zh) * 2019-01-28 2020-08-04 燕成祥 机器人防跌落系统
CN111007522A (zh) * 2019-12-16 2020-04-14 深圳市三宝创新智能有限公司 一种移动机器人的位置确定系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105234944A (zh) * 2015-09-06 2016-01-13 北京航空航天大学 一种护理机器人与运动控制系统
CN106066179A (zh) * 2016-07-27 2016-11-02 湖南晖龙股份有限公司 一种基于ros操作系统的机器人位置丢失找回方法和控制系统
CN106708047A (zh) * 2016-12-21 2017-05-24 精效新软新技术（北京）有限公司 智能物品投递机器人装置及其控制方法
CN107145153A (zh) * 2017-07-03 2017-09-08 北京海风智能科技有限责任公司 一种基于ros的服务机器人及其室内导航方法
CN108205314A (zh) * 2016-12-19 2018-06-26 广东技术师范学院 基于立体视觉匹配的机器人导航装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105234944A (zh) * 2015-09-06 2016-01-13 北京航空航天大学 一种护理机器人与运动控制系统
CN106066179A (zh) * 2016-07-27 2016-11-02 湖南晖龙股份有限公司 一种基于ros操作系统的机器人位置丢失找回方法和控制系统
CN108205314A (zh) * 2016-12-19 2018-06-26 广东技术师范学院 基于立体视觉匹配的机器人导航装置及系统
CN106708047A (zh) * 2016-12-21 2017-05-24 精效新软新技术（北京）有限公司 智能物品投递机器人装置及其控制方法
CN107145153A (zh) * 2017-07-03 2017-09-08 北京海风智能科技有限责任公司 一种基于ros的服务机器人及其室内导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GPU based real-time SLAM of six-legged robot;Zhang Xuehe等;《Microprocessors and Microsystems》;20151030;第104-111页 *
移动机器人SLAM与路径规划在ROS框架下的实现;陈卓 等;《医疗卫生装备》;20170228;第38卷(第2期);第109-113页 *

Also Published As

Publication number Publication date
CN108646759A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN107167141B (zh) 基于双一线激光雷达的机器人自主导航系统
WO2021254367A1 (zh) 机器人系统及定位导航方法
CN108646759B (zh) 基于立体视觉的智能可拆卸移动机器人系统及控制方法
CN107097228B (zh) 自主行进机器人系统
CN112518739B (zh) 履带式底盘机器人侦察智能化自主导航方法
Li et al. Localization and navigation for indoor mobile robot based on ROS
CN105241461A (zh) 机器人的地图创建及定位方法和机器人系统
CN103389699A (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
JP2019501384A (ja) 自律測位航法設備、測位航法方法及び自律測位航法システム
US20110046784A1 (en) Asymmetric stereo vision system
EP2296072A2 (en) Asymmetric stereo vision system
CN111290403B (zh) 搬运自动导引运输车的运输方法和搬运自动导引运输车
CN205080434U (zh) 基于51单片机的wifi智能视频小车
CN108121333A (zh) 导购机器人
CN110750097A (zh) 一种室内机器人导航系统及建图、定位和移动方法
CN113311825A (zh) 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法
CN113093756A (zh) 树莓派平台下基于激光slam的室内导航机器人
CN205247208U (zh) 机器人系统
Li et al. Depth camera based remote three-dimensional reconstruction using incremental point cloud compression
CN111664842A (zh) 一种无人扫地机的即时定位与地图构建系统
CN108536146A (zh) 基于路径和rssi的移动机器人定位充电基座的智能控制方法
CN212683969U (zh) 一种果园多机器人物理模型
Hu et al. A small and lightweight autonomous laser mapping system without GPS
CN112318507A (zh) 一种基于slam技术的机器人智能控制系统
CN104731091A (zh) 智能避障自动导航小车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant