CN113311825A - 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法 - Google Patents
一种可视化且自定义的ros智能机器人人机交互系统及其控制方法 Download PDFInfo
- Publication number
- CN113311825A CN113311825A CN202110487310.0A CN202110487310A CN113311825A CN 113311825 A CN113311825 A CN 113311825A CN 202110487310 A CN202110487310 A CN 202110487310A CN 113311825 A CN113311825 A CN 113311825A
- Authority
- CN
- China
- Prior art keywords
- ros
- intelligent robot
- topic
- module
- display module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 65
- 230000000007 visual effect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 30
- 238000012800 visualization Methods 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 238000011161 development Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- BLRPTPMANUNPDV-UHFFFAOYSA-N Silane Chemical compound [SiH4] BLRPTPMANUNPDV-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种可视化且自定义的ROS智能机器人人机交互系统及其控制方法，包括激光探测及测距模块、深度相机及图像处理模块、ROS图像话题显示模块、3D可视化Rviz建图导航显示模块等模块。本发明通过在ROS环境下利用QtCreator工具开发的一款可视化、自定义人机交互界面，集成librviz库开发、速度仪表盘显示、键盘控制实现、电池电量显示与实现、订阅并显示图像话题、Qt中订阅与发布ROS话题等功能，可实现一键式操作实现ROS智能机器人多功能控制，解决ROS智能机器人在使用过程中涉及较多的命令和Ubuntu终端命令操作，较为复杂且繁琐问题，实现SLAM建图、SLAM导航、人脸识别、动态物体识别、二维码立体检测等终端一键控制功能，可有效实现ROS智能机器人简易控制与操作。
Description
技术领域
本发明涉及ROS智能机器人人机交互领域，特别是指一种基于QtCreator的可视化且自定义的ROS智能机器人人机交互系统及其控制方法。
背景技术
近年来，随着计算机视觉和人工智能高新技术的逐成熟，人机协作的不断深入，ROS智能机器人产品应用产业不断拓展，全球ROS智能机器人行业将迎来新一轮的增长，将广泛地应用于人们生活中的每个角落。ROS智能机器人在使用过程中，主要是通过终端命令输入，实现相应的功能，如：SLAM建图、SLAM导航、人脸识别、动态物体识别、二维码立体检测等，在使用过程中涉及到较多的命令和Ubuntu终端命令操作，较为复杂且繁琐。虽然有3D可视化Rviz和QT工具箱rqt作为显示，但是依然没办法充分满足多种多样的功能需求，无法满足使用者对于便捷性日益提升的需求。
因此，为实现ROS智能机器人系统的简易操作、交互界面终端一键控制，针对ROS智能机器人开发一款集成各种自定义功能的可视化人机交互系统具有十分重要的意义。
发明内容
为了克服现有技术中ROS智能机器人使用过程中，涉及到较多的命令和Ubuntu终端操作较为复杂且繁琐问题，本发明实施例所要解决的技术问题在于，提供一种可视化且自定义的ROS智能机器人人机交互系统及其控制方法。
为实现上述目的，本发明的第一个方面是包括激光探测及测距模块、深度相机及图像处理模块、ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、ROS智能机器人主节点控制模块、速度及电量显示模块和底盘控制模块；
所述激光探测及测距模块用于SLAM建图、SLAM导航，并与3D可视化Rviz建图导航显示模块进行信息交互；
所述深度相机及图像处理模块用于提供ROS智能机器人周围图像信息、运动物体识别检测、视觉巡线、人脸检测及二维码立体检测；
所述ROS图像话题显示模块用于显示智能机器人前方图像信息、视觉巡线图像信息、运动物体识别图像信息、人脸识别图像信息及二维码立体检测图像信息，并完成人机交互任务；
所述3D可视化Rviz建图导航显示模块用于显示周围环境SLAM建图及导航结果，并完成人机交互任务；
ROS机器人主节点控制模块用于订阅与发布ROS话题，并与3D可视化Rviz建图导航显示模块进行信息交互；
所述速度及电量显示模块用于ROS智能机器人电量与速度的实时显示；所述底盘控制模块用于ROS智能机器人不同运动方向控制，同时可进行速度及角度大小调控。
进一步设置是所述激光探测及测距模块由用于探测目标的位置、速度等特征量的激光雷达组成；所述激光雷达用于ROS智能机器人在未知的环境中从一个未知位置开始移动，移动过程中根据位置估计和地图进行自身定位，同时构建增量式地图，实现ROS智能机器人的自主定位和导航；并将所需显示的建图与导航信息，由ROS智能机器人主节点控制模块传输至3D可视化Rviz建图导航显示模块。
进一步设置是所述深度相机及图像处理模块包括深度相机模块和图像处理单元；所述深度相机模块由ROS智能机器人前端深度相机构成，用于实时拍摄机器人前端图像；所述图像处理单元采用ROS中的cv_bridge功能包建立与OpenCV接口，用于深度摄像头图像的处理，完成人脸识别、动态物体识别和二维码立体检测，并将所需显示的图像信息，由ROS智能机器人主节点控制模块传输至ROS图像话题显示模块。
进一步设置是所述ROS机器人主节点控制模块与ROS图像话题显示模块、3D可视化Rviz建图导航显示模块进行信息交互，完成ROS智能机器人的多功能控制与显示；将机器人运动的图像、建图、导航信息通过图像、3D可视化Rviz建图导航显示模块以图像的形式呈现给用户。
另外，本发明还提供一种ROS智能机器人的控制方法，该控制方法通过权利要求1所述的人机交互系统进行，该控制方法包括以下步骤：
S1：进行ROS智能机器人及虚拟机IP地址配置，连接远程机器人并启动，ROS智能机器人系统开始工作，其主节点控制模块等待指令并发布相应功能话题；
S2：通过可视化、自定义人机交互系统进行ROS智能机器人功能控制，具体通过终端一键控制实现SLAM建图、SLAM导航、人脸识别、动态物体识别和二维码立体检测启动命令发布；ROS智能机器人主节点控制模块，接收功能指令并发布相应话题消息；驱动相应的激光探测及测距模块、深度相机及图像处理模块、底盘控制模块，实现相应话题功能；
S3：判断是否有话题发布，若有话题发布，则转至步骤S4；若无话题发布，则执行步骤S7，等待话题发布；
S4：判断功能话题类型，如果属于SLAM建图、SLAM导航话题类型，则执行步骤S5中的3D可视化Rviz建图导航显示模块进行话题订阅，完成信息交互显示；如为人脸识别、动态物体识别、二维码立体检测等图像类型话题，则执行步骤S5中的ROS图像话题显示模块进行话题订阅，完成信息交互显示；若为速度及电量话题，则执行步骤S5中的速度及电量显示模块进行话题订阅，完成信息交互显示；
S5：由ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、速度及电量显示模块实时显示不同类型话题消息，实现人机信息交互；
S6：是否结束话题发布，若结束话题发布，执行步骤S2，过终端一键控制实现功能结束命令发布，ROS智能机器人主节点控制模块，接收功能指令并关闭相应话题消息；否则，执行步骤S5，继续进行话题订阅，处于人机交互状态；
S7：等待超时，执行步骤S8，结束整个流程；若在等待时间内查阅到发布话题信息，则执行步骤S4。
进一步设置是，ROS智能机器人人机交互系统，用户可进行自定义可视化功能模块，通过一键控制命令封装，并由ROS智能机器人主节点控制模块发布相应功能话题，并由ROS图像话题显示模块、3D可视化Rviz建图导航显示模块等进行话题订阅，完成人机交互；
进一步设置是，3D可视化Rviz建图导航显示模块属性，根据用户需求，由Rviz配置界面进行设置；
进一步设置是，用户通过人机交互系统，完成ROS智能机器人控制过程中人机交互的任务，可始终通过屏幕显示的实时图像、建图、导航等话题，查阅智能机器人不同功能结果及运行状态。
本发明具有如下有益效果：通过在ROS环境下利用QtCreator工具开发的一款可视化、自定义人机交互界面，集成librviz库开发、速度仪表盘显示、键盘控制实现、电池电量显示与实现、订阅并显示图像话题、Qt中订阅与发布ROS话题等功能，可实现一键式操作实现ROS智能机器人多功能控制，解决ROS智能机器人在使用过程中涉及较多的命令和Ubuntu终端命令操作，较为复杂且繁琐问题，实现SLAM建图、SLAM导航、人脸识别、动态物体识别、二维码立体检测等终端一键控制功能，可有效实现ROS智能机器人简易控制与操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明的用于ROS智能机器人控制的可视化、自定义人机交互系统的系统构成示意图；
图2为本发明的用于ROS智能机器人控制的可视化、自定义人机交互系统示意图；
图3为本发明的用于ROS智能机器人控制的可视化、自定义人机交互系统的工作步骤流程图；
图4本发明控制方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
针对上述问题，本实施例提供了一种用于ROS智能机器人控制的人机交互系统，用于解决ROS智能机器人使用过程中，涉及到较多命令和Ubuntu终端操作等较为复杂且繁琐问题。
如图1所示，一种用于ROS智能机器人控制的人机交互系统，包括激光探测及测距模块、深度相机及图像处理模块、ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、ROS智能机器人主节点控制模块、速度及电量显示模块、底盘控制模块。
所述激光探测及测距模块用于SLAM建图、SLAM导航，并与3D可视化Rviz建图导航显示模块进行信息交互；在本实施例中，激光探测及测距模块探测目标的位置、速度等特征量的激光雷达组成，用于获取机器人周围障碍物的距离信息，构建增量式地图，实现ROS智能机器人的自主定位和导航。具体地，本实施例选用思岚A1型激光雷达。
所述深度相机及图像处理模块用于提供智能机器人周围图像信息、运动物体识别检测、视觉巡线、人脸检测及二维码立体检测等；在本实施例中，深度相机及图像处理模块包括深度相机模块、图像处理单元；所述深度相机模块由ROS智能机器人前端深度相机构成，用于实时拍摄机器人前端图像；所述图像处理单元采用ROS中的cv_bridge功能包建立与OpenCV接口，实现ROS强大的图像处理能力，用于深度摄像头图像的处理，完成人脸识别、动态物体识别、二维码立体检测等多种功能，所述深度相机及图像处理模块包括深度相机模块、图像处理单元；所述深度相机模块由ROS智能机器人前端深度相机构成，用于实时拍摄机器人前端图像；所述图像处理单元采用ROS中的cv_bridge功能包建立与OpenCV接口，实现ROS强大的图像处理能力，用于深度摄像头图像的处理，完成人脸识别、动态物体识别、二维码立体检测等多种功能，并将所需显示的图像信息，由ROS智能机器人主节点控制模块传输至图像话题显示模块。具体地，本实施例选用Astar Pro深度相机。
所述ROS图像话题显示模块用于显示智能机器人前方图像信息、视觉巡线图像信息、运动物体识别图像信息、人脸识别图像信息及二维码立体检测图像信息，并完成人机交互任务；
所述3D可视化Rviz建图导航显示模块用于显示周围环境SLAM建图及导航结果，并完成人机交互任务；ROS机器人控制系统用于订阅与发布ROS话题，实现不同功能，并与ROS智能机器人主节点控制模块、3D可视化Rviz建图导航显示模块进行信息交互。
并通过ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、速度及电量显示模块进行人机交互，实现集成各种自定义功能的智能机器人可视化人机交互系统。
所述速度及电量显示模块用于ROS智能机器人电量与速度的实时显示；
所述底盘控制模块用于ROS智能机器人不同运动方向控制，同时可进行速度及角度大小调控。
参照附图2对本发明用于ROS智能机器人控制的可视化、自定义人机交互系统进行说明。
如图2所示，1为终端一键控制命令封装，本实施例通过一键控制可实现SLAM建图、SLAM导航、动态物体识别、二维码立体检测等功能；通过1进行一键启动命令，ROS智能机器人主节点控制模块，接收功能指令并发布相应话题消息(如SLAM建图话题、SLAM导航话题等)；驱动相应的激光探测及测距模块、深度相机及图像处理模块、底盘控制模块，实现相应话题功能。
在本实施例中，实现SLAM建图功能，首先通过5进行ROS智能机器人及虚拟机IP地址配置，连接远程机器人并启动；然后，由1发出SLAM建图指令，ROS智能机器人主节点控制模块接收该指令，并发布SLAM建图话题及底盘控制话题，驱动思岚A1型激光雷达及底盘运动控制器，并由7控制机器人线速度、角速度大小及运动方向，获取机器人周围障碍物的距离信息，构建增量式地图；由2 3D可视化Rviz建图导航显示模块订阅话题，并人机交互显示，实现对构建地图进行查阅。其中，本实施例ROS智能机器人运动过程，电压及速度话题由速度及电量显示模块4与6进行人机交互显示。
在本实施例中，实现动态目标检测功能，由1发出动态目标检测指令，ROS智能机器人主节点控制模块接收该指令，并发布动态目标检测话题，驱动Astar Pro深度相机，进行动态目标检测，获取动态目标物体；并由3ROS图像话题显示模订阅图像话题，并人机交互显示；同时，由8日志显示窗口输出相应功能日志信息。
实施例2
本实施例提供了一种用于ROS智能机器人控制的人机交互系统，其可以通过交互界面终端一键控制，实现ROS话题发布与订阅，并通过ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、速度及电量显示模块进行人机交互，实现集成各种自定义功能的智能机器人可视化人机交互系统。
如图3所示，一种用于ROS智能机器人控制的人机交互系统，其包括以下步骤：
S1：进行ROS智能机器人及虚拟机IP地址配置，连接远程机器人并启动，ROS智能机器人系统开始工作，其主节点控制模块等待指令并发布相应功能话题；
S2：通过可视化、自定义人机交互系统进行ROS智能机器人功能控制，具体通过终端一键控制实现SLAM建图、SLAM导航、人脸识别、动态物体识别、二维码立体检测等功能启动命令发布；ROS智能机器人主节点控制模块，接收功能指令并发布相应话题消息；驱动相应的激光探测及测距模块、深度相机及图像处理模块、底盘控制模块，实现相应话题功能；
S3：判断是否有话题发布，若有话题发布，则转至步骤S4；若无话题发布，则执行步骤S7，等待话题发布；
S4：判断功能话题类型，如果属于SLAM建图、SLAM导航话题类型，则执行步骤S5中的3D可视化Rviz建图导航显示模块进行话题订阅，完成信息交互显示；如为人脸识别、动态物体识别、二维码立体检测等图像类型话题，则执行步骤S5中的ROS图像话题显示模块进行话题订阅，完成信息交互显示；若为速度及电量话题，则执行步骤S5中的速度及电量显示模块进行话题订阅，完成信息交互显示；
S5：由ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、速度及电量显示模块实时显示不同类型话题消息，实现人机信息交互；
S6：是否结束话题发布，若结束话题发布，执行步骤S2，过终端一键控制实现功能结束命令发布，ROS智能机器人主节点控制模块，接收功能指令并关闭相应话题消息；否则，执行步骤S5，继续进行话题订阅，处于人机交互状态；
S7：等待超时，执行步骤S8，结束整个流程；若在等待时间内查阅到发布话题信息，则执行步骤S4。
在本实施例提供的可视化、自定义人机交互系统及方法中，ROS智能机器人人机交互系统，用户可进行自定义可视化功能模块，通过一键控制命令封装，并由ROS智能机器人主节点控制模块发布相应功能话题，并由ROS图像话题显示模块、3D可视化Rviz建图导航显示模块等进行话题订阅，完成人机交互；
在本实施例中，3D可视化Rviz建图导航显示模块属性，根据用户需求，由Rviz配置界面进行设置；
在本实施例中，用户通过人机交互系统，完成ROS智能机器人控制过程中人机交互的任务，可始终通过屏幕显示的实时图像、建图、导航等话题，查阅智能机器人不同功能结果及运行状态。
本发明在ROS环境下利用QtCreator工具开发的一款可视化、自定义人机交互界面，集成librviz库开发、速度仪表盘显示、键盘控制实现、电池电量显示与实现、订阅并显示图像话题、Qt中订阅与发布ROS话题等功能，可实现SLAM建图、SLAM导航、人脸识别、动态物体识别、二维码立体检测等终端一键控制功能，可有效实现ROS智能机器人简易控制与操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (6)
1.一种可视化且自定义的ROS智能机器人人机交互系统，其特征在于：包括激光探测及测距模块、深度相机及图像处理模块、ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、ROS智能机器人主节点控制模块、速度及电量显示模块和底盘控制模块；
所述激光探测及测距模块用于SLAM建图、SLAM导航，并与3D可视化Rviz建图导航显示模块进行信息交互；
所述深度相机及图像处理模块用于提供ROS智能机器人周围图像信息、运动物体识别检测、视觉巡线、人脸检测及二维码立体检测；
所述ROS图像话题显示模块用于显示智能机器人前方图像信息、视觉巡线图像信息、运动物体识别图像信息、人脸识别图像信息及二维码立体检测图像信息，并完成人机交互任务；
所述3D可视化Rviz建图导航显示模块用于显示周围环境SLAM建图及导航结果，并完成人机交互任务；
ROS机器人主节点控制模块用于订阅与发布ROS话题，并与3D可视化Rviz建图导航显示模块进行信息交互；
所述速度及电量显示模块用于ROS智能机器人电量与速度的实时显示；所述底盘控制模块用于ROS智能机器人不同运动方向控制，同时可进行速度及角度大小调控。
2.根据权利要求1所述的一种可视化且自定义的ROS智能机器人人机交互系统，其特征在于：所述激光探测及测距模块由用于探测目标的位置、速度等特征量的激光雷达组成；所述激光雷达用于ROS智能机器人在未知的环境中从一个未知位置开始移动，移动过程中根据位置估计和地图进行自身定位，同时构建增量式地图，实现ROS智能机器人的自主定位和导航；并将所需显示的建图与导航信息，由ROS智能机器人主节点控制模块传输至3D可视化Rviz建图导航显示模块。
3.根据权利要求1所述的一种可视化且自定义的ROS智能机器人人机交互系统，其特征在于：所述深度相机及图像处理模块包括深度相机模块和图像处理单元；所述深度相机模块由ROS智能机器人前端深度相机构成，用于实时拍摄机器人前端图像；所述图像处理单元采用ROS中的cv_bridge功能包建立与OpenCV接口，用于深度摄像头图像的处理，完成人脸识别、动态物体识别和二维码立体检测，并将所需显示的图像信息，由ROS智能机器人主节点控制模块传输至ROS图像话题显示模块。
4.根据权利要求1所述的一种可视化且自定义的ROS智能机器人人机交互系统，其特征在于：所述ROS机器人主节点控制模块与ROS图像话题显示模块、3D可视化Rviz建图导航显示模块进行信息交互，完成ROS智能机器人的多功能控制与显示；将机器人运动的图像、建图、导航信息通过图像、3D可视化Rviz建图导航显示模块以图像的形式呈现给用户。
5.一种ROS智能机器人的控制方法，其特征在于，该控制方法通过权利要求1所述的人机交互系统进行，该控制方法包括以下步骤：
S1：进行ROS智能机器人及虚拟机IP地址配置，连接远程机器人并启动，ROS智能机器人系统开始工作，其主节点控制模块等待指令并发布相应功能话题；
S2：通过可视化、自定义人机交互系统进行ROS智能机器人功能控制，具体通过终端一键控制实现SLAM建图、SLAM导航、人脸识别、动态物体识别和二维码立体检测启动命令发布；ROS智能机器人主节点控制模块，接收功能指令并发布相应话题消息；驱动相应的激光探测及测距模块、深度相机及图像处理模块、底盘控制模块，实现相应话题功能；
S3：判断是否有话题发布，若有话题发布，则转至步骤S4；若无话题发布，则执行步骤S7，等待话题发布；
S4：判断功能话题类型，如果属于SLAM建图、SLAM导航话题类型，则执行步骤S5中的3D可视化Rviz建图导航显示模块进行话题订阅，完成信息交互显示；如为人脸识别、动态物体识别或二维码立体检测图像类型话题，则执行步骤S5中的ROS图像话题显示模块进行话题订阅，完成信息交互显示；若为速度及电量话题，则执行步骤S5中的速度及电量显示模块进行话题订阅，完成信息交互显示；
S5：由ROS图像话题显示模块、3D可视化Rviz建图导航显示模块、速度及电量显示模块实时显示不同类型话题消息，实现人机信息交互；
S6：是否结束话题发布，若结束话题发布，执行步骤S2，过终端一键控制实现功能结束命令发布，ROS智能机器人主节点控制模块，接收功能指令并关闭相应话题消息；否则，执行步骤S5，继续进行话题订阅，处于人机交互状态；
S7：等待超时，执行步骤S8，结束整个流程；若在等待时间内查阅到发布话题信息，则执行步骤S4。
6.根据权利要求1所述的ROS智能机器人的控制方法，其特征在于，用户通过人机交互系统完成ROS智能机器人控制过程中人机交互的任务，始终通过屏幕显示的实时图像、建图、导航等话题，查阅智能机器人不同功能结果及运行状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110487310.0A CN113311825A (zh) | 2021-05-05 | 2021-05-05 | 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110487310.0A CN113311825A (zh) | 2021-05-05 | 2021-05-05 | 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113311825A true CN113311825A (zh) | 2021-08-27 |
Family
ID=77371462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110487310.0A Pending CN113311825A (zh) | 2021-05-05 | 2021-05-05 | 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113311825A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037983A (zh) * | 2021-09-23 | 2022-02-11 | 浙江工业大学 | 自动读取指针式仪表读数的系统 |
| CN114625121A (zh) * | 2022-01-24 | 2022-06-14 | 成都理工大学 | 基于多传感器融合的自主巡检探索小车系统及导航方法 |
| CN115473863A (zh) * | 2022-07-25 | 2022-12-13 | 山东新一代信息产业技术研究院有限公司 | 一种ros与iros的消息桥接方法及系统 |
| CN116546057A (zh) * | 2023-07-06 | 2023-08-04 | 南京航空航天大学 | 一种面向数字孪生应用的强实时数据通信方法 |
| CN116761212A (zh) * | 2023-07-27 | 2023-09-15 | 北京小米机器人技术有限公司 | 图像传输控制方法、装置、终端设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777960A (zh) * | 2016-12-12 | 2017-05-31 | 浙江侍维波机器人科技有限公司 | 一种Ros分布式系统架构在医疗护理领域的应用 |
| CN107471229A (zh) * | 2017-09-30 | 2017-12-15 | 江西洪都航空工业集团有限责任公司 | 一种基于ros架构的教育娱乐机器人 |
| US20180079083A1 (en) * | 2011-08-29 | 2018-03-22 | Neil S. Davey | Pharmacy automation using autonomous robot |
| CN108406764A (zh) * | 2018-02-02 | 2018-08-17 | 上海大学 | 智能开放型服务机器人操作系统及方法 |
| CN110912808A (zh) * | 2019-11-29 | 2020-03-24 | 三一重工股份有限公司 | 消息订阅方法、装置、系统、设备终端和可读存储介质 |
| CN111459166A (zh) * | 2020-04-22 | 2020-07-28 | 北京工业大学 | 一种灾后救援环境下含受困人员位置信息的情景地图构建方法 |
| CN112025729A (zh) * | 2020-08-31 | 2020-12-04 | 杭州电子科技大学 | 基于ros的多功能智能医疗服务机器人系统 |
-
2021
- 2021-05-05 CN CN202110487310.0A patent/CN113311825A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180079083A1 (en) * | 2011-08-29 | 2018-03-22 | Neil S. Davey | Pharmacy automation using autonomous robot |
| CN106777960A (zh) * | 2016-12-12 | 2017-05-31 | 浙江侍维波机器人科技有限公司 | 一种Ros分布式系统架构在医疗护理领域的应用 |
| CN107471229A (zh) * | 2017-09-30 | 2017-12-15 | 江西洪都航空工业集团有限责任公司 | 一种基于ros架构的教育娱乐机器人 |
| CN108406764A (zh) * | 2018-02-02 | 2018-08-17 | 上海大学 | 智能开放型服务机器人操作系统及方法 |
| CN110912808A (zh) * | 2019-11-29 | 2020-03-24 | 三一重工股份有限公司 | 消息订阅方法、装置、系统、设备终端和可读存储介质 |
| CN111459166A (zh) * | 2020-04-22 | 2020-07-28 | 北京工业大学 | 一种灾后救援环境下含受困人员位置信息的情景地图构建方法 |
| CN112025729A (zh) * | 2020-08-31 | 2020-12-04 | 杭州电子科技大学 | 基于ros的多功能智能医疗服务机器人系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037983A (zh) * | 2021-09-23 | 2022-02-11 | 浙江工业大学 | 自动读取指针式仪表读数的系统 |
| CN114625121A (zh) * | 2022-01-24 | 2022-06-14 | 成都理工大学 | 基于多传感器融合的自主巡检探索小车系统及导航方法 |
| CN115473863A (zh) * | 2022-07-25 | 2022-12-13 | 山东新一代信息产业技术研究院有限公司 | 一种ros与iros的消息桥接方法及系统 |
| CN115473863B (zh) * | 2022-07-25 | 2023-08-08 | 山东新一代信息产业技术研究院有限公司 | 一种ros与iros的消息桥接方法及系统 |
| CN116546057A (zh) * | 2023-07-06 | 2023-08-04 | 南京航空航天大学 | 一种面向数字孪生应用的强实时数据通信方法 |
| CN116761212A (zh) * | 2023-07-27 | 2023-09-15 | 北京小米机器人技术有限公司 | 图像传输控制方法、装置、终端设备及存储介质 |
| CN116761212B (zh) * | 2023-07-27 | 2024-04-23 | 北京小米机器人技术有限公司 | 图像传输控制方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113311825A (zh) | 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法 | |
| AU2020201554B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
| CN111633644A (zh) | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 | |
| CN103324100B (zh) | 一种信息驱动的情感车载机器人 | |
| Li et al. | ROS-based indoor autonomous exploration and navigation wheelchair | |
| CN101977240A (zh) | 基于iPhone智能手机的机器人人机交互系统 | |
| Li et al. | Localization and navigation for indoor mobile robot based on ROS | |
| CN103389699A (zh) | 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法 | |
| CN205080434U (zh) | 基于51单片机的wifi智能视频小车 | |
| KR20210086583A (ko) | 무인 주행 차량의 제어 방법, 장치 및 전자 기기 | |
| CN103389666A (zh) | 机器人的软件架构 | |
| CN108646759B (zh) | 基于立体视觉的智能可拆卸移动机器人系统及控制方法 | |
| CN111216121A (zh) | 一种智能工业机器人控制系统 | |
| Zou et al. | Design of smart car control system for gesture recognition based on Arduino | |
| CN114791765B (zh) | 一种基于混合现实技术的ros智能车交互方法 | |
| CN111739170B (zh) | 一种工业机器人工作站可视化平台 | |
| CN108375979A (zh) | 基于ros的自动导航机器人通用控制系统 | |
| CN111891922A (zh) | 一种起重机作业实时导航系统及方法 | |
| CN110076769A (zh) | 一种基于磁悬浮球体运动的声控巡逻导航机器人系统及其控制方法 | |
| CN103978324A (zh) | 一种双核五轴焊接机器人控制系统 | |
| CN212683969U (zh) | 一种果园多机器人物理模型 | |
| CN116700299A (zh) | 一种基于数字孪生的auv集群控制系统及方法 | |
| CN115674194A (zh) | 一种基于多模态感知的叶片装配方法及系统 | |
| CN115359222A (zh) | 一种基于扩展现实的无人交互控制方法及系统 | |
| CN203241822U (zh) | 一种基于预设运动路径的移动机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210827 |
|
| RJ01 | Rejection of invention patent application after publication |