CN111890352A - 基于全景导航的移动机器人触控式遥操作控制方法 - Google Patents

基于全景导航的移动机器人触控式遥操作控制方法 Download PDF

Info

Publication number
CN111890352A
CN111890352A CN202010589138.5A CN202010589138A CN111890352A CN 111890352 A CN111890352 A CN 111890352A CN 202010589138 A CN202010589138 A CN 202010589138A CN 111890352 A CN111890352 A CN 111890352A
Authority
CN
China
Prior art keywords
robot
control terminal
remote control
image
panoramic navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010589138.5A
Other languages
English (en)
Inventor
谢强
苏波
刘兴杰
金宇春
韩相博
陶进
马睿璘
康晓
熊巍
靳保
赵洪雷
何亚丽
汪洋
李胜飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China North Vehicle Research Institute
Original Assignee
China North Vehicle Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China North Vehicle Research Institute filed Critical China North Vehicle Research Institute
Priority to CN202010589138.5A priority Critical patent/CN111890352A/zh
Publication of CN111890352A publication Critical patent/CN111890352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于全景导航的移动机器人触控式遥操作控制方法，依据机器人周身全景图像，采用触控式遥操作，能够远程控制机器人进行高效实时侦察。该方法的步骤包括：基于移动机器人上装设的视觉传感装置获取当前移动机器人周身360°全景图像；将当前360°图像经无线通信系统输入至远程操控终端显示；点击操控终端上显示的机器人周身360°图像任意位置，可获得当前该点与机器人前进方向的角度差；基于该角度差控制移动机器人转向该位置，进而实现导航控制。本发明提供的方法实时性好，稳定性高，能够适用于大多数场景，应用范围广，且大大降低了机器人操作人员的操控难度。

Description

基于全景导航的移动机器人触控式遥操作控制方法
技术领域
本发明涉及自动化控制技术领域，具体涉及一种基于全景导航的移动机器人遥操作控制方法。
背景技术
近年来，移动机器人已然成为急速发展的科学研究领域之一。越来越多的移动机器人正在协助或取代人类工作在多个领域。如战场侦察与巡逻、外星探索、灾难救援、危险品探测、工业及建筑自动化、场馆引导、家庭服务、运输、医疗、娱乐等等。尤其当机器人在远程进行侦察或搜索任务时，后方人员仅能通过安装在机器人身上的视觉传感装置进行机器人的辅助操控及周边态势的侦测工作，当机器人身处环境复杂时，兼顾机器人的实时操控与周围环境的高效实时侦察对远程操控人员具有较大的难度。
发明内容
有鉴于此，本发明提出一种基于全景导航的移动机器人触控式遥操作控制方法，依据机器人周身全景图像，采用触控式遥操作，能够远程控制机器人进行高效实时侦察。
基于全景导航的移动机器人触控式遥操作控制方法，具体步骤包括：
步骤一：获取机器人周身360°全景导航图像；
步骤二：将步骤一获取的所述全景导航图像无线传输至远程操控终端，在所述远程操控终端屏幕上显示；
步骤三：在所述远程操控终端屏幕上通过触屏方式控制机器人移动：
当触屏点选所述远程操控终端屏幕上任一位置时，所述远程操控终端能够计算得到当前点选位置所在方向与所述全景导航图像中机器人正前方向之间的角度关系，从而获得机器人的转向角度，所述转向角度即为当前点选位置所在方向与机器人正前方向之间的角度差；
所述远程操控终端将获得的转向角度无线传输至机器人上的底层控制器；所述机器人上的底层控制器响应该转向角度，控制机器人按该转向角度转向，从而将机器人转向至该点选位置所在方向。
作为本发明的一种优选方式，所述步骤一中：通过所述机器人本体搭载的两路以上视觉传感装置获取机器人四周的环境图像数据，两路以上视觉传感装置所获取的所述环境图像数据经图像处理模块全景拼接后得到机器人周身360°全景导航图像。
作为本发明的一种优选方式，所述步骤二中：步骤一获取的所述全景导航图像编码后经物理接口推送至机器人车载无线图传发射模块，远端无线图传接收模块获取码流，并将所述码流经物理接口推至所述远程操控终端，所述远程操控终端获取码流后进行解码，并将所述全景导航图像显示在远程操控终端屏幕上。
作为本发明的一种优选方式，所述远程操控终端屏幕上具有两个视图，分别为上视图和下视图；机器人周身360°全景导航图像按30°分量等分成12份，每一份为一个角度区域；其中机器人正前方向为12点方向，正后方向为6点方向，所述上视图中显示机器人前进方向左右70°范围内的图像，下视图中显示其余220°范围内的图像。
有益效果：
该方法依靠机器人上的视觉传感装置，获得机器人周身360°全景图像，操控人员在远程遥操控机器人进行移动及侦察工作时，可实时观测到机器人周身全景图像，当发现有可疑目标时，通过点击图像上目标位置所在方向，控制机器人自动转至该方向，前往侦察；由此能够兼顾机器人的实时操控与周围环境，控制机器人进行高效实时侦察。
本发明提供的方法，直接通过机器人上的视觉传感器及相应的视频处理模块获得当前机器人周身的视频信息，位置传输精确度高，实时性好，稳定性高，能够适用于大多数场景，应用范围广，且大大降低了机器人操作人员的操控难度。
附图说明
图1是本发明的流程示意图。
图2是本发明的操控端图像显示示意图。
具体实施方式
下面结合附图和较佳实施例对本发明进行详细阐述，以使本发明的优点和特征能更容易被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例一：
本实施例提供一种基于全景导航的移动机器人遥操作控制方法，如图1所示，其具体步骤包括：
步骤一：获取机器人周身360°全景导航图像：
通过搭载在机器人周身的四路高速视觉传感装置(每路高速视觉传感装置的水平视场角≥110°)采集机器人周身的图像；为保证四路高速视觉传感装置所采集到的图像完全覆盖机器人周身环境，四路高速视觉传感装置采用相对机器人几何中心两两对称安装的形式(考虑到侦察移动机器人的几何结构大多为长方形或正方形，通常四个摄像头会分布在机器人四条边的中点位置，因此从结构上类似于两两对称安装的形式，由于每个摄像头的水平视场角都大于110°，因此四个摄像头所采集的图像是大于360°的，冗余的，然后经过图像处理，可以得到360度图像)。图像处理模块通过SDI接口采集四路高速视觉传感装置所获取的图像，采集完成后由图像处理模块中的FPGA进行预处理和全景拼接，得到机器人周身360°全景导航图像。
图像处理模块对采集的图像进行全景拼接过程为：
101.对四路输入图像(即图像处理模块采集的四路视觉传感装置的图像)进行基于SIFT算法的两两相邻图像特征点的查找，最终获得特征点描述向量；
102.基于最邻近算法和鲁棒估计随机选取一致性算法对两两相邻图像的特征点进行匹配和筛选；
103.对镜头参数进行估计，得到Warp矩阵；
104.进行Warp变换，并对图像进行曝光校正及混合，生成机器人周身360°全景导航图像。
步骤二：图像处理模块将处理得到的机器人周身360°全景导航图像经无线图传系统(无线图传系统包括无线图传发射模块和无线图传接收模块)传输至远程操控终端进行显示，具体为：
图像处理模块将上述全景导航图像进行基于H265的超低延时编码，同时对码流进行平滑处理，然后通过标准以太网口并基于UDP协议推送至机器人无线图传发射模块，远端无线图传接收模块获取码流，并将获取的码流经标准以太网口推至操控终端，远程操控终端获取码流后进行硬件或软件解码，并在操控终端屏幕上显示。
机器人周身360°全景导航图像按照图2所示方式在操控终端上显示，具体为：
操控终端屏幕上具有两个视图，分别为上视图和下视图，将机器人周身360°全景导航图像按30°分量等分成12份，每一份为一个角度区域，其中机器人正前方向为12点(0点)方向，正后方向为6点方向。对于人双眼而言，最轻松的左右视场角是120°，基于此，上视图中显示机器人前进方向140°图像(即以正前方为零位，左右70°范围内的图像)，选择140°(稍加大于120°)能够使操控人员始终能在最佳、完整的一个图像操作范围内点选方向进行侦察操控。同时该140°图像也是机器人在进行遥操作的过程中的主要操控界面，因为其永远代表的是机器人前进方向的图像。下视图中显示机器人其余220°图像。
步骤三：在操控终端屏幕上通过触控方式控制机器人移动：
操作人员触屏点选操控终端屏幕上任一位置，操控终端能够计算得到当前点选位置所在方向与全景导航图像中心12点位置所在方向(机器人正前方向)之间的角度关系(如当前点选位置位于2点到3点之间区域内，即60°到90°角度区域内，则操控终端依据所设定的角度分辨率得到当前点选位置与机器人正前方向之间的角度差，一般角度分辨率为1°)，从而获得机器人的转向角度(转向角度即为当前点选位置所在方向与机器人正前方向之间的角度差)；操控终端通过无线传输的方式将转向角度发送到机器人上的底层控制器；机器人上的底层控制器响应该转向角度，进而控制机器人的驱动电机按该转向角度转向，将机器人转向至该点选位置所在方向。
实施例二：
在上述实施例1的基础上，进行如下优化：
所述步骤二中，将图像处理模块与无线图传发射模块进行集成开发，即取消两者之间的网络接口，改为在单个FPGA模块内部进行处理的方式进行，可进一步提高整个图像采集、处理及传输系统的物理延时，同时降低板卡尺寸及功耗，进而进一步拓展其在机器人上的应用范围。
综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于全景导航的移动机器人触控式遥操作控制方法，其特征在于，具体步骤包括：
步骤一：获取机器人周身360°全景导航图像；
步骤二：将步骤一获取的所述全景导航图像无线传输至远程操控终端，在所述远程操控终端屏幕上显示；
步骤三：在所述远程操控终端屏幕上通过触屏方式控制机器人移动：
当触屏点选所述远程操控终端屏幕上任一位置时，所述远程操控终端能够计算得到当前点选位置所在方向与所述全景导航图像中机器人正前方向之间的角度关系，从而获得机器人的转向角度，所述转向角度即为当前点选位置所在方向与机器人正前方向之间的角度差；
所述远程操控终端将获得的转向角度无线传输至机器人上的底层控制器；所述机器人上的底层控制器响应该转向角度，控制机器人按该转向角度转向，从而将机器人转向至该点选位置所在方向。
2.基于权利要求1所述的基于全景导航的移动机器人触控式遥操作控制方法，其特征在于，所述步骤一中：通过所述机器人本体搭载的两路以上视觉传感装置获取机器人四周的环境图像数据，两路以上视觉传感装置所获取的所述环境图像数据经图像处理模块全景拼接后得到机器人周身360°全景导航图像。
3.基于权利要求1所述的基于全景导航的移动机器人触控式遥操作控制方法，其特征在于，所述步骤二中：步骤一获取的所述全景导航图像编码后经物理接口推送至机器人车载无线图传发射模块，远端无线图传接收模块获取码流，并将所述码流经物理接口推至所述远程操控终端，所述远程操控终端获取码流后进行解码，并将所述全景导航图像显示在远程操控终端屏幕上。
4.基于权利要求1或3所述的基于全景导航的移动机器人触控式遥操作控制方法，其特征在于，所述远程操控终端屏幕上具有两个视图，分别为上视图和下视图；机器人周身360°全景导航图像按30°分量等分成12份，每一份为一个角度区域；其中机器人正前方向为12点方向，正后方向为6点方向，所述上视图中显示机器人前进方向左右70°范围内的图像，下视图中显示其余220°范围内的图像。
CN202010589138.5A 2020-06-24 2020-06-24 基于全景导航的移动机器人触控式遥操作控制方法 Pending CN111890352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589138.5A CN111890352A (zh) 2020-06-24 2020-06-24 基于全景导航的移动机器人触控式遥操作控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589138.5A CN111890352A (zh) 2020-06-24 2020-06-24 基于全景导航的移动机器人触控式遥操作控制方法

Publications (1)

Publication Number Publication Date
CN111890352A true CN111890352A (zh) 2020-11-06

Family

ID=73207796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589138.5A Pending CN111890352A (zh) 2020-06-24 2020-06-24 基于全景导航的移动机器人触控式遥操作控制方法

Country Status (1)

Country Link
CN (1) CN111890352A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225294A (zh) * 2023-05-06 2023-06-06 科沃斯家用机器人有限公司 表面清洁机器人的遥控方法、装置、设备及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN101486360A (zh) * 2009-01-05 2009-07-22 东南大学 带有导臂的履带式移动机器人的攀爬楼梯控制方法
CN101969567A (zh) * 2010-11-09 2011-02-09 北京工业大学 基于全变分的图像编码方法
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
US20120155775A1 (en) * 2010-12-21 2012-06-21 Samsung Electronics Co., Ltd. Walking robot and simultaneous localization and mapping method thereof
US20130338831A1 (en) * 2012-06-18 2013-12-19 Dongki Noh Robot cleaner and controlling method of the same
CN204046742U (zh) * 2014-09-09 2014-12-24 金陵科技学院 一种利用智能眼镜进行实时监控控制的移动机器人
CN104492093A (zh) * 2014-11-10 2015-04-08 北京时代沃林科技发展有限公司 一种多模式航模车模触摸遥控器及实现方法
US20170261993A1 (en) * 2016-03-10 2017-09-14 Xerox Corporation Systems and methods for robot motion control and improved positional accuracy

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN101486360A (zh) * 2009-01-05 2009-07-22 东南大学 带有导臂的履带式移动机器人的攀爬楼梯控制方法
CN101969567A (zh) * 2010-11-09 2011-02-09 北京工业大学 基于全变分的图像编码方法
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
US20120155775A1 (en) * 2010-12-21 2012-06-21 Samsung Electronics Co., Ltd. Walking robot and simultaneous localization and mapping method thereof
US20130338831A1 (en) * 2012-06-18 2013-12-19 Dongki Noh Robot cleaner and controlling method of the same
CN204046742U (zh) * 2014-09-09 2014-12-24 金陵科技学院 一种利用智能眼镜进行实时监控控制的移动机器人
CN104492093A (zh) * 2014-11-10 2015-04-08 北京时代沃林科技发展有限公司 一种多模式航模车模触摸遥控器及实现方法
US20170261993A1 (en) * 2016-03-10 2017-09-14 Xerox Corporation Systems and methods for robot motion control and improved positional accuracy

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALONG: "《电脑知识与技术 经验技巧》", 31 May 2017 *
何立民: "《单片机应用技术选编》", 31 March 2004, 北京航空航天大学出版社 *
田启川: "《虹膜识别原理及算法》", 30 June 2010, 国防工业出版社 *
袁起: "《防空导弹武器制导控制系统设计（下）》", 30 April 1996, 中国宇航出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225294A (zh) * 2023-05-06 2023-06-06 科沃斯家用机器人有限公司 表面清洁机器人的遥控方法、装置、设备及可读存储介质
CN116225294B (zh) * 2023-05-06 2023-08-18 科沃斯家用机器人有限公司 表面清洁机器人的遥控方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111055281B (zh) 一种基于ros的自主移动抓取系统与方法
CN106607907B (zh) 一种移动视觉机器人及其测控方法
EP1985416B1 (en) Mobile robot
US8989876B2 (en) Situational awareness for teleoperation of a remote vehicle
CN100451897C (zh) 远程操作机器人
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
JP4167954B2 (ja) ロボット及びロボット移動方法
Fong et al. Pdadriver: A handheld system for remote driving
Tölgyessy et al. Foundations of visual linear human–robot interaction via pointing gesture navigation
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
JP2020506443A (ja) 無人機の制御方法、頭部装着式表示メガネおよびシステム
JP2004213673A (ja) 強化現実システム及び方法
US20200007751A1 (en) Control apparatus, movable apparatus, and remote-control system
JP2015043488A (ja) 遠隔操作装置及びそれを用いた遠隔施工方法
US20090281662A1 (en) Simulator for visual inspection apparatus
Xin et al. 3D augmented reality teleoperated robot system based on dual vision
CN114972818B (zh) 一种基于深度学习与混合现实技术的目标锁定系统
Lawson et al. Augmented reality for underground pipe inspection and maintenance
JP7306871B2 (ja) ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置
CN111890352A (zh) 基于全景导航的移动机器人触控式遥操作控制方法
Hasan et al. Development of a wireless surveillance robot for controlling from long distance
JP2778376B2 (ja) カメラ視点変更方式
Chen et al. A 3d mixed reality interface for human-robot teaming
CN116016613A (zh) 一种远程控制挖掘机的方法、系统、装置及电子设备
CN116867611A (zh) 融合静态大视场和高保真度可移动传感器用于机器人平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106