CN107662195A - 一种具有临场感的机器手主从异构遥操作控制系统及控制方法 - Google Patents

一种具有临场感的机器手主从异构遥操作控制系统及控制方法 Download PDF

Info

Publication number
CN107662195A
CN107662195A CN201710865409.3A CN201710865409A CN107662195A CN 107662195 A CN107662195 A CN 107662195A CN 201710865409 A CN201710865409 A CN 201710865409A CN 107662195 A CN107662195 A CN 107662195A
Authority
CN
China
Prior art keywords
mechanical arm
main hand
pose
real
basis coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710865409.3A
Other languages
English (en)
Inventor
刘丝丝
肖唐杰
魏清平
凌乐
陈远强
周东
莫堃
董娜
于信宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfang Electric Corp
Original Assignee
Dongfang Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfang Electric Corp filed Critical Dongfang Electric Corp
Priority to CN201710865409.3A priority Critical patent/CN107662195A/zh
Publication of CN107662195A publication Critical patent/CN107662195A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40146—Telepresence, teletaction, sensor feedback from slave to operator

Abstract

本发明公开了一种具有临场感的机器手主从异构遥操作控制系统定位方法，包括全局环境监控摄像头、末端监控摄像头、带有显示屏的中央控制器和前端带有主手的机械臂，通过定义摄像头、主手和机械臂的三维基坐标系，坐标系下的位姿数据通过旋转变换矩阵换算得到机械臂在机械臂坐标系中根据主手运动位姿等比例地应当到达的实时位姿数据，并作为控制信号控制机械臂动作到位，实现应用于核退役、核废料处理、核电站维修等核工业领域多自由度耐辐照机器人的遥操作控制。

Description

一种具有临场感的机器手主从异构遥操作控制系统及控制 方法
技术领域
本发明涉及一种机器人主从异构遥操作控制系统，具体涉及一种应用于对核废料进行抓取、切割、剪切等操作和核电站维修的7自由度遥操作控制系统。
背景技术
核工业领域的安全问题在核废料处理和核电站维修与退役领域一直是人类关心的问题。随着人工智能技术引领的机器人技术不断发展，核工业领域正越来越多的使用机器人代替人类去实现与核处理相关的一线工作，机器人在核工业领域的应用也从最初的单一工作逐渐扩展到更加复杂的领域，机器人的自由度也从最初的一维、三维、到六维、七维甚至更高的维度，遥操作技术指在人的操作下完成人难以接近或对人体有害的环境中比较复杂操作的远距离操作技术。主从式机械手模式是核工业领域的传统应用，随着工业应用中七自由度机器人的广泛使用，开发与之相关的多自由度机器人遥操作方法就显得尤为紧迫；临场感技术是将操作者的信息传给机器人作为控制信号的同时也获得机器人运动场景下的反馈信息，主要包括视觉、力觉、触觉等。具有临场感的遥操作技术将人脑的高级智慧处理能力与远程机器人作业紧密结合，充分利用人类智能的优势与机器人协同作业，目前核工业领域非接触作业中视觉临场技术大多采用单一全局摄像头，缺乏深度信息，往往让操作人员难以判断机器人的实际位置，如公开号为CN104915957A，公开时间为2015年9月16日，名称为“一种提高工业机器人三维视觉识别精度的匹配矫正方法”的中国发明专利文献，公开了一种提高工业机器人三维视觉识别精度的匹配矫正方法，包括如下步骤：(a)建立视觉引导的机器人系统；(b)零件位置的检测及调整；(c)零件的检测及更换；(d)图像的获取和转化；(e)摄像头畸变处理；(f)摄像机标定；(g)对图像灰度化处理；(h)图像预处理；(i)边缘特征提取；(j)边缘特征匹配及矫正。本发明对图像进行特征点匹配，根据其特征点的拓扑关系，获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度。
即，目前国内核工业领域接触作业中力觉临场技术因为相对视觉临场技术的非必不可少性还没有得到广泛应用。
发明内容
本发明的目的在于提供一种具有临场感的七自由度机器人主从异构遥操作控制系统，实现应用于核退役、核废料处理、核电站维修等核工业领域多自由度耐辐照机器人的遥操作控制。
本发明的目的是通过以下技术方案实现的：
一种具有临场感的机器人主从异构遥操作控制系统，其特征在于：包括全局环境监控摄像头、末端监控摄像头、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过TCP/IP协议与中央控制器数据相连。
所述末端监控摄像头设置在机械臂腕关节处，全局环境监控摄像头和末端监控摄像头组成具有目标物品景深信息提取功能的摄像头。
一种具有临场感的机器人主从异构遥操作控制方法，其特征在于，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头和末端监控摄像头采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位。
所述通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿的具体方法为：
首先通过旋转变换矩阵式将主手在三维基坐标系下的运动轨迹位姿经摄像头三维基坐标系变换到机械臂三维基坐标系中，式中TRm表示机械臂在机械臂坐标系下的运动的位姿数据变换到主手坐标系下的变换矩阵，
式中，表示由摄像头三维基坐标系到机械臂三维基坐标系的旋转变换矩阵，表示机械臂从初始位姿到当前位姿的齐次旋转变换矩阵，由中央控制器与机械臂实时通讯获得；[α β γ]是机械臂的实时姿态角数据；TMm是主手实时位姿矩阵，由中央控制器与主手通讯获得；
然后将中央控制器获得的主手在主手坐标系下的实时位姿数据PM与经过旋转变换矩阵式变换后的变换矩阵TRm相乘，得到机械臂在机械臂三维基坐标系下根据主手运动位姿等比例地应当到达的实时位姿数据PR，表达式为PR＝PMTRm。
所述全局环境监控摄像头和末端监控摄像头采集得到主手和机械臂在摄像头三维基坐标系下的位姿数据是通过控制全局环境监控摄像头和末端监控摄像头同时朝向机械臂末端的操作机构，标定两个摄像头的相对位置形成计算模型获取目标物品景深信息提取功能。
所述力反馈数据为在主手运动过程中感应到的阻力值，设定动作时间阈值，在机器人运动过程中，中央控制器循环采集机械臂的实时位姿数据与主手实时位姿数据比较，若机械臂的实时位姿数据与主手实时位姿数据有差异且在时间阈值内未消除则控制主手向机械臂传递一个与主手当前运动方向相反的力反馈给操作者。
所述摄像头、主手和机械臂的三维基坐标系为初始状态下在实时位置建立起的基础三维基坐标系，可以采取开发模块中本身的坐标系。
本发明的有益效果如下：
一、本发明提供的一种具有临场感的机器人主从异构遥操作控制系统，可通过视屏的实时显示对机器人进行操作，中央控制器对全局环境监控摄像头和末端监控摄像头检测到的主手活机械臂的位姿数据转换计算实现检测系统数据与主手、机械臂实际位置数据的换算保证控制精度，也将机器人动作状态视屏化展现在操作者眼前，实现第一视角操作的环境，同时主手上还设置有力反馈装置，实时向操作者反馈力数据，增强操作感，使操作者身临其境，更好操作，也使得一些操作者不能直接接触的特殊使用环境中对机器人的操作更为便利；增加了主手按钮控制机械臂腕部关节处的伸缩，扩展了多自由度主手在核工业领域的运动方式，推进了工业机器人在核工业领域的应用。
二、本发明提供的一种具有临场感的机器人主从异构遥操作控制系统，末端监控摄像头设置在机械臂腕关节处，可以实时与机械臂随动并检测到主手的全景，全局环境监控摄像头和末端监控摄像头处于不同的位置，类似于双眼定位的作用，便于实现景深数据的采集，精确定位机械手和主手的位姿数据，操作者也可以通过视频信息判断机器人在视频中深度方向上的运动状态。
三、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，分别定义摄像头、主手和机械臂的三维基坐标系，对应主手或机械臂在摄像头下的位姿数据和实际操作空间中的位姿数据，摄像头下的位姿数据即为操作者人眼观察到的状态，通过主从异构运动学解算方法换算摄像头、主手和机械臂的三维坐标，通过差值确定控制信号，并且可以将实际位姿数据与视屏显示的位姿数据(即摄像头坐标系下的位姿数据)进行转换，因此可通过视频的观察即可操作机械臂和主手在实际工作空间中到达指定位置，实现了视觉控制的过程，使操作者通过屏幕的第一视角即完成了对实际空间中的机器人进行控制，临场感更强。
四、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，通过旋转变换矩阵式将主手在主手三维基坐标系下的运动轨迹变换到机械臂三维基坐标系中，变换过程中先将主手的位姿转换到摄像头三维基坐标系中，即操作者通过可视化屏幕下达操作指令，然后再转换至机械臂的三维基坐标系中，最后结合实时数据得到实际空间中机械臂和机械手的位姿数据，对实时位姿数据进行逆运动学位姿解算即可实施动作，操作者可以通过视频信息判断机械臂运动在实际工作空间的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性。
五、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，主手末端位姿遥操作机械臂末端位姿的主从异构运动学解算方法成功的对机械臂完成了与主手精确的等比例位姿移动，该控制方法进一步完善了异构遥操作的控制策略，使遥操作机器人能适应更丰富的控制需求，适应了核工业领域的作业需求。
六、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，提供了视觉临场感功能，除了传统的通过一个环境监控摄像头以外增加了安装在机械臂腕部的末端监控摄像头，增加了深度信息，操作者可以通过视频信息判断机械臂运动在视频深度方向上的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性。
七、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，提供了力反馈，在机械臂发生碰撞等电机堵转的情况下通过速度等比例反馈主手一个力，提高了遥操作控制的安全性，也让操作人员在不同的工作空间中通过遥操作感同身受机械臂在作业现场的手里情况。
八、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，提供了重力保持功能，使操作人员在遥操作过程中暂停运动控制时能够保持在当前位姿，避免了一个整段的遥操作运动的终止，能让操作人员腾出手持6-DOF主手的精力，把注意力放到更高效地将7-DOF机械臂移动到目标位置。增强了遥操作控制的用户体验，推动了核工业领域遥操作机器人的发展。
附图说明
图1是本发明一种优选方案的系统结构示意图；
图中：
1、全局环境监控摄像头；2、末端监控摄像头。
具体实施方式
以下通过几个具体实施例来进一步说明为实现本发明目的的技术方案，需要说明的是，本发明所要求保护的技术方案包括但不限于以下实施例。
实施例1
如图1，一种具有临场感的机器人主从异构遥操作控制系统，包括全局环境监控摄像头1、末端监控摄像头2、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过TCP/IP协议与中央控制器数据相连。
这是本发明一种最基本的实施方案。通过视屏显示对机器人进行操作，中央控制器对全局环境监控摄像头和末端监控摄像头检测到的主手和机械臂位置信息转换计算实现检测系统数据与主手、机械臂实际位置数据的换算保证控制精度，也将机器人动作状态视屏化展现在操作者眼前，实现第一视角操作的环境，同时主手上还设置有力反馈装置，实时向操作者反馈力数据，增强操作感，使操作者身临其境，更好操作，也使得一些操作者不能直接接触的特殊使用环境中对机器人的操作更为便利；增加了主手按钮控制机械臂腕部关节处的伸缩，扩展了7-DOF自由度主手在核工业领域的运动方式，推进了工业机器人在核工业领域的应用。
实施例2
如图1，一种具有临场感的机器人主从异构遥操作控制系统，包括全局环境监控摄像头1、末端监控摄像头2、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过TCP/IP协议与中央控制器数据相连；所述末端监控摄像头2设置在机械臂腕关节处，全局环境监控摄像头1和末端监控摄像头2组成具有目标物品景深信息提取功能的摄像头。
这是本发明一种具有临场感的机器人主从异构遥操作控制系统一种优选的实施方案。通过视屏显示对机器人进行操作，中央控制器对全局环境监控摄像头和末端监控摄像头检测到的主手和机械臂位置信息转换计算实现检测系统数据与主手、机械臂实际位置数据的换算保证控制精度，也将机器人动作状态视屏化展现在操作者眼前，实现第一视角操作的环境，同时主手上还设置有力反馈装置，实时向操作者反馈力数据，增强操作感，使操作者身临其境，更好操作，也使得一些操作者不能直接接触的特殊使用环境中对机器人的操作更为便利；增加了主手按钮控制机械臂腕部关节处的伸缩，扩展了7-DOF自由度主手在核工业领域的运动方式，推进了工业机器人在核工业领域的应用；末端监控摄像头设置在机械臂腕关节处，可以实时与机械臂随动并检测到主手的全景，全局环境监控摄像头和末端监控摄像头处于不同的位置，类似于双眼定位的作用，便于实现景深数据的采集，精确定位机械手和主手的位姿数据，操作者也可以通过视频信息判断机器人在视频中深度方向上的运动状态。
实施例3
如图1，一种具有临场感的机器人主从异构遥操作控制方法，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头1和末端监控摄像头2采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位。
这是本发明一种具有临场感的机器人主从异构遥操作控制方法的最基本实施方案。分别定义摄像头、主手和机械臂的三维基坐标系，对应主手或机械臂在摄像头下的位姿数据和实际操作空间中的位姿数据，摄像头下的位姿数据即为操作者人眼观察到的状态，通过主从异构运动学解算方法换算摄像头、主手和机械臂的三维坐标，通过差值确定控制信号，并且可以将实际位姿数据与视屏显示的位姿数据(即摄像头坐标系下的位姿数据)进行转换，因此可通过视频的观察即可操作机械臂和主手在实际工作空间中到达指定位置，实现了视觉控制的过程，使操作者通过屏幕的第一视角即完成了对实际空间中的机器人进行控制，临场感更强。
实施例4
如图1，如图1，一种具有临场感的机器人主从异构遥操作控制方法，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头1和末端监控摄像头2采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位；
所述通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿的具体方法为：
首先通过旋转变换矩阵式将主手在三维基坐标系下的运动轨迹位姿经摄像头三维基坐标系变换到机械臂三维基坐标系中，式中TRm表示机械臂在机械臂坐标系下的运动的位姿数据变换到主手坐标系下的变换矩阵，
式中，表示由摄像头三维基坐标系到机械臂三维基坐标系的旋转变换矩阵，表示机械臂从初始位姿到当前位姿的齐次旋转变换矩阵，由中央控制器与机械臂实时通讯获得；[α β γ]是机械臂的实时姿态角数据；TMm是主手实时位姿矩阵，由中央控制器与主手通讯获得；
然后将中央控制器获得的主手在主手坐标系下的实时位姿数据PM与经过旋转变换矩阵式变换后的变换矩阵TRm相乘，得到机械臂在机械臂三维基坐标系下根据主手运动位姿等比例地应当到达的实时位姿数据PR，表达式为PR＝PMTRm；
所述全局环境监控摄像头和末端监控摄像头采集得到主手和机械臂在摄像头三维基坐标系下的位姿数据是通过控制全局环境监控摄像头和末端监控摄像头同时朝向机械臂末端的操作机构，标定两个摄像头的相对位置形成计算模型获取目标物品景深信息提取功能；
所述力反馈数据为在主手运动过程中感应到的阻力值，设定动作时间阈值，在机器人运动过程中，中央控制器循环采集机械臂的实时位姿数据与主手实时位姿数据比较，若机械臂的实时位姿数据与主手实时位姿数据有差异且在时间阈值内未消除则控制主手向机械臂传递一个与主手当前运动方向相反的力反馈给操作者；
这是本发明一种具有临场感的机器人主从异构遥操作控制方法的优选实施方案。分别定义摄像头、主手和机械臂的三维基坐标系，对应主手、机械臂在摄像头下的位姿数据和实际操作空间中的位姿数据，摄像头下的位姿数据即为操作者人眼观察到的状态，通过主从异构运动学解算方法换算摄像头、主手和机械臂的三维坐标，通过差值确定控制信号，并且可以将实际位姿数据与视屏显示的位姿数据(即摄像头坐标系下的位姿数据)进行转换，因此可通过视频的观察即可操作机械臂和主手在实际工作空间中到达指定位置，实现了视觉控制的过程，使操作者通过屏幕的第一视角即完成了对实际空间中的机器人进行控制，临场感更强；通过旋转变换矩阵式将机械臂在机械臂坐标系下的运动轨迹变换到主手坐标系中，变换过程中先将机械臂从摄像头坐标系转换到机械臂坐标系下，即操作者通过可视化屏幕下达操作指令，然后经过坐标系的转换后转换为实际空间中机械臂和机械手的位姿数据，操作者可以通过视频信息判断机械臂运动在实际工作空间的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性；6-DOF主手末端位姿遥操作7-DOF机械臂末端位姿的主从异构运动学解算方法成功的对机械臂完成了与主手精确的等比例位姿移动，该控制方法进一步完善了异构遥操作的控制策略，使遥操作机器人能适应更丰富的控制需求，适应了核工业领域的作业需求；提供了视觉临场感功能，除了传统的通过一个环境监控摄像头以外增加了安装在7-DOF机械臂腕部的末端监控摄像头，增加了深度信息，操作者可以通过视频信息判断7-DOF机械臂运动在视频深度方向上的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性；提供了力反馈，在7-DOF机械臂发生碰撞等电机堵转的情况下通过速度等比例反馈6-DOF主手一个力，提高了遥操作控制的安全性，也让操作人员在不同的工作空间中通过遥操作感同身受机械臂在作业现场的手里情况；提供了重力保持功能，使操作人员在遥操作过程中暂停运动控制时能够保持在当前位姿，避免了一个整段的遥操作运动的终止，能让操作人员腾出手持6-DOF主手的精力，把注意力放到更高效地将7-DOF机械臂移动到目标位置。增强了遥操作控制的用户体验，推动了核工业领域遥操作机器人的发展。
实施例5
如图1，一种具有临场感的机器手主从异构遥操作控制系统，它包括6-DOF的主手、全局环境监控摄像头、末端监控摄像头、中央控制器,、7-DOF机械臂。
中央控制器是整个控制系统的核心，主手与中央控制器通过以太网进行数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，采集后的视频数据在中央控制器屏幕上显示，7-DOF机械臂通过TCP/IP协议与中央控制器进行运动控制指令的发送和机械臂末端运动信息的接收，机械臂运动控制的位姿解算全部在中央控制器内完成。操作人员对照中央控制器屏幕上两个摄像头的视频信息操作主手，中央控制器实时解算主手位姿控制信息并发送给机械臂，实现机械臂等比例地远程移动。
主手与中央控制器的通讯周期为0.1秒，位置精度在0.01毫米。
在中央控制器内，获得的主手位姿在主手坐标系下通过坐标系变换到操作者看到的摄像头坐标系，继而从摄像头坐标系变换到机械臂坐标系，通过TCP/IP协议从中央控制器传给机械臂，机械臂做逆运动学计算传给机械臂各个关节电机，实现机械臂等比例运动。
主手坐标系、摄像头坐标系、机械臂坐标系之间的变换关系由按下主手按钮开启主从遥操作控制模式的那一刻主手和机械臂的位姿通过旋转变换矩阵式(1)得到，之后每次主手传给中央控制器的位姿都用式(1)相乘得到机械臂在机械臂坐标系下的位姿作为控制信号传给机器人，直到主从遥操作控制模式结束。式(1)中，TRm和TMm分别表示三维运动在机械臂机器人坐标系和主手坐标系下的变换矩阵，TCR表示全局监控相机坐标系到机械臂机器人坐标系的旋转变换矩阵，TMP表示主手坐标系到操作人员坐标系的齐次旋转变换矩阵。
基于视觉的临场感技术是通过机械臂腕关节的摄像头和全局监控摄像头同时看向机械臂末端的操作机构，标定两个摄像头的相对位置，做好计算模型，在同一物体的不同视频信息中提取深度信息。
基于力觉的临场感技术是通过主手的力反馈功能，在机器人发生碰撞时感知到速度的停滞，反馈给主手以相反方向的力，让操作者感觉到不能在原方向上继续移动主手。中央控制器循环采集机械臂机器人通过TCP/IP协议传回的运动信息，我们设定一个很小的速度阈值，当主手发出的运动指令在机械臂机器人端始终得不到相应实现时，我们在主手上设定与主手运动速度成正比的反方向力。
重力保持功能是在机器人较长时间内保持相同姿势不需要移动时主手能够同样地在操作人员不施加力作用时主手能自己克服自身设备的重力保持不动；其实现通过离线递归估计空间指定点的重力补偿值和实时在线插值进行重力补偿来完成；第一部分离线质量估计的具体实现：选择主手工作空间中尽可能大的长方体(包括正方体)，将其内部均分为8个相等的长方体(包括正方体)，得到27个顶点。设定这27个顶点的质量初值，在每个顶点处使用比例微分控制使其移动到此顶点处保持一定时间(实际使用中我们用的保持15个通信周期)，记录下此时的质量估计值，作为这个顶点在实时在线重力补偿中的质量，质量估算按式(2)进行。第二部分实时在线插值重力补偿的实现：确定采集到的主手位置落在之前划分长方体(包括正方体)中的哪一个中，按照式(3)完成三线性插值，完成实时在线重力补偿。
式(2)中，X表示主手末端在主手坐标系下的坐标，Xi表示正在估计质量的顶点，Mj表示当前递归循环中估计的质量，g表示实验地点当地的重力加速度值。
M(X)＝ecaM0+ecbM1+edaM2+edbM3+fcaM4+fcbM5+fdaM6+fdbM7 (3)
式(3)中，M0～M7分别表示此时主手末端落入的小长方体(含正方体)的8个顶点在主手坐标系中的坐标值，M0＝(xk,yk,zk)为三个坐标值最小的顶点。Lx,Ly,Lz分别表示小长方体的长、宽、高，则a～e的表达式如式(4)所示。

Claims (6)

1.一种具有临场感的机器人主从异构遥操作控制系统，其特征在于：包括全局环境监控摄像头(1)、末端监控摄像头(2)、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过TCP/IP协议与中央控制器数据相连。
2.如权利要求1所述的一种具有临场感的机器人主从异构遥操作控制系统，其特征在于：所述末端监控摄像头(2)设置在机械臂腕关节处，全局环境监控摄像头(1)和末端监控摄像头(2)组成具有目标物品景深信息提取功能的摄像头。
3.一种具有临场感的机器人主从异构遥操作控制方法，其特征在于，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头(1)和末端监控摄像头(2)采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位。
4.如权利要求3所述的一种具有临场感的机器人主从异构遥操作控制方法，其特征在于，所述通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿的具体方法为：
首先通过旋转变换矩阵式将主手在三维基坐标系下的运动轨迹位姿经摄像头三维基坐标系变换到机械臂三维基坐标系中，式中TRm表示机械臂在机械臂坐标系下的运动的位姿数据变换到主手坐标系下的变换矩阵，
式中，表示由摄像头三维基坐标系到机械臂三维基坐标系的旋转变换矩阵，表示机械臂从初始位姿到当前位姿的齐次旋转变换矩阵，由中央控制器与机械臂实时通讯获得；[α β γ]是机械臂的实时姿态角数据；TMm是主手实时位姿矩阵，由中央控制器与主手通讯获得；
然后将中央控制器获得的主手在主手坐标系下的实时位姿数据PM与经过旋转变换矩阵式变换后的变换矩阵TRm相乘，得到机械臂在机械臂三维基坐标系下根据主手运动位姿等比例地应当到达的实时位姿数据PR，表达式为PR＝PMTRm。
5.如权利要求3所述的一种具有临场感的机器人主从异构遥操作控制方法，其特征在于：所述全局环境监控摄像头和末端监控摄像头采集得到主手和机械臂在摄像头三维基坐标系下的位姿数据是通过控制全局环境监控摄像头和末端监控摄像头同时朝向机械臂末端的操作机构，标定两个摄像头的相对位置形成计算模型获取目标物品景深信息提取功能。
6.如权利要求3所述的一种具有临场感的机器人主从异构遥操作控制方法，其特征在于：所述力反馈数据为在主手运动过程中感应到的阻力值，设定动作时间阈值，在机器人运动过程中，中央控制器循环采集机械臂的实时位姿数据与主手实时位姿数据比较，若机械臂的实时位姿数据与主手实时位姿数据有差异且在时间阈值内未消除则控制主手向机械臂传递一个与主手当前运动方向相反的力反馈给操作者。
CN201710865409.3A 2017-09-22 2017-09-22 一种具有临场感的机器手主从异构遥操作控制系统及控制方法 Pending CN107662195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710865409.3A CN107662195A (zh) 2017-09-22 2017-09-22 一种具有临场感的机器手主从异构遥操作控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710865409.3A CN107662195A (zh) 2017-09-22 2017-09-22 一种具有临场感的机器手主从异构遥操作控制系统及控制方法

Publications (1)

Publication Number Publication Date
CN107662195A true CN107662195A (zh) 2018-02-06

Family

ID=61097549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710865409.3A Pending CN107662195A (zh) 2017-09-22 2017-09-22 一种具有临场感的机器手主从异构遥操作控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN107662195A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108639380A (zh) * 2018-03-29 2018-10-12 北京空间技术研制试验中心 月面探测机器人
CN109048989A (zh) * 2018-09-29 2018-12-21 电子科技大学 一种用于核环境的机械臂腕关节
CN109108931A (zh) * 2018-07-24 2019-01-01 南昌大学 基于齐次理论有限时间收敛的遥操作控制器的设计方法
CN109479520A (zh) * 2018-12-25 2019-03-19 南京工程学院 一种果蔬采摘机器人双边遥操作控制方法
CN109531559A (zh) * 2018-11-28 2019-03-29 英华达（上海）科技有限公司 机械臂控制方法及机械臂
CN110328666A (zh) * 2019-07-16 2019-10-15 汕头大学 识别系统及物料拾取机构
CN110355750A (zh) * 2018-10-29 2019-10-22 西北工业大学 面向遥操作手眼协调的交互控制方法
CN110481356A (zh) * 2019-07-31 2019-11-22 广东工业大学 一种无人机的机械手充电系统及方法
CN110559083A (zh) * 2019-09-10 2019-12-13 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN110584790A (zh) * 2019-08-13 2019-12-20 广东工业大学 基于手臂刚度的手术机器人遥操作比例控制方法
CN112091981A (zh) * 2020-11-13 2020-12-18 杭州景业智能科技股份有限公司 主从运动映射方法和系统
CN113021082A (zh) * 2019-12-24 2021-06-25 沈阳智能机器人创新中心有限公司 一种基于遥操作及全景视觉的机器人铸件打磨方法
CN113084872A (zh) * 2021-04-08 2021-07-09 国核自仪系统工程有限公司 用于核电站的检查维护机器人
WO2022002155A1 (zh) * 2020-07-01 2022-01-06 北京术锐技术有限公司 主从运动的控制方法、机器人系统、设备及存储介质
CN113997282A (zh) * 2021-10-13 2022-02-01 杭州景业智能科技股份有限公司 机械臂控制方法、装置、电子装置和存储介质
WO2022141160A1 (zh) * 2020-12-30 2022-07-07 诺创智能医疗科技(杭州)有限公司 并联平台的主从映射方法、机械臂系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
CN103077640A (zh) * 2013-01-09 2013-05-01 北京石油化工学院 机器人焊接3d辅助示教系统
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN104440864A (zh) * 2014-12-04 2015-03-25 深圳先进技术研究院 一种主从式遥操作工业机器人系统及其控制方法
CN106041927A (zh) * 2016-06-22 2016-10-26 西安交通大学 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法
CN106782730A (zh) * 2016-12-02 2017-05-31 中国东方电气集团有限公司 一种耐辐照动力机械手

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
CN103077640A (zh) * 2013-01-09 2013-05-01 北京石油化工学院 机器人焊接3d辅助示教系统
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN104440864A (zh) * 2014-12-04 2015-03-25 深圳先进技术研究院 一种主从式遥操作工业机器人系统及其控制方法
CN106041927A (zh) * 2016-06-22 2016-10-26 西安交通大学 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法
CN106782730A (zh) * 2016-12-02 2017-05-31 中国东方电气集团有限公司 一种耐辐照动力机械手

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟庆鑫 等: "《机器人技术基础》", 30 September 2006, 哈尔滨工业大学出版社 *
汤卿 等: "基于 KUKA 工业机器人的遥操作控制系统设计与异构主从控制方法研究", 《四川大学学报（工程科学版）》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108639380A (zh) * 2018-03-29 2018-10-12 北京空间技术研制试验中心 月面探测机器人
CN109108931A (zh) * 2018-07-24 2019-01-01 南昌大学 基于齐次理论有限时间收敛的遥操作控制器的设计方法
CN109048989A (zh) * 2018-09-29 2018-12-21 电子科技大学 一种用于核环境的机械臂腕关节
CN110355750A (zh) * 2018-10-29 2019-10-22 西北工业大学 面向遥操作手眼协调的交互控制方法
CN110355750B (zh) * 2018-10-29 2022-05-10 西北工业大学 面向遥操作手眼协调的交互控制方法
CN109531559B (zh) * 2018-11-28 2021-12-24 英华达（上海）科技有限公司 机械臂控制方法及机械臂
CN109531559A (zh) * 2018-11-28 2019-03-29 英华达（上海）科技有限公司 机械臂控制方法及机械臂
CN109479520A (zh) * 2018-12-25 2019-03-19 南京工程学院 一种果蔬采摘机器人双边遥操作控制方法
CN110328666A (zh) * 2019-07-16 2019-10-15 汕头大学 识别系统及物料拾取机构
CN110481356A (zh) * 2019-07-31 2019-11-22 广东工业大学 一种无人机的机械手充电系统及方法
CN110584790A (zh) * 2019-08-13 2019-12-20 广东工业大学 基于手臂刚度的手术机器人遥操作比例控制方法
CN110559083B (zh) * 2019-09-10 2020-08-25 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN110559083A (zh) * 2019-09-10 2019-12-13 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN113021082A (zh) * 2019-12-24 2021-06-25 沈阳智能机器人创新中心有限公司 一种基于遥操作及全景视觉的机器人铸件打磨方法
CN113021082B (zh) * 2019-12-24 2022-06-07 沈阳智能机器人创新中心有限公司 一种基于遥操作及全景视觉的机器人铸件打磨方法
WO2022002155A1 (zh) * 2020-07-01 2022-01-06 北京术锐技术有限公司 主从运动的控制方法、机器人系统、设备及存储介质
CN112091981A (zh) * 2020-11-13 2020-12-18 杭州景业智能科技股份有限公司 主从运动映射方法和系统
WO2022141160A1 (zh) * 2020-12-30 2022-07-07 诺创智能医疗科技(杭州)有限公司 并联平台的主从映射方法、机械臂系统和存储介质
CN113084872A (zh) * 2021-04-08 2021-07-09 国核自仪系统工程有限公司 用于核电站的检查维护机器人
CN113997282A (zh) * 2021-10-13 2022-02-01 杭州景业智能科技股份有限公司 机械臂控制方法、装置、电子装置和存储介质
CN113997282B (zh) * 2021-10-13 2022-11-25 杭州景业智能科技股份有限公司 机械臂控制方法、装置、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN107662195A (zh) 一种具有临场感的机器手主从异构遥操作控制系统及控制方法
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
CN107160364B (zh) 一种基于机器视觉的工业机器人示教系统及方法
US11813749B2 (en) Robot teaching by human demonstration
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
US8244402B2 (en) Visual perception system and method for a humanoid robot
Aleotti et al. Comfortable robot to human object hand-over
CN110170995B (zh) 一种基于立体视觉的机器人快速示教方法
Ferreira et al. Stereo-based real-time 6-DoF work tool tracking for robot programing by demonstration
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
CN108638069A (zh) 一种机械臂末端精确运动控制方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
CN106003036A (zh) 一种基于双目视觉引导的物体抓取与放置系统
JP7067816B1 (ja) 画像分割及び表面筋電図に基づくロボットの教示システム及び方法
CN109540105A (zh) 一种基于双目视觉的快递包裹抓取装置和抓取方法
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
Burrell et al. Towards a cooperative robotic system for autonomous pipe cutting in nuclear decommissioning
Kofman et al. Robot-manipulator teleoperation by markerless vision-based hand-arm tracking
Zhang et al. A real-time upper-body robot imitation system
CN109213306B (zh) 一种机器人远程控制平台及其设计方法
Hebert et al. Dual arm estimation for coordinated bimanual manipulation
Li et al. A dexterous hand-arm teleoperation system based on hand pose estimation and active vision
Xu et al. A teleoperated shared control scheme for mobile robot based semg
Khalil et al. Integrated multisensory robotic hand system for deformable object manipulation
Ren et al. Vision based object grasping of robotic manipulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180206

RJ01 Rejection of invention patent application after publication