CN113103230A - 一种基于处置机器人遥操作的人机交互系统及方法 - Google Patents
一种基于处置机器人遥操作的人机交互系统及方法 Download PDFInfo
- Publication number
- CN113103230A CN113103230A CN202110342829.XA CN202110342829A CN113103230A CN 113103230 A CN113103230 A CN 113103230A CN 202110342829 A CN202110342829 A CN 202110342829A CN 113103230 A CN113103230 A CN 113103230A
- Authority
- CN
- China
- Prior art keywords
- target
- pose
- robot
- augmented reality
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003190 augmentative effect Effects 0.000 claims abstract description 38
- 238000004088 simulation Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Abstract
本发明提供了一种基于处置机器人遥操作的人机交互系统及方法，其中该系统包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
Description
技术领域
本发明属于人机交互领域，尤其涉及一种基于处置机器人遥操作的人机交互系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
为了完成危险环境中的处置任务，往往需要处置机器人代替处置人员进入危险环境工作，而基于用户、机器人空间分离的遥操作控制模式应用最为广泛，在这种控制模式下，用户可以在主端通过遥控器等控制设备向机器人发送远程指令，位于主端的操作人员无法身临其境地感知从端的机器人状态及目标处置物信息，发明人发现，由于用户对于机器人的操作判断是基于从端机器人当前状态及环境的反馈，因此在这种情况下操作人员很容易对接下来的控制方案产生误判。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于处置机器人遥操作的人机交互系统及方法，其立足于处置机器人的遥操作控制模式，不仅可以对机械臂末端位姿进行控制，还可以将机械臂末端受力反馈至主手。
为了实现上述目的，本发明采用如下技术方案：
一种基于处置机器人遥操作的人机交互系统，其包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；
所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；
所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；
所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
进一步地，所述机械臂末端还设置有力传感器，所述力传感器用于让用户感知到机械臂末端的力变化。
进一步地，所述主机用于采用空间映射算法来对机械臂位姿进行遥操作控制。
进一步地，所述目标跟踪模块用于基于KCF算法得到目标像素位置以实时跟踪目标。
进一步地，所述传感装置还用于检测湿度、温度或气体信息并传送至目标跟踪模块，由目标跟踪模块叠加在二维图像中。
进一步地，所述沉浸式增强现实模块用于采用区域生长法对目标进行点云建模。
进一步地，所述沉浸式增强现实模块用于根据图形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。
进一步地，所述沉浸式增强现实模块中构建有机械臂模型，机械臂模型用于对力反馈手控器输入事先进行轨迹仿真，并绘制出轨迹。
进一步地，所述力反馈手控器用于在沉浸式增强现实模块确认操作无误后，再通过确认操作将控制序列发送至机械臂。
本发明的第二个方面提供一种基于处置机器人遥操作的人机交互系统的工作方法，其包括：
通过力反馈手控器来对机械臂位姿进行遥操作控制；
采集目标的深度信息及二维图像并传送至目标跟踪模块，由目标跟踪模块将深度信息叠加在二维图像中以实时跟踪目标；
获取机器人位姿并传送至沉浸式增强现实模块，由沉浸式增强现实模块基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
与现有技术相比，本发明的有益效果是：
本发明提供了基于KCF算法的深度信息提示模块，该模块基于从端摄像头传回的二维视频流，可以对从端目标物进行实时跟踪及提示，同时，该模块可以将目标物距离机械臂末端的深度信息实时显示在跟踪框体上方，加强操作人员对于从端环境目标物位置及深度信息的判断力。
为了使操作人员对于从端环境有更沉浸式、更直观的感知体验，提出了一种沉浸式的增强现实模块，该模块的处置机器人三维模型可以实时仿真机器人运动学状态，同时可以对从端目标物进行建模，仿真出机器人与目标物的相对位姿关系，使操作人员可以沉浸式地感知从端三维环境。将以上三个模块进行组合搭建，即可形成一种遥操作模式下的人机交互系统，它可以大幅增强用户的从端环境感知力，减少用户在遥操作过程中的误判，提高机器人的处置效率及准确度。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的一种基于处置机器人遥操作的人机交互系统整体架构；
图2是本发明实施例的深度信息提示模块框图；
图3是本发明实施例的模块效果图；
图4是本发明实施例的机器人与目标物的相对位姿变换关系；
图5是本发明实施例的仿真控制模式流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
参照图，本实施例的一种基于处置机器人遥操作的人机交互系统，其包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；
所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；
所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；
所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
具体地，传感装置包括深度相机、图像采集设备、姿态传感器、力传感器等。
人类在日常生活中可以通过肢体的触觉反馈来调节自身对于关节的控制，而对于上装机械臂的处置机器人来说，为了使操作人员对机器人进行控制的同时，可以感受到机械臂的接触力，需要使用力反馈手控器，力反馈手控器不仅可以对机械臂末端位姿进行控制，还可以结合机械臂末端的力传感器对用户输出力反馈。
遥操作方面，机械臂位姿的遥操作控制采用以下空间映射算法：
Ms＝kTHs+b
其中Ms为机械臂工作空间，Hs为手控器工作空间，k为比例映射系数，b为余项，通过该映射方式，通过工作空间仿真制定合适的映射系数，通过机械臂逆运动学实时求解即可实现真实机械臂的随动控制。
在具体实施中，所述机械臂末端还设置有力传感器，所述力传感器用于让用户感知到机械臂末端的力变化。在遥操作的基础上，需要指定力反馈方案，力反馈的数据来源为安放在机械臂末端的六维力传感器，通过力映射算法得到手控器给用户的三维反馈力，力映射算法如下所示：
其中f为手控器反馈力，fmax为手控器的最大力反馈量程，Fmax为力传感器可能受到的最大接触力，F即为机械臂末端实际受力。通过以上映射算法，可以让用户感知到机械臂末端的力变化，从而可以更好地控制机械臂末端
以上即为遥操作系统的整体设计方案，对于还不能完全进行自主控制的机器人来说，遥操作系统是其它模块的基石，其余的人机交互系统都是围绕该遥操作进行设计的。
在上述遥操作模块的基础上，应该加强操作人员对从端环境的感知，尤其是环境的三维信息。在传统的遥操作人机交互方式中，用户往往只能由单纯的二维图像来获取机器人周边环境信息，这意味着操作人员无法把握环境的三维特征，对于上载机械臂的移动机器人来说，对于环境深度信息的缺失可能会导致用户对机械臂末端与操作对象的距离产生误判，从而增加遥操作的风险性。
本实施例的目标跟踪模块能够通过深度相机实时获取目标的深度信息，并将深度信息叠加在二维图像中作为用户参考数据，弥补用户对从端环境深度信息的缺失、进一步增加遥操作的可靠性。此外，该系统还可以帮助其它模块定位目标位置，基于已定位的像素点可以很方便地从系统中提取目标三维坐标。模块框架如图2所示。
在移动机器人的遥操作过程中，机器人常常会处于非静止状态，例如对于眼在手上的机器人来说，机械臂移动时摄像机二维图像中的目标位置也会随时变化，为了实时明确目标物的位置并对用户发出提示，需要采用目标跟踪算法对目标进行实时跟踪。KCF(Kernel Correlation Filter)是由Joao F.Henriques等于2014年提出来的一种快速目标检测算法，该算法具有优良的跟踪精度和跟踪速度。KCF算法利用循环矩阵构造训练样本，通过原始图像向量的离散傅里叶变换将原本的矩阵求逆运算简化为对角阵运算，简化分类器训练的时间复杂度，极大的提高了跟踪速度，将其与深度相机相结合，即可对目标实现实时跟踪，通过KCF算法所得到的目标像素位置，即可从深度相机提取出目标深度信息，将其显示在目标跟踪框上方，效果如图3所示。
此外，也可以将其它传感器信息实时显示在深度相机的RGB图像中，如湿度、温度、气体信息等。该模块可以帮助操作人员直观地从二维图像中获取对象深度信息，且可以保持毫米级的精度。
在本实施例中沉浸式增强现实模块可以使操作人员更加直观地获取从端信息，只需将机器人及对象模型按照相对位姿关系进行三维注册，操作人员即可在本地通过增强现实设备沉浸式地获取从端的三维信息。
本实施例的沉浸式增强现实模块使用区域生长法对目标物进行点云建模，使用Unity3D等建模软件对机器人进行3D建模，虚拟机器人与真实机器人具有相同的运动学特性，该模块工作流程如下：
(1)从端目标物的三维建模
对于未知目标处置物，无法像机器人一样进行事先建模，因此采用区域生长法对目标进行点云建模，然后通过PointCloudFreeView插件将点云导入Unity3D生成模型。
(2)机器人与目标物的相对位姿估计
在增强现实技术中，要表达两实物的三维关系，需要进行两者的相对位姿估算，机器人在世界坐标系下的姿态可以使用姿态传感器获得，对于摄像机上装在机械臂上的机器人来说，摄像机与机器人的相对位姿可以使用机械臂运动学得出，摄像机与目标物的相对位姿可以由深度相机进行位姿估算得到，因此，可以得到机器人与目标物在世界坐标系中的相对位姿，以机器人坐标系为基准，即可将两者模型按照上述位姿注册进AR环境。位姿变换关系如图4所示。
(3)机器人模型与从端目标物模型的整合
将目标物点云模型导入机器人的Unity3D环境后，首先根据机器人姿态传感器的测量数据改变虚拟机器人的姿态，然后根据目标物与机器人的相对姿态关系，调整目标物模型姿态，这样，虚拟模型的姿态可以完全契合从端的真实状况。
(4)虚拟模型的三维注册
三维注册技术是增强现实的关键技术，由于操作人员在主端可以很方便地设置人工标识，因此人工标识法是进行三维注册的理想方案，其原理是根据图形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。该方案最具有代表性的是增强现实开发工具ARToolkit，该工具的三维注册功能依赖于一种二维人工标识码为参考系叠加虚拟物体，这种方法对硬件处理器要求不高，适宜于处理能力不强的增强现实设备，同时不需要先验知识，计算复杂度低，具有很好的实时性和准确性。
(5)关于沉浸式增强现实模块的仿真控制模式
在以往的机械臂遥操作工作模式中，机械臂都是随手控器实时运动的，然而就算操作人员已经对从端状态有了全面的了解，也无法去除产生误操作的可能性，因为操作人员对于机械臂的随动运动轨迹只有一种基于主观的模糊预期，真实的机械臂运动情况和这种预期是有一定区别的，因此，为了避免这种情况发生，本实施例设计了一种仿真控制模式，该模式基于沉浸式增强现实模块，模块中的机械臂模型可以对手控器输入事先进行轨迹仿真，并在增强现实设备中绘制出轨迹，在这个过程中，手控器本应向从端机械臂发送的控制序列处于被拦截的状态，直至操作人员通过增强现实设备确认操作无误，再通过确认操作将控制序列发送至从端机械臂，这种控制模式可以帮助操作人员事先对轨迹进行确认，避免错误的控制序列输入，流程如图5所示。
本实施例的基于处置机器人遥操作的人机交互系统的工作方法，其包括：
通过力反馈手控器来对机械臂位姿进行遥操作控制；
采集目标的深度信息及二维图像并传送至目标跟踪模块，由目标跟踪模块将深度信息叠加在二维图像中以实时跟踪目标；
获取机器人位姿并传送至沉浸式增强现实模块，由沉浸式增强现实模块基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于处置机器人遥操作的人机交互系统，其特征在于，包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；
所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；
所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；
所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
2.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述机械臂末端还设置有力传感器，所述力传感器用于让用户感知到机械臂末端的力变化。
3.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述主机用于采用空间映射算法来对机械臂位姿进行遥操作控制。
4.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述目标跟踪模块用于基于KCF算法得到目标像素位置以实时跟踪目标。
5.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述传感装置还用于检测湿度、温度或气体信息并传送至目标跟踪模块，由目标跟踪模块叠加在二维图像中。
6.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述沉浸式增强现实模块用于采用区域生长法对目标进行点云建模。
7.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述沉浸式增强现实模块用于根据图形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。
8.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述沉浸式增强现实模块中构建有机械臂模型，机械臂模型用于对力反馈手控器输入事先进行轨迹仿真，并绘制出轨迹。
9.如权利要求8所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述力反馈手控器用于在沉浸式增强现实模块确认操作无误后，再通过确认操作将控制序列发送至机械臂。
10.一种如权利要求1-9中任一项所述的基于处置机器人遥操作的人机交互系统的工作方法，其特征在于，包括：
通过力反馈手控器来对机械臂位姿进行遥操作控制；
采集目标的深度信息及二维图像并传送至目标跟踪模块，由目标跟踪模块将深度信息叠加在二维图像中以实时跟踪目标；
获取机器人位姿并传送至沉浸式增强现实模块，由沉浸式增强现实模块基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342829.XA CN113103230A (zh) | 2021-03-30 | 2021-03-30 | 一种基于处置机器人遥操作的人机交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342829.XA CN113103230A (zh) | 2021-03-30 | 2021-03-30 | 一种基于处置机器人遥操作的人机交互系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113103230A true CN113103230A (zh) | 2021-07-13 |
Family
ID=76712878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110342829.XA Pending CN113103230A (zh) | 2021-03-30 | 2021-03-30 | 一种基于处置机器人遥操作的人机交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113103230A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114043505A (zh) * | 2021-11-29 | 2022-02-15 | 上海大学 | 一种基于机械臂的仿真载具运动模拟装置及控制方法 |
| CN114683288A (zh) * | 2022-05-07 | 2022-07-01 | 法奥意威(苏州)机器人系统有限公司 | 机器人展示和控制方法、装置及电子设备 |
| US11565427B2 (en) * | 2017-08-25 | 2023-01-31 | Fanuc Corporation | Robot system |
| CN116372954A (zh) * | 2023-05-26 | 2023-07-04 | 苏州融萃特种机器人有限公司 | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 |
| WO2023124063A1 (zh) * | 2021-12-27 | 2023-07-06 | 达闼机器人股份有限公司 | 辅助机器人运行的方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651949A (zh) * | 2016-10-17 | 2017-05-10 | 中国人民解放军63920部队 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统 |
| CN108312143A (zh) * | 2017-12-19 | 2018-07-24 | 国家电网有限公司 | 机器人机械手控制方法、装置及系统 |
| WO2019014706A1 (en) * | 2016-07-15 | 2019-01-24 | Fastbrick Ip Pty Ltd | VIRTUAL ROBOT BASE |
| DE102018213985A1 (de) * | 2017-08-25 | 2019-02-28 | Fanuc Corporation | Robotersystem |
| CN109531566A (zh) * | 2018-11-16 | 2019-03-29 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于虚拟现实系统的机器人带电作业控制方法 |
| CN109968361A (zh) * | 2019-05-17 | 2019-07-05 | 北京理工大学 | 一种基于实时力反馈的变阻抗遥操作控制装置及方法 |
| CN110888532A (zh) * | 2019-11-25 | 2020-03-17 | 深圳传音控股股份有限公司 | 人机交互方法、装置、移动终端及计算机可读存储介质 |
-
2021
- 2021-03-30 CN CN202110342829.XA patent/CN113103230A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019014706A1 (en) * | 2016-07-15 | 2019-01-24 | Fastbrick Ip Pty Ltd | VIRTUAL ROBOT BASE |
| CN106651949A (zh) * | 2016-10-17 | 2017-05-10 | 中国人民解放军63920部队 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统 |
| DE102018213985A1 (de) * | 2017-08-25 | 2019-02-28 | Fanuc Corporation | Robotersystem |
| CN108312143A (zh) * | 2017-12-19 | 2018-07-24 | 国家电网有限公司 | 机器人机械手控制方法、装置及系统 |
| CN109531566A (zh) * | 2018-11-16 | 2019-03-29 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于虚拟现实系统的机器人带电作业控制方法 |
| CN109968361A (zh) * | 2019-05-17 | 2019-07-05 | 北京理工大学 | 一种基于实时力反馈的变阻抗遥操作控制装置及方法 |
| CN110888532A (zh) * | 2019-11-25 | 2020-03-17 | 深圳传音控股股份有限公司 | 人机交互方法、装置、移动终端及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| GAO, TH ; JIANG, W: "Monocular Camera Tracking Curve Optimization Algorithm in Augmented Reality", 《LECTURE NOTES ON DATA ENGINEERING AND COMMUNICATIONS TECHNOLOGIES》 * |
| 李一; 冯楠; 谭顺成: "基于KCF与改进ORB的增强现实方法", 《计算机工程》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11565427B2 (en) * | 2017-08-25 | 2023-01-31 | Fanuc Corporation | Robot system |
| CN114043505A (zh) * | 2021-11-29 | 2022-02-15 | 上海大学 | 一种基于机械臂的仿真载具运动模拟装置及控制方法 |
| CN114043505B (zh) * | 2021-11-29 | 2024-03-19 | 上海大学 | 一种基于机械臂的仿真载具运动模拟装置及控制方法 |
| WO2023124063A1 (zh) * | 2021-12-27 | 2023-07-06 | 达闼机器人股份有限公司 | 辅助机器人运行的方法、装置及存储介质 |
| CN114683288A (zh) * | 2022-05-07 | 2022-07-01 | 法奥意威(苏州)机器人系统有限公司 | 机器人展示和控制方法、装置及电子设备 |
| CN116372954A (zh) * | 2023-05-26 | 2023-07-04 | 苏州融萃特种机器人有限公司 | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| Qian et al. | Developing a gesture based remote human-robot interaction system using kinect | |
| CN107030692B (zh) | 一种基于感知增强的机械手遥操作方法及系统 | |
| KR101494344B1 (ko) | 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법 | |
| Li et al. | A mobile robot hand-arm teleoperation system by vision and imu | |
| Tölgyessy et al. | Foundations of visual linear human–robot interaction via pointing gesture navigation | |
| Delmerico et al. | Spatial computing and intuitive interaction: Bringing mixed reality and robotics together | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
| CN111459274B (zh) | 一种基于5g+ ar的针对非结构化环境的遥操作方法 | |
| US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
| Li et al. | Development of kinect based teleoperation of nao robot | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| CN113829343A (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| Ben Abdallah et al. | Kinect-based sliding mode control for Lynxmotion robotic arm | |
| CN115469576A (zh) | 一种基于人-机械臂异构运动空间混合映射的遥操作系统 | |
| Kragic et al. | Model based techniques for robotic servoing and grasping | |
| CN117103277A (zh) | 一种基于多模态数据融合的机械手臂感知方法 | |
| CN116175582A (zh) | 一种基于机器视觉的智能机械臂操控系统及控制方法 | |
| Lathuiliere et al. | Visual hand posture tracking in a gripper guiding application | |
| Du et al. | An offline-merge-online robot teaching method based on natural human-robot interaction and visual-aid algorithm | |
| Khalil et al. | Human motion retargeting to Pepper humanoid robot from uncalibrated videos using human pose estimation | |
| Jayasurya et al. | Gesture controlled AI-robot using Kinect | |
| Infantino et al. | Visual control of a robotic hand | |
| Bai et al. | Kinect-based hand tracking for first-person-perspective robotic arm teleoperation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |
|
| RJ01 | Rejection of invention patent application after publication |