CN111459274A - 一种基于5g+ ar的针对非结构化环境的遥操作方法 - Google Patents
一种基于5g+ ar的针对非结构化环境的遥操作方法 Download PDFInfo
- Publication number
- CN111459274A CN111459274A CN202010239751.4A CN202010239751A CN111459274A CN 111459274 A CN111459274 A CN 111459274A CN 202010239751 A CN202010239751 A CN 202010239751A CN 111459274 A CN111459274 A CN 111459274A
- Authority
- CN
- China
- Prior art keywords
- robot
- user
- virtual
- remote robot
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005516 engineering process Methods 0.000 claims abstract description 28
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于5G+AR的针对非结构化环境的遥操作方法。包括以下步骤：首先，对机器人所处的非结构化环境进行快速三维重构，并将重构好的的场景映射到虚拟现实空间中。然后，捕捉用户的手势动作，建立用户手的虚拟模型，并将手势动作也映射到虚拟现实空间中，从而实现用户与虚拟物体之间的交互。最后，引入了一种辅助技术，帮助用户更准确、快速地完成遥操作工作。
Description
技术领域
本发明属于遥操作领域，特别涉及一种基于5G+ AR的针对非结构化环境的遥操作方法。
背景技术
在传统的遥操作领域（U. Keller, H. J.A. Hedel, et al. ChARMin: TheFirst Actuated Exoskeleton Robot for Pediatric Arm Rehabilitation, IEEE/ASMETransactions on Mechatronics, vol. 21, no. 5, pp. 2201 - 2213, 2016. SehoonOh, Hanseung Woo, Kyoungchul Kong, “Frequency-Shaped Impedance Control forSafe Human–Robot Interaction in Reference Tracking Application,” IEEE/ASMETransactions on Mechatronics, vol. 19, no. 6, pp. 1907-1916, 2014. H.Ishida, et al., “Development of robot remote controller ‘Armrest Joystick’ —Study of bilateral remote control”, IEEE International Conference on Roboticsand Biomimetics IEEE, pp. 2413-2418, 2016.）中，操作者通常通过某种控制器如手柄、鼠标、键盘等来操作机器人，并通过远程摄像机传回的图像来观察操作对象，这使得操作者需要适应这些控制器的使用方式。对于不熟悉这些控制器的操作者来说，这增加了他们的学习成本。同时，通过观察画面来确定任务执行状态也使得用户需要在操作的同时不断观察显示器，使得用户的注意力需要在显示器和控制器之间不断转移，降低了交互的效率。
为了改善传统的交互方式，提出了使用语音、手势等自然交互方式（Yanan Li,Ge, S.S., “Human–Robot Collaboration Based on Motion Intention Estimation,IEEE/ASME Transactions on Mechatronics,” vol. 19, no. 3, pp. 1007-1014, 2014.X. Xu, A. Song, D. Ni, H. Li, P. Xiong and C. Zhu, "Visual-Haptic AidTeleoperation Based on 3-D Environment Modeling and Updating," in IEEETransactions on Industrial Electronics, vol. 63, no. 10, pp. 6419-6428, Oct.2016.），但是对于一些复杂的操作方式来说，操作者无法借助语音和手势进行准确的描述，因此所能完成的任务有限。进而，学者们（B. Browatzki, et al., “Active In-HandObject Recognition on a Humanoid Robot”, IEEE Transactions on Robotics, vol.30, no. 5, pp. 1260-1269, 2014.）希望通过使用标记捕捉操作者的动作从而对远程机器人进行操作，但是，一旦标记在操作的过程中被遮挡，操作者的动作便无法被捕捉到。所以便开始使用一些摄像机来对操作者的动作进行识别和捕捉，从而实现对远程机器人的控制。
发明内容
本发明的目的是为了解决上述现有技术存在的缺陷，提出了一种新的遥操作方法可以实现应对非结构化环境下的任务，同时应用工业AR技术以改善用户体验。系统首先对背景对象和目标对象执行不同的重建策略从而减少重建所需时间，实现快速而精准的三维重建。通过捕捉用户的手势数据并构建手势模型，实现了用户可以与虚拟物体进行交互。在此基础上，设计了一种辅助策略在虚拟端和真实端同时帮助用户操作远端机器人，并且准确快速地完成任务。
本发明的目的至少通过如下技术方案之一实现。
一种基于5G+ AR的针对非结构化环境的遥操作方法，包括以下步骤：
S1、借助安装在远程机器人手臂末端的摄像机，对远程机器人所处的非结构化环境和所需操作的目标物体进行快速三维重建；
S2、通过安装在增强现实眼镜上的摄像机，捕捉用户手势数据，对用户手部进行建模并投射到增强现实的三维空间中；
S3、事先构造虚拟机器人模型，应用计算机视觉相关技术，对用户和远程机器人的操作进行辅助校准，保证能够准确快速的完成针对非结构化环境的遥操作装配；整个过程利用5G技术将用户对模拟机器人的操作传输给远程机器人。
进一步地，步骤S1中，所述快速三维重建技术分为粗糙重建技术和精细重建技术；
由于远程机器人所处非结构化环境中的背景对象对远程机器人完成任务没有重大影响，因此对于非结构化环境中的背景对象进行粗糙重建；远程机器人通过以固定角度移动机械臂末端的摄像机，摄像机捕获非结构化环境中的背景对象的点云图像，将其在世界坐标系中进行构造，通过将前后两个图像在世界坐标系处于相同位置的部分进行重叠，然后对其进行拼接从而实现对场景中背景对象的粗糙重建。
进一步地，由于远程机器人所要操作的目标物体对远程机器人能否正确完成工作有着重大的影响，因此对所要操作的目标物体需要执行精细重建；通过控制摄像机围绕所要操作的目标物体不断捕捉点云图像，并应用迭代最近点算法比较点云图像之间的相似点对点云图像进行拼接，从而实现对目标物体的精细重建。
进一步地，所述步骤S2具体包括以下步骤：
S21、依据增强现实眼镜与摄像机的位置关系将摄像机捕获到的手势数据进行坐标转换；
S22、借助惯性测量单元消除用户移动时造成的测量误差，惯性测量单元用于获取到操作者手的加速度和角速度，依据操作者手的加速度和角速度和手的初始位置计算出手移动后的位置从而减小误差；
S23、使用卡尔曼滤波器消除获得手势数据中的噪声；
S24、根据消除噪声后的手势数据对用户手部进行建模并投射到增强现实的三维空间中。
进一步地，步骤S3中，所述计算机视觉相关技术分为虚拟视觉辅助技术和真实视觉辅助技术；
所述虚拟视觉辅助技术如下：当执行遥操作装配工作时，因为负责执行装配工作的远程机器人是已知的，所以会依据远程机器人的外形、结构参数直接对其进行构造，形成一个与之相同的虚拟机器人模型。当用户在本地虚拟现实环境中进行操作，即通过手引导虚拟现实环境中事先构造出的虚拟机器人模型执行装配动作时，为了帮助用户更加准确快速地完成任务，使用约束识别技术帮助用户确定虚拟环境中虚拟物体之间的位置关系，使用户在没有反馈的情况下能够更加准确地完成任务；通过对虚拟机器人模型执行任务过程中的各项参数进行记录，再经过计算和转化就得到远程机器人在完成任务的过程中需要移动的位置，从而得到控制远程机器人的指令，然后借助5G技术将指令发送给远程机器人去执行。
进一步地，所述真实视觉辅助技术如下：当远程机器人执行遥操作指令的时候，因为存在模型误差，真实执行效果与预期执行效果可能产生偏差，因此当远程机器人执行遥操作指令时，机器人的末端与目标物体之间的距离达到一个阈值时，计算机会依据远程机器人机械臂末端摄像头拍摄的图片对目标物体进行进一步矫正，即对图片进行边缘提取，若发现目标物体和目标位置分别对应的边缘没有对齐则自动调整目标物体使两个边缘能够对齐，从而保证操作目标物体与目标位置完全对齐，能够准确完成指令。
与现有技术相比，本发明具有以下优势：
（1）借助增强现实眼镜和摄像机，可以动态地捕捉操作者的手势，使操作者在观察的同时可以执行操作，最大限度地还原了真实场景中用户的行为模式，降低了用户的学习成本，提高了工作效率。
（2）针对非结构化环境，设计了一套可以进行快速重建的算法，在保证了重建精度的同时，极大地提高了重建速度。
（3）考虑到手部定位精度和重建误差等问题，利用计算机视觉相关技术，提出了基于视觉的辅助方法，提高了用户完成任务的速度和准确率。
附图说明
图1为本发明一种基于5G+ AR的针对非结构化环境的遥操作方法的流程图。
具体实施方式
下面结合实施例和附图对本发明的具体实施做进一步的说明，但本发明的实施方式不限于此。
实施例：
一种基于5G+ AR的针对非结构化环境的遥操作方法，如图1所示，包括以下步骤：
S1、借助安装在远程机器人手臂末端的摄像机，对远程机器人所处的非结构化环境和所需操作的目标物体进行快速三维重建；
所述快速三维重建技术分为粗糙重建技术和精细重建技术；
由于远程机器人所处非结构化环境中的背景对象对远程机器人完成任务没有重大影响，因此对于非结构化环境中的背景对象进行粗糙重建；远程机器人通过以固定角度移动机械臂末端的摄像机，摄像机捕获非结构化环境中的背景对象的点云图像，将其在世界坐标系中进行构造，通过将前后两个图像在世界坐标系处于相同位置的部分进行重叠，然后对其进行拼接从而实现对场景中背景对象的粗糙重建。
由于远程机器人所要操作的目标物体对远程机器人能否正确完成工作有着重大的影响，因此对所要操作的目标物体需要执行精细重建；通过控制摄像机围绕所要操作的目标物体不断捕捉点云图像，并应用迭代最近点算法比较点云图像之间的相似点对点云图像进行拼接，从而实现对目标物体的精细重建。
S2、通过安装在增强现实眼镜上的摄像机，捕捉用户手势数据，对用户手部进行建模并投射到增强现实的三维空间中；具体包括以下步骤：
S21、依据增强现实眼镜与摄像机的位置关系将摄像机捕获到的手势数据进行坐标转换；
S22、借助惯性测量单元消除用户移动时造成的测量误差，惯性测量单元用于获取到操作者手的加速度和角速度，依据操作者手的加速度和角速度和手的初始位置计算出手移动后的位置从而减小误差；
S23、使用卡尔曼滤波器消除获得手势数据中的噪声；
S24、根据消除噪声后的手势数据对用户手部进行建模并投射到增强现实的三维空间中。
S3、事先构造虚拟机器人模型，应用计算机视觉相关技术，对用户和远程机器人的操作进行辅助校准，保证能够准确快速的完成针对非结构化环境的遥操作装配；整个过程利用5G技术将用户对模拟机器人的操作传输给远程机器人；
所述计算机视觉相关技术分为虚拟视觉辅助技术和真实视觉辅助技术；
所述虚拟视觉辅助技术如下：当执行遥操作装配工作时，因为负责执行装配工作的远程机器人是已知的，所以会依据远程机器人的外形、结构参数直接对其进行构造，形成一个与之相同的虚拟机器人模型；当用户在本地虚拟现实环境中进行操作，即通过手引导虚拟现实环境中事先构造出的虚拟机器人模型执行装配动作时，为了帮助用户更加准确快速地完成任务，使用约束识别技术帮助用户确定虚拟环境中虚拟物体之间的位置关系，使用户在没有反馈的情况下能够更加准确地完成任务；通过对虚拟机器人模型执行任务过程中的各项参数进行记录，再经过计算和转化就得到远程机器人在完成任务的过程中需要移动的位置，从而得到控制远程机器人的指令，然后借助5G技术将指令发送给远程机器人去执行。
所述真实视觉辅助技术如下：当远程机器人执行遥操作指令的时候，因为存在模型误差，真实执行效果与预期执行效果可能产生偏差，因此当远程机器人执行遥操作指令时，机器人的末端与目标物体之间的距离达到一个阈值时，计算机会依据远程机器人机械臂末端摄像头拍摄的图片对目标物体进行进一步矫正，即对图片进行边缘提取，若发现目标物体和目标位置分别对应的边缘没有对齐则自动调整目标物体使两个边缘能够对齐，从而保证操作目标物体与目标位置完全对齐，能够准确完成指令。
Claims (6)
1.一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，包括以下步骤：
S1、借助安装在远程机器人手臂末端的摄像机，对远程机器人所处的非结构化环境和所需操作的目标物体进行快速三维重建；
S2、通过安装在增强现实眼镜上的摄像机，捕捉用户手势数据，对用户手部进行建模并投射到增强现实的三维空间中；
S3、事先构造虚拟机器人模型，应用计算机视觉相关技术，对用户和远程机器人的操作进行辅助校准，保证能够准确快速的完成针对非结构化环境的遥操作装配；整个过程利用5G技术将用户对模拟机器人的操作传输给远程机器人。
2.根据权利要求1所述的一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，步骤S1中，所述快速三维重建技术分为粗糙重建技术和精细重建技术；
由于远程机器人所处非结构化环境中的背景对象对远程机器人完成任务没有重大影响，因此对于非结构化环境中的背景对象进行粗糙重建；远程机器人通过以固定角度移动机械臂末端的摄像机，摄像机捕获非结构化环境中的背景对象的点云图像，将其在世界坐标系中进行构造，通过将前后两个图像在世界坐标系处于相同位置的部分进行重叠，然后对其进行拼接从而实现对场景中背景对象的粗糙重建。
3.根据权利要求2所述的一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，由于远程机器人所要操作的目标物体对远程机器人能否正确完成工作有着重大的影响，因此对所要操作的目标物体需要执行精细重建；通过控制摄像机围绕所要操作的目标物体不断捕捉点云图像，并应用迭代最近点算法比较点云图像之间的相似点对点云图像进行拼接，从而实现对目标物体的精细重建。
4.根据权利要求1所述的一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、依据增强现实眼镜与摄像机的位置关系将摄像机捕获到的手势数据进行坐标转换；
S22、借助惯性测量单元消除用户移动时造成的测量误差，惯性测量单元用于获取到操作者手的加速度和角速度，依据操作者手的加速度和角速度和手的初始位置计算出手移动后的位置从而减小误差；
S23、使用卡尔曼滤波器消除获得手势数据中的噪声；
S24、根据消除噪声后的手势数据对用户手部进行建模并投射到增强现实的三维空间中。
5.根据权利要求1所述的一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，步骤S3中，所述计算机视觉相关技术分为虚拟视觉辅助技术和真实视觉辅助技术；
所述虚拟视觉辅助技术如下：当执行遥操作装配工作时，因为负责执行装配工作的远程机器人是已知的，所以会依据远程机器人的外形、结构参数直接对其进行构造，形成一个与之相同的虚拟机器人模型；当用户在本地虚拟现实环境中进行操作，即通过手引导虚拟现实环境中事先构造出的虚拟机器人模型执行装配动作时，为了帮助用户更加准确快速地完成任务，使用约束识别技术帮助用户确定虚拟环境中虚拟物体之间的位置关系，使用户在没有反馈的情况下能够更加准确地完成任务；通过对虚拟机器人模型执行任务过程中的各项参数进行记录，再经过计算和转化就得到远程机器人在完成任务的过程中需要移动的位置，从而得到控制远程机器人的指令，然后借助5G技术将指令发送给远程机器人去执行。
6.根据权利要求5所述的一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，所述真实视觉辅助技术如下：当远程机器人执行遥操作指令的时候，因为存在模型误差，真实执行效果与预期执行效果可能产生偏差，因此当远程机器人执行遥操作指令时，机器人的末端与目标物体之间的距离达到一个阈值时，计算机会依据远程机器人机械臂末端摄像头拍摄的图片对目标物体进行进一步矫正，即对图片进行边缘提取，若发现目标物体和目标位置分别对应的边缘没有对齐则自动调整目标物体使两个边缘能够对齐，从而保证操作目标物体与目标位置完全对齐，能够准确完成指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010239751.4A CN111459274B (zh) | 2020-03-30 | 2020-03-30 | 一种基于5g+ ar的针对非结构化环境的遥操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010239751.4A CN111459274B (zh) | 2020-03-30 | 2020-03-30 | 一种基于5g+ ar的针对非结构化环境的遥操作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111459274A true CN111459274A (zh) | 2020-07-28 |
| CN111459274B CN111459274B (zh) | 2021-09-21 |
Family
ID=71685079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010239751.4A Active CN111459274B (zh) | 2020-03-30 | 2020-03-30 | 一种基于5g+ ar的针对非结构化环境的遥操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111459274B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112276914A (zh) * | 2020-12-28 | 2021-01-29 | 佛山冠博机械科技发展有限公司 | 一种基于ar技术的工业机器人及其人机交互方法 |
| CN113146612A (zh) * | 2021-01-05 | 2021-07-23 | 上海大学 | 一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法 |
| CN113211434A (zh) * | 2021-04-25 | 2021-08-06 | 南京邮电大学 | 一种基于物联网的ar复杂系统装备远程维修系统 |
| CN114434437A (zh) * | 2020-10-30 | 2022-05-06 | 西门子（中国）有限公司 | 一种机器人的远程控制方法及装置 |
| DE102021214584A1 (de) | 2021-12-17 | 2023-06-22 | Volkswagen Aktiengesellschaft | Zuweisen einer Aufgabe an einen örtlich entfernten Experten |
| WO2023124063A1 (zh) * | 2021-12-27 | 2023-07-06 | 达闼机器人股份有限公司 | 辅助机器人运行的方法、装置及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599794A (zh) * | 2016-11-21 | 2017-04-26 | 南京熊猫电子股份有限公司 | 一种基于ar模型的六轴工业机器人故障诊断方法及系统 |
| CN106737668A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种基于虚拟现实的带电作业机器人遥操作方法 |
| CN106873787A (zh) * | 2017-04-10 | 2017-06-20 | 武汉大学 | 一种用于虚拟手术仿真教学的手势交互系统及方法 |
| CN108133495A (zh) * | 2016-12-01 | 2018-06-08 | 汤姆逊许可公司 | 用于移动设备环境的3d重建方法、相应的程序产品和设备 |
| CN108305326A (zh) * | 2018-01-22 | 2018-07-20 | 中国人民解放军陆军航空兵学院 | 一种混合虚拟现实的方法 |
| CN108422435A (zh) * | 2018-03-21 | 2018-08-21 | 青岛理工大学 | 一种基于增强现实的远程监测及控制系统 |
| CN109003300A (zh) * | 2018-07-09 | 2018-12-14 | 查常财 | 一种基于人体质心位移计算算法的虚拟现实系统 |
| CN109388142A (zh) * | 2015-04-30 | 2019-02-26 | 广东虚拟现实科技有限公司 | 一种基于惯性传感器进行虚拟现实行走控制的方法及系统 |
| US20190109937A1 (en) * | 2011-11-04 | 2019-04-11 | Remote TelePointer, LLC | Method and system for user interface for interactive devices using a mobile device |
| CN110815258A (zh) * | 2019-10-30 | 2020-02-21 | 华南理工大学 | 基于电磁力反馈和增强现实的机器人遥操作系统和方法 |
| US20200065584A1 (en) * | 2018-08-27 | 2020-02-27 | Dell Products, L.P. | CONTEXT-AWARE HAZARD DETECTION USING WORLD-FACING CAMERAS IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS |
-
2020
- 2020-03-30 CN CN202010239751.4A patent/CN111459274B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190109937A1 (en) * | 2011-11-04 | 2019-04-11 | Remote TelePointer, LLC | Method and system for user interface for interactive devices using a mobile device |
| CN109388142A (zh) * | 2015-04-30 | 2019-02-26 | 广东虚拟现实科技有限公司 | 一种基于惯性传感器进行虚拟现实行走控制的方法及系统 |
| CN106599794A (zh) * | 2016-11-21 | 2017-04-26 | 南京熊猫电子股份有限公司 | 一种基于ar模型的六轴工业机器人故障诊断方法及系统 |
| CN108133495A (zh) * | 2016-12-01 | 2018-06-08 | 汤姆逊许可公司 | 用于移动设备环境的3d重建方法、相应的程序产品和设备 |
| CN106737668A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种基于虚拟现实的带电作业机器人遥操作方法 |
| CN106873787A (zh) * | 2017-04-10 | 2017-06-20 | 武汉大学 | 一种用于虚拟手术仿真教学的手势交互系统及方法 |
| CN108305326A (zh) * | 2018-01-22 | 2018-07-20 | 中国人民解放军陆军航空兵学院 | 一种混合虚拟现实的方法 |
| CN108422435A (zh) * | 2018-03-21 | 2018-08-21 | 青岛理工大学 | 一种基于增强现实的远程监测及控制系统 |
| CN109003300A (zh) * | 2018-07-09 | 2018-12-14 | 查常财 | 一种基于人体质心位移计算算法的虚拟现实系统 |
| US20200065584A1 (en) * | 2018-08-27 | 2020-02-27 | Dell Products, L.P. | CONTEXT-AWARE HAZARD DETECTION USING WORLD-FACING CAMERAS IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS |
| CN110815258A (zh) * | 2019-10-30 | 2020-02-21 | 华南理工大学 | 基于电磁力反馈和增强现实的机器人遥操作系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张浩等: "基于遥操作的视频增强现实系统的研究", 《机械与电子》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114434437A (zh) * | 2020-10-30 | 2022-05-06 | 西门子（中国）有限公司 | 一种机器人的远程控制方法及装置 |
| CN112276914A (zh) * | 2020-12-28 | 2021-01-29 | 佛山冠博机械科技发展有限公司 | 一种基于ar技术的工业机器人及其人机交互方法 |
| CN112276914B (zh) * | 2020-12-28 | 2021-03-16 | 佛山冠博机械科技发展有限公司 | 一种基于ar技术的工业机器人及其人机交互方法 |
| CN113146612A (zh) * | 2021-01-05 | 2021-07-23 | 上海大学 | 一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法 |
| CN113211434A (zh) * | 2021-04-25 | 2021-08-06 | 南京邮电大学 | 一种基于物联网的ar复杂系统装备远程维修系统 |
| DE102021214584A1 (de) | 2021-12-17 | 2023-06-22 | Volkswagen Aktiengesellschaft | Zuweisen einer Aufgabe an einen örtlich entfernten Experten |
| WO2023111184A1 (de) | 2021-12-17 | 2023-06-22 | Volkswagen Aktiengesellschaft | Zuweisen einer aufgabe an einen örtlich entfernten experten |
| WO2023124063A1 (zh) * | 2021-12-27 | 2023-07-06 | 达闼机器人股份有限公司 | 辅助机器人运行的方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111459274B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111459274B (zh) | 一种基于5g+ ar的针对非结构化环境的遥操作方法 | |
| JP7326911B2 (ja) | 制御システムおよび制御方法 | |
| Li | Human–robot interaction based on gesture and movement recognition | |
| Lambrecht et al. | Spatial programming for industrial robots based on gestures and augmented reality | |
| CN107627303A (zh) | 一种基于眼在手上结构的视觉伺服系统的pd‑smc控制方法 | |
| CN104457566A (zh) | 一种无须示教机器人系统的空间定位方法 | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| CN113319859B (zh) | 一种机器人示教方法、系统、装置及电子设备 | |
| CN114536346B (zh) | 一种基于人机协作和视觉检测的机械臂精确路径规划方法 | |
| CN111753696A (zh) | 一种感知场景信息的方法、仿真装置、机器人 | |
| CN115351780A (zh) | 用于控制机器人设备的方法 | |
| Teke et al. | Real-time and robust collaborative robot motion control with Microsoft Kinect® v2 | |
| Lopez et al. | Taichi algorithm: human-like arm data generation applied on non-anthropomorphic robotic manipulators for demonstration | |
| US11897142B2 (en) | Method and device for creating a robot control program | |
| Nakhaeinia et al. | Adaptive robotic contour following from low accuracy RGB-D surface profiling and visual servoing | |
| Jung et al. | Control of the manipulator position with the kinect sensor | |
| CN112824060B (zh) | 加工路径生成装置及其方法 | |
| Infantino et al. | Visual control of a robotic hand | |
| CN115570562B (zh) | 机器人装配位姿确定方法、装置、机器人及存储介质 | |
| Falco et al. | Improvement of human hand motion observation by exploiting contact force measurements | |
| JPH0795560A (ja) | 遠隔操作システムの画像計測方法及びその装置並びに距離計測方法 | |
| Li et al. | Augmented reality based robot path planning for programming by demonstration | |
| Yang et al. | Pose estimation algorithm of 3C parts based on virtual 3d sensor for robot assembly | |
| CN112917457A (zh) | 一种基于增强现实技术的工业机器人快速精准示教系统及方法 | |
| CN117921682A (zh) | 基于双目视觉的焊接机器人快速示教装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220610 Address after: 510000 floors 5-6, building B4, No. 11, Kaiyuan Avenue, Science City, Guangzhou high tech Industrial Development Zone, Guangzhou, Guangdong Province Patentee after: GUANGZHOU LONGEST SCIENCE & TECHNOLOGY Co.,Ltd. Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: SOUTH CHINA University OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |