CN116000932B - 运动设备控制方法、系统、装置、设备和存储介质 - Google Patents
运动设备控制方法、系统、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116000932B CN116000932B CN202211734024.0A CN202211734024A CN116000932B CN 116000932 B CN116000932 B CN 116000932B CN 202211734024 A CN202211734024 A CN 202211734024A CN 116000932 B CN116000932 B CN 116000932B
- Authority
- CN
- China
- Prior art keywords
- motion
- controlled
- data
- increment
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000033001 locomotion Effects 0.000 claims abstract description 678
- 238000004088 simulation Methods 0.000 claims abstract description 129
- 230000008859 change Effects 0.000 claims description 84
- 238000001514 detection method Methods 0.000 claims description 49
- 238000006073 displacement reaction Methods 0.000 claims description 42
- 238000001914 filtration Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 206010034719 Personality change Diseases 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 230000036544 posture Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 231100000331 toxic Toxicity 0.000 description 3
- 230000002588 toxic effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003966 vascular damage Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供运动设备控制方法、系统、装置、设备和存储介质，涉及元宇宙技术领域。运动设备控制方法包括：获取运动指令并根据运动指令进行运动模拟，得到运动模拟结果，当运动模拟结果为执行运动，控制被控设备在执行空间中进行被控设备操作以及控制虚拟设备在虚拟空间中进行虚拟设备操作，否则，虚拟设备和被控设备停止运动。通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。
Description
技术领域
本发明涉及元宇宙技术领域，尤其涉及运动设备控制方法、系统、装置、设备和存储介质。
背景技术
随着技术发展，远程机器人越来越广泛地应用在工业场景、医疗场景和商业场景中。远程机器人能够代替操作人员进行相关操作，尤其是一些有毒有害的危险场景，或者难以触达的高空作业和水下作业等场景中，远程操作很有必要。但是在这些场景中很难对机器人的操作进行现场调试。
相关技术中，一种是利用获取的现场点云进行三维重建，根据三维重建的虚拟场景对远程机器人进行调试，另一种是通过肌电信息和远程机器人互联，通过不同姿态产生的生物电信号实现对远程机器人的控制。但是前一种方式并不能实现虚拟和现实的融合，不能对远程机器人进行精细控制，后一种方案对远程机器人的作业场景有限制，只能限于人体姿态能实现的控制过程。因此如何提升远程机器人的场景适应性和控制精度，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出运动设备控制方法、系统、装置、设备和存储介质，提高远程机器人的控制精度，并扩展远程机器人的使用场景。
为实现上述目的，本申请实施例的第一方面提出了一种运动设备控制方法，应用于运动设备控制系统，所述运动设备控制系统包括虚拟设备和被控设备，所述虚拟设备在虚拟空间运行，所述被控设备在执行空间运行，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联；所述方法包括：
获取运动指令；
根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；
当所述运动模拟结果为执行运动，根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；
否则，所述虚拟设备和所述被控设备停止运动。
在一实施例，所述根据所述运动指令进行运动模拟，得到运动模拟结果，包括：
获取所述被控设备或所述虚拟设备的前一时刻运动状态和所述虚拟空间的空间位置属性信息；
根据所述运动指令和所述前一时刻运动状态计算得到当前时刻运动状态；
根据所述当前时刻运动状态、所述空间位置属性信息和预设约束条件判断是否出现运动冲突；
若存在运动冲突，则所述运动模拟结果为停止运动；
若不存在运动冲突，则所述运动模拟结果为执行运动。
在一实施例，所述根据所述运动模拟结果进行设备控制操作，包括：
将所述运动指令发送至所述执行空间和所述虚拟空间；
根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；
在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作。
在一实施例，所述根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作之后，所述方法还包括：
获取所述被控设备的被控运动数据；
对所述被控运动数据进行滤波操作，得到运动检测结果；
根据所述运动检测结果生成所述运动指令。
在一实施例，所述运动指令包括：位移指令和/或姿态变化指令；所述获取所述被控设备的被控运动数据，包括：
根据所述运动指令控制所述被控设备执行被控设备操作，得到所述被控设备的所述被控运动数据，所述被控设备操作包括：位移操作和/或姿态变化操作。
在一实施例，所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：
获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；
对所述运动数据序列进行增量变化计算，得到增量变化结果；
根据所述增量变化结果得到所述运动检测结果。
在一实施例，所述被控运动数据包括：位移运动数据和姿态变化数据；所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：
计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；
当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果。
在一实施例，所述根据所述增量变化结果得到所述运动检测结果，包括：
当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；
当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；
对所述增量序列求平均值，得到平均增量结果；
根据所述平均增量结果得到所述运动检测结果。
在一实施例，所述运动设备控制系统还包括控制手柄；所述获取运动指令之前，还包括：
与所述控制手柄建立连接；
根据所述被控设备的当前位置对所述控制手柄的手柄坐标系和所述被控设备的末端坐标系进行初始化；
对经过初始化的所述手柄坐标系和所述末端坐标系进行坐标映射，得到所述手柄坐标系和所述末端坐标系的坐标映射关系。
在一实施例，所述获取运动指令，包括：
获取手柄运动指令；
根据所述坐标映射关系将所述手柄运动指令转化为所述运动指令。
在一实施例，所述根据所述运动指令进行运动模拟，得到运动模拟结果之前，所述方法还包括：
获取所述被控设备的设备数据和环境数据，所述环境数据包括：第一图像数据和第二深度数据；
根据所述第一图像数据和所述第二深度数据生成所述虚拟空间；
根据所述设备数据在所述虚拟空间生成与所述被控设备对应的所述虚拟设备。
为实现上述目的，本申请实施例的第二方面提出了一种运动设备控制系统，包括：
被控设备，位于执行空间中；
虚拟设备，位于虚拟空间中，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联；
运动控制器，用于接收运动指令，并根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；
当所述运动模拟结果为执行运动，所述运动控制器还用于根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作。
在一实施例，所述运动控制器根据所述运动指令进行运动模拟，得到运动模拟结果时执行：
获取所述被控设备或所述虚拟设备的前一时刻运动状态和所述虚拟空间的空间位置属性信息；
根据所述运动指令和所述前一时刻运动状态计算得到当前时刻运动状态；
根据所述当前时刻运动状态和所述空间位置属性信息判断是否出现运动冲突；
若存在运动冲突，则所述运动模拟结果为停止运动；
若不存在运动冲突，则所述运动模拟结果为执行运动。
在一实施例，所述运动控制器根据所述运动模拟结果进行设备控制操作时执行：
将所述运动指令发送至所述执行空间和所述虚拟空间；
根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；
在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作。
在一实施例，所述运动控制器还用于执行：
获取所述被控设备的被控运动数据；
对所述被控运动数据进行滤波操作，得到运动检测结果；
根据所述运动检测结果生成所述运动指令。
在一实施例，所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：
获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；
对所述运动数据序列进行增量变化计算，得到增量变化结果；
根据所述增量变化结果得到所述运动检测结果。
在一实施例，所述被控运动数据包括：位移运动数据和姿态变化数据；所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：
计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；
当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果。
在一实施例，所述根据所述增量变化结果得到所述运动检测结果，包括：
当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；
当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；
对所述增量序列求平均值，得到平均增量结果；
根据所述平均增量结果，得到所述运动检测结果。
为实现上述目的，本申请实施例的第三方面提出了一种运动设备控制装置，应用于运动设备控制系统，所述运动设备控制系统包括虚拟设备和被控设备，所述虚拟设备在虚拟空间运行，所述被控设备在执行空间运行，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联，所述装置包括：
获取单元，用于获取运动指令；
运动模拟单元，用于根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；
设备控制操作单元，用于当所述运动模拟结果为执行运动，根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；
停止运动单元，用于当运动模拟结果为停止运动时，所述虚拟设备和所述被控设备停止运动。
为实现上述目的，本申请实施例的第四方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第五方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请实施例提出的运动设备控制方法、系统、装置、设备和存储介质，运动设备控制方法包括：通过获取运动指令，并根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动。当运动模拟结果为执行运动，控制被控设备在执行空间中进行被控设备操作以及控制虚拟设备在虚拟空间中进行虚拟设备操作，否则，虚拟设备和被控设备停止运动。由于虚拟空间和执行空间相关联，虚拟设备与被控设备关联，通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。
附图说明
图1是本发明实施例提供的运动设备控制系统的示意图。
图2是本发明实施例提供的运动设备控制方法的流程图。
图3是本发明实施例提供的运动设备控制系统的控制手柄的示意图。
图4是本发明又一实施例提供的运动设备控制方法的流程图。
图5是图2中的步骤S110的流程图。
图6是图2中的步骤S120的流程图。
图7是图2中的步骤S130的流程图。
图8是本发明又一实施例提供的运动设备控制方法的流程图。
图9是图8中的步骤S820的流程图。
图10是图9中的步骤S822的流程图。
图11是本发明又一实施例提供的运动设备控制方法的流程图。
图12是图10中的步骤S823的流程图。
图13是本发明又一实施例提供的运动设备控制方法的流程图。
图14是本发明又一实施例提供的运动设备控制装置结构框图。
图15是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
首先，对本发明中涉及的若干名词进行解析：
元宇宙：是运用数字技术构建的由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。
三维重建：指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
卡尔曼滤波(Kalman滤波)：是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。Kalman滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中估计动态系统的状态。在通信，导航，制导与控制等多领域得到了较好的应用。
随着技术发展，远程机器人越来越广泛地应用在工业场景、医疗场景和商业场景中。远程机器人能够代替操作人员进行相关操作，尤其是一些有毒有害的危险场景，或者难以触达的高空作业和水下作业等场景中，远程操作很有必要。但是在这些场景中很难对机器人的操作进行现场调试，例如机器人运动出现误差、错位、报错等，都需要操作人员进行现场的校正和调试。在一些特殊的场景中，现场调试会带来的较多的不变性以及局限性。例如危险场景下的医疗易感染环境下作业、难以触达的高空作业和水下作业、对人身体有害的有毒化工车间以及远程办公等，均需要操作人员对机器人进行远程控制。
相关技术中，一种是利用获取的现场点云进行三维重建，根据三维重建的虚拟场景对远程机器人进行调试，另一种是通过肌电信息和远程机器人互联，通过不同姿态产生的生物电信号实现对远程机器人的控制。但是前一种方式并不能实现虚拟和现实的融合，只是根据虚拟场景选择执行操作，并不能对远程机器人进行精细控制，后一种方案对远程机器人的作业场景有限制，只能限于人体姿态能实现的控制过程，作业距离范围受限，不能适用于特定的场景。因此如何提升远程机器人的场景适应性和控制精度，成为了亟待解决的技术问题。
基于此，本发明实施例提供一种运动设备控制方法、系统、装置、设备和存储介质，设定相关联的虚拟空间和执行空间，相关联的虚拟设备和被控设备，通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。
本发明实施例提供运动设备控制方法、系统、装置、设备和存储介质，具体通过如下实施例进行说明，首先描述本发明实施例中的运动设备控制方法。
本发明实施例提供的运动设备控制方法，涉及元宇宙技术领域。本发明实施例提供的运动设备控制方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的计算机程序。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如支持运动设备控制的客户端，也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。其中，终端通过网络与服务器进行通信。该运动设备控制方法可以由终端或服务器执行，或由终端和服务器协同执行。
在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间形成组成点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission ControlProtocol)协议之上的应用层协议。服务器上可以安装运动设备控制系统的服务端，通过该服务端可以与终端进行交互，例如服务端上安装对应的软件，软件可以是实现运动设备控制方法的应用等，但并不局限于以上形式。终端与服务器之间可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者网络等通讯连接方式进行连接，本实施例在此不做限制。
为了便于理解本申请实施例，下面介绍对本申请实施例的运动设备控制系统。
参照图1，本申请实施例的运动设备控制系统包括虚拟设备100和被控设备200，其中，被控设备200是一种远程机器人，虚拟设备100是根据被控设备200构建得到。例如被控设备200是一种机械臂，根据被控设备200的结构信息生成对应的虚拟设备100，其中虚拟设备100的尺寸信息和运动关节的运动信息和被控设备200一致，虚拟设备100能够反映被控设备200的结构参数和运动状态。虚拟设备100运行在虚拟空间10中，被控设备200运行在执行空间20中，其中，执行空间20即被控设备200的作业环境场景，为真实的三维空间，虚拟空间10是根据执行空间20进行三维重建得到的虚拟场景，其能够反映执行空间20的空间信息。
在一实施例中，上述运动设备控制系统还包括运动控制器，运动控制器用于接收运动指令，并根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动，当运动模拟结果为执行运动，运动控制器还用于根据运动模拟结果进行设备控制操作，设备控制操作包括：控制被控设备在执行空间中进行被控设备操作，以及控制虚拟设备在虚拟空间中进行虚拟设备操作。
在一实施例中，运动控制器包括第一运动控制器300和第二运动控制器400。其中，第一运动控制器300可以是具有逻辑运算功能的处理器，第一运动控制器300首先用于构建虚拟设备100和虚拟空间10，还用于控制虚拟设备100在虚拟空间10中运动。进一步地，根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动。当运动模拟结果为执行运动，第一运动控制器300还用于控制虚拟设备在虚拟空间中进行虚拟设备操作。
第二运动控制器400安装于被控设备200上，用于控制被控设备200在执行空间20中运动。当运动模拟结果为执行运动，第二运动控制器400还用于控制被控设备在执行空间中进行被控设备操作。
在一实施例中，上述运动设备控制系统还包括控制手柄500，控制手柄500通过无线方式与第二运动控制器400连接，用于发送相应的控制指令以控制被控设备200。同样地，控制手柄500还通过有线或者无线的方式与第一运动控制器300连接，用于发送相应的控制指令以控制虚拟设备100。
由上述可知，本申请实施例中被控设备运行在执行空间，通过构建与被控设备对应相同的虚拟设备，与执行空间对应相同的虚拟空间，在虚拟空间中操作虚拟设备，在执行空间中操作执行设备，对虚拟空间和执行空间的信息进行融合。
下面描述本发明实施例中的运动设备控制方法。
图2是本发明实施例提供的运动设备控制方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S110至步骤S140。同时可以理解的是，本实施例对图2中步骤S110至步骤S140的顺序不做具体限定，可以根据实际需求调整步骤顺序或者减少、增加某些步骤。
步骤S110：获取运动指令。
在一实施例中，被控设备和虚拟设备已经完成初始化，被控设备按照操作需求位于执行空间中的指定位置，对应地，虚拟设备位于虚拟空间相应的位置，被控设备和虚拟设备的姿态和位置信息一致。运动指令是用于指示被控设备和虚拟设备进行运动，例如转向90度等。可以理解的是，被控设备上安装的第二运动控制器能够根据接收到的运动指令控制被控设备进行相应的运动，虚拟空间同样连接第一运动控制器，运动指令也可以传输至第一运动控制器，以控制虚拟设备与被控设备按照同一个运动指令进行协同运动，这里协同运动的含义是被控设备和虚拟设备运动后的姿态和位置一致。
在一实施例中，运动指令可以由控制手柄发送的手柄运动指令对应生成。参照图3，为控制手柄示意图，图中所示，控制手柄上包含两个摇杆、方位按键和多个控制按键，方位按键可以映射关于方位的手柄运动指令，例如前进、后退、向左、向右等；控制按键根据执行任务需求映射不同的手柄运动指令，例如显示警报、抓起、扔掷等；摇杆可以映射关于姿态的手柄运动指令，例如转弯、转圈、弯腰等。可以理解的是，本申请实施例中控制手柄的手柄运动指令可根据实际需求设定，即可根据实际需求设定不同按键映射的控制动作。
在一实施例中，参照图4，控制手柄进行坐标初始化的过程包括但不限于步骤S410至步骤S430。
步骤S410：与控制手柄建立连接。
在一实施例中，将控制手柄和第一运动控制器、第二运动控制器通信连接，使得控制手柄接入运动设备控制系统。
步骤S420：根据被控设备的当前位置对控制手柄的手柄坐标系和被控设备的末端坐标系进行初始化。
在一实施例中，将被控设备的当前位置作为坐标原点，对被控设备的末端坐标系进行初始化。可以理解的是，被控设备上可能存在不止一个末端坐标系，例如各关节的轴坐标系、大地坐标系和工具坐标系等都统称为末端坐标系，这些坐标系之间存在标定转换关系，即根据一个坐标系的位置信息和被控设备的结构信息能够进行不同坐标系的数据转化，本实施例对此不做具体限定，对被控设备的末端坐标系进行初始化指对所有的坐标系均完成初始化过程。
可以理解的是，由于虚拟设备与被控设备是对应关系，因此虚拟设备上同样存在对应地末端坐标系，可以将被控设备经过初始化后的坐标系标注在虚拟设备上。
在一实施例中，控制手柄上存在手柄坐标系，手柄坐标系用于将手柄上摇杆和按键的相关运动信息进行量化，例如将摇杆转半圈在手柄坐标系中表示对应地三维位置旋转180度的新坐标位置，或者方向按键按两下在手柄坐标系中对应的三维位置移动预设方向的新坐标位置等，本实施例对此不做具体限定。
由上述过程根据被控设备的当前位置完成对控制手柄的手柄坐标系和被控设备的末端坐标系进行初始化。
步骤S430：对经过初始化的手柄坐标系和末端坐标系进行坐标映射，得到手柄坐标系和末端坐标系的坐标映射关系。
在一实施例中，将手柄坐标系中手柄运动指令对应的移动姿态和位置信息按照同比例放大的原则映射到末端坐标系中，进行坐标映射，得到手柄坐标系和末端坐标系的坐标映射关系，例如控制手柄的方位按键中向后被按下，则手柄坐标系中按照预设的正面方向向后移动0.5cm，映射到末端坐标系中，被控设备背对着正面方向向后移动5cm，这里将手柄坐标系中0.5cm映射成末端坐标系的5cm即表示该实施例中坐标映射关系。可以理解的是，也可以预先设定不同被控设备和控制手柄的坐标映射关系，按照需求选定坐标映射关系即可。
由上述过程实现控制手柄与运动设备控制系统之间的互连和映射，参照图5，步骤S110中获取运动指令包括：
步骤S111：获取手柄运动指令。
步骤S112：根据坐标映射关系将手柄运动指令转化为运动指令。
在一实施例中，操作控制手柄生成手柄运动指令，手柄运动指令对应有手柄坐标系上相关的坐标信息，根据预设的坐标映射关系将手柄坐标系上相关的坐标信息转化到被控设备的末端坐标系中，得到末端坐标系的对应坐标信息，生成对应的运动指令。
可以理解的是，由于虚拟设备和被控设备时对应设定的，因此运动指令同样可操作虚拟设备完成指定的动作。
步骤S120：根据运动指令进行运动模拟，得到运动模拟结果。
在一实施例中，预先在虚拟空间中利用虚拟设备进行运动模拟，根据运动模拟结果来进一步指示被控设备的运动，能够提升被控设备的控制精度和场景适应性。例如一场景中需要精细操作，否则与环境发生碰撞会导致被控设备损坏或者其他严重后果，比如医疗机器人的体内操作，被控设备与病人身体发生碰撞有可能会造成血管损伤，因此可以先利用虚拟设备在虚拟空间中执行，判断执行结果，例如会不会发生碰撞等，然后根据虚拟设备的执行结果判断被控设备是否能够执行下一步。可以理解的是，该实施例中运动模拟结果包括：停止运动和执行运动，停止运动表征暂停设备执行操作，执行运动表征可继续进行设备操作。
在一实施例中，参照图6，是一实施例示出的步骤S120的一种具体实现流程图，在本实施例中根据运动指令进行运动模拟，得到运动模拟结果的步骤S120，包括：
步骤S121：获取被控设备或虚拟设备的前一时刻运动状态和虚拟空间的空间位置属性信息。
在一实施例中，为计算当前时刻进行运动的运动模拟结果，需要获取被控设备或虚拟设备的前一时刻运动状态，由于被控设备和虚拟设备对应，因此获取其中一个的前一时刻运动状态即可，运动状态可以是上一时刻的位置信息和姿态信息，可根据末端坐标系的坐标信息得到。同时获取虚拟设备在虚拟空间的空间位置属性信息，本实施例的空间位置属性信息可以是包含长宽高的空间信息和边缘面的材质信息，例如工业场景中塑料材质或混凝土材质的硬度不同，在空间位置属性信息中可以体现不同硬度等，根据空间位置属性信息反映执行空间的真实执行环境，提升利用虚拟设备进行运动模拟的精确度。
步骤S122：根据运动指令和前一时刻运动状态计算得到当前时刻运动状态。
在一实施例中，当前时刻的运动指令用于控制虚拟设备进行相应的运动，改变姿态或者移动到指定位置，因此结合虚拟设备前一时刻的运动状态，根据得到虚拟设备在虚拟空间中按照当前时刻的运动指令预计移动的位置，获取末端坐标系的对应坐标信息作为当前时刻的运动状态。需要注意的是，虚拟设备无需真正在虚拟空间中移动到当前时刻运动状态，只需要第一运动控制器根据根据运动指令和前一时刻运动状态计算得到当前时刻运动状态即可。
步骤S123：根据当前时刻运动状态、空间位置属性信息和预设约束条件判断是否出现运动冲突。
步骤S124：若存在运动冲突，则运动模拟结果为停止运动。
步骤S125：若不存在运动冲突，则运动模拟结果为执行运动。
在一实施例中，预设约束条件可以根据实际需求设定，例如虚拟设备的外表面与虚拟空间各面的距离不能大于一定的预设值等，或者虚拟设备的操作范围位于虚拟空间中预设空间范围等，在此不对预设约束条件做限定。
在一实施例中，根据空间位置属性信息判断虚拟设备处于当前时刻运动状态后是否满足预设约束条件，根据判断结果生成运动模拟结果，若存在运动冲突，则运动模拟结果为停止运动；若不存在运动冲突，则运动模拟结果为执行运动。同样地，运动冲突的判定无需虚拟设备在虚拟空间中移动，仅需要第一运动控制器进行计算判断即可。
步骤S130：当运动模拟结果为执行运动，根据运动模拟结果进行设备控制操作。
步骤S140：否则，虚拟设备和被控设备停止运动。
在一实施例中，参照图7，是一实施例示出的步骤S130的一种具体实现流程图，在本实施例中当运动模拟结果为执行运动，根据运动模拟结果进行设备控制操作的步骤S130，包括：
步骤S131：将运动指令发送至执行空间和虚拟空间。
在一实施例中，如果根据虚拟设备在虚拟空间的运动模拟结果判定可以继续执行，则根据运动模拟结果进行设备控制操作，这里的设备控制操作包括：控制被控设备在执行空间中进行被控设备操作，以及控制虚拟设备在虚拟空间中进行虚拟设备操作。因此，将运动指令同时发送至执行空间的第二运动控制器和虚拟空间的第一运动控制器，根据运动模拟结果在虚拟空间和执行空间进行协同操作，使得第一运动控制器控制虚拟设备和第二运动控制器控制被控设备执行相同的运动，达到相同的运动状态。
步骤S132：根据运动指令生成运动数据，在执行空间基于运动数据控制被控设备进行被控设备操作。
步骤S133：在虚拟空间基于运动数据控制虚拟设备进行虚拟设备操作。
在一实施例中，基于末端坐标系生成该运动指令对应的坐标信息，该坐标信息即运动数据。在执行空间基于运动数据控制被控设备进行被控设备操作，在虚拟空间基于运动数据控制虚拟设备进行虚拟设备操作。
在一实施例中，当被控设备执行动作时，需要根据被控设备的运动数据进行运动补偿，以提高被控设备的运动精度。现有的适用于机器人的滤波算法补偿精度较低，导致机器人操作运行会出现卡顿、跟随性延迟等问题，不能满足精细化操作需求。本申请实施例中基于元宇宙，将虚拟空间和执行空间进行融合，提出改进卡尔曼滤波算法算对机器人运动进行补偿，使得机器人在远程操控技术更加的流畅、更加精准。
在一实施例中，假设被控设备执行对应的操作任务需要执行N个动作，N为大于1的整数，例如N个动作分别是：动作D1、动作D2、…和动作DN，控制手柄只需要生成手柄运动指令控制被控设备执行动作D1即可，其余的动作被控设备按照预设的执行流程依次执行，这种情况下，每次动作执行之前，被控设备的第一运动控制器发送下一个动作对应的运动指令给第二运动控制器，便于第二运动控制器在虚拟空间中利用虚拟设备对下一个动作进行运动模拟，根据运动模拟结果判断是否需要执行新的动作。可以理解的是，执行过程中，如果接收到控制手柄生成的手柄运动指令，则根据手柄运动指令调整其余的执行动作。
在一实施例中，参照图8，步骤S133之后还包括以下步骤：
步骤S810：获取被控设备的被控运动数据。
在一实施例中，运动指令包括：位移指令和/或姿态变化指令，其中姿态变化包括姿态移动和姿态旋转。对应地被控设备操作包括：位移操作和/或姿态变化操作。因此获取被控设备的被控运动数据，包括：根据运动指令控制被控设备执行位移操作和/或姿态变化操作，得到被控设备的被控运动数据。
步骤S820：对被控运动数据进行滤波操作，得到运动检测结果。
在一实施例中，参照图9，是一实施例示出的步骤S820的一种具体实现流程图，在本实施例中对被控运动数据进行滤波操作，得到运动检测结果的步骤S820，包括：
步骤S821：获取被控设备的运动数据序列。
在一实施例中，运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据。可以理解的是，被控设备完成一个动作可能需要多个时刻，因此在每个执行后都获取当前时刻被控运动数据和前一时刻被控运动数据，对于第一个时刻来说，前一时刻被控运动数据可以置空或者为零。
步骤S822：对运动数据序列进行增量变化计算，得到增量变化结果。
在一实施例中，对应于被控设备操作包括：位移操作和姿态变化操作，因此被控运动数据包括：位移运动数据和姿态变化数据。
在一实施例中，参照图10，是一实施例示出的步骤S822的一种具体实现流程图，在本实施例中对运动数据序列进行增量变化计算，得到增量变化结果的步骤S822，包括：
步骤823：计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据。
在一实施例中，增量指的是当前时刻被控运动数据对应减去前一时刻被控运动数据得到，这里的运动增量数据包括：位移增量数据和姿态增量数据。即根据当前时刻位移运动数据减去前一时刻位移运动数据得到位移增量数据，根据当前时刻姿态变化数据减去前一时刻姿态变化数据得到姿态增量数据。
步骤S824：当位移增量数据位于预设位移阈值范围内，且姿态增量数据位于预设姿态阈值范围内，则增量变化结果为第一增量结果，否则增量变化结果为第二增量结果。
在一实施例中，参照图11，预设位移阈值范围设定为8cm，预设姿态阈值范围设定为180°，则当位移增量数据小于8cm并且姿态增量数据小于等于180°时，增量变化结果为第一增量结果，第一增量结果表示增量变化正常，当位移增量数据大于等于8cm并且姿态增量数据大于180°时，增量变化结果为第二增量结果，第二增量结果表示增量变化异常。
步骤S825：根据增量变化结果得到运动检测结果。
在一实施例中，参照图12，是一实施例示出的步骤S823的一种具体实现流程图，在本实施例中根据增量变化结果得到运动检测结果的步骤S823，包括：
步骤S826：当增量变化结果为第一增量结果时，对运动增量数据进行卡尔曼滤波操作，得到运动检测结果。
在一实施例中，如果增量变化正常则直接利用运动增量数据进行卡尔曼滤波操作，得到运动检测结果。卡尔曼滤波能够同时进行预测和滤波，利用卡尔曼滤波能够提升被控设备的运动精度。
步骤S827：当增量变化结果为第二增量结果时，累计得到预设次数的运动增量数据构成增量序列。
步骤S828：对增量序列求平均值，得到平均增量结果。
步骤S829：根据平均增量结果得到运动检测结果。
在一实施例中，参照图11，如果增量变化异常时不将异常的数据发送给被控设备，而是根据被控设备之前累计的预设次数的运动增量数据构成增量序列。如果之前累计的运动增量数据为M次，预设次数是5次，则M>5时，获取前五次累计的运动增量数据构成增量序列，如果M<5次，则获取M次累计的运动增量数据构成增量序列。对增量序列中运动增量数据求平均值，得到平均增量结果，根据平均增量结果生成运动检测结果给到被控设备进行下一步的操作。
由上述可知，利用卡尔曼滤波对被控设备的运动数据进行相应的数据修正，能够提升被控设备的运动精度。
步骤S830：根据运动检测结果生成运动指令。
在一实施例中，将上述滤波之后的数据作为运动检测结果，根据运动检测结果生成对应的运动指令。
在一实施例中，如果根据虚拟设备在虚拟空间的运动模拟结果判定不可以继续执行，则虚拟设备和被控设备同时停止运动。
由上述可知，由于虚拟空间和执行空间相关联，虚拟设备与被控设备关联，本申请实施例通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。
在一实施例中，运动设备控制系统的虚拟空间构建过程如下所述：
首先获取被控设备的设备信息，该信息可以利用产品的设计机构参数获得，根据该设备信息生成对应于被控设备的虚拟设备。然后采集包含深度信息的被控设备的环境数据，这里的环境数据包括：第一图像数据和第二深度数据，其中第一图像数据是被控空间的平面拍摄图像，可以是RGB数据，第二深度数据为被控空间的平面拍摄图像对应的深度信息，从深度信息中能够提取被控空间的结构参数。再根据第一图像数据和第二深度数据生成虚拟空间，将生成的虚拟设备放置在虚拟空间中。
在一实施例中，对不同的应用场景使用测量仪器、相机、绘图软件等采集设备对现场数据采集得到第一图像数据和第二深度数据，深度信息可以通过深度相机或者测量仪器测量得到。利用Unity实时内容开发平台上实时3D引擎根据第一图像数据和第二深度数据生成虚拟空间的搭建，得到仿真的3D环境，使得虚拟空间更加接近执行空间，Unity可以运行在第一运动控制器上。另外，随着动作的执行，虚拟空间可以进行实时更新，例如被控设备向前运动，对应的执行空间的操作区域也会随着发生改变，因此实时采集第一图像数据和第二深度数据，实时重建虚拟空间。可以理解的是，也可以通过点云的方式构建虚拟空间，本实施例对此不做具体限定。
在一实施例中，运动设备控制系统中各模块基于Socket通讯来传输运动指令。运动设备控制系统还包括第三运动控制器，第三运动控制器可以是处理器，第三运动控制器上安装有控制模块程序，通过控制模块程序与Unity进行网络通讯连接，从而实现虚拟空间中的虚拟设备对运动指令的接收。第三运动控制器的控制模块获取控制手柄的手柄运动指令，通过和被控设备的第二运动控制器进行Socket通讯，将手柄运动指令和执行任务相关的控制指令传输给被控设备，被控设备按照相应的指令进行运动。
在一实施例中，为了提升虚拟空间和执行空间的融合度，运动设备控制系统还包括VR设备，VR设备中可以显示虚拟空间、虚拟机器人运动过程以及采集设备采集的第一图像数据，以辅助操作员利用控制手柄对被控设备和虚拟设备的操作，提升操作精度。
在一实施例中，参照图13，通过Realsenese摄像头采集第一图像数据和第二深度数据，在Unity中配置“Realsense SDK2.0”进行初始化摄像头，分别传输包含目标物体的第一图像数据的RGB图像数据给VR设备中的图像显示页面进行显示，也将第二深度数据根据动作进行坐标映射，将深度信息映射到目标物体上，并对被控设备和目标物体之间的深度距离进行判断，对执行空间中的目标物体的距离做出交互。例如当被控设备与目标物体的距离L小于5cm时，图像显示页面会显示红色进行提醒，当被控设备与目标物体的距离L位于5cm至10cm之间时，图像显示页面显示绿色，表示可以对目标物体进行操作，当被控设备与目标物体的距离L大于10cm时，可以显示蓝色，表示需要再靠近目标物体，才能进行操作。可以理解的是，上述交互距离可以根据目标物体的不同、执行任务的不同进行实时的数据设定和调整。
在一实施例中，具体的工作流程描述为：
将第三运动控制器、第二运动控制器、Unity启动，完成初始化后，连接Socket数据通讯成功，再通过第三运动控制器上的页面交互，获取控制手柄的运动信息，例如移动或旋转，以便控制被控设备实现位置变化和姿态变化。另外，也可以利用控制手柄上的控制按键完成被控设备的特定控制程序，以操作被控设备完成既定动作。在被控设备运动过程中，会返回被控运动数据，通过控制模块传输给第一运动控制器，以利用虚拟设备的运动信息在虚拟空间完成运动模拟过程，以便实现虚拟空间和执行空间的运动同步。
控制模块通过Socket通讯，发送被控设备上电上使能的指令，之后对控制手柄的手柄坐标系和被控设备的末端坐标系进行初始化，得到手柄坐标系和末端坐标系的坐标映射关系，当手柄往某一方向运动时，被控设备会按照所映射的方向做同比例的关节运动，在执行动作的整体过程中，被控设备都将使用伺服模式下的关节运动，实时接收运动指令，完成连续性运动。
接下来进行数据滤波，获取被控设备的当前时刻被控运动数据和前一时刻被控运动数据，其中运动数据序列可以是：前一时刻位姿坐标、当前时刻位姿坐标、速度、加速度、姿态信息等，对运动数据序列进行增量变化计算，得到增量变化结果，根据增量变化结果进行卡尔曼滤波操作，其中，卡尔曼滤波完成对下一时刻运动信息的预测，并对当前数据进行数据滤波提取主要数据。接下来对滤波和预测后的增量数据进行理论计算，得到关节运动到所需坐标点上对应的运动检测结果，然后根据运动检测结果将坐标位置逆解为关节角度，根据运动检测结果生成运动指令，从而使得被控设备完成真实既定运动。
上述实施例中，Unity在被控设备的末端坐标系与手柄坐标系初始化后，通过Socket的通讯完成通讯建联，每一次执行空间下的被控设备都会与虚拟空间中虚拟设备同时运动。
上述实施例中，对被控设备的被控运动数据进行实时滤波数据处理，对增量变化异常状态下的异常数据进行均值化处理，让被控设备的运作处于合理的状态，能够保证操作的稳定性和流畅性。相比较相关技术中的一阶或多阶滤波器，卡尔曼滤波具有预测的特性，使得操作的流畅性和精准性得到提高。
本发明实施例提供的技术方案，运动设备控制方法包括：通过获取运动指令，并根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动。当运动模拟结果为执行运动，控制被控设备在执行空间中进行被控设备操作以及控制虚拟设备在虚拟空间中进行虚拟设备操作，否则，虚拟设备和被控设备停止运动。由于虚拟空间和执行空间相关联，虚拟设备与被控设备关联，通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。
本发明实施例还提供一种运动设备控制装置，可以实现上述运动设备控制方法，参照图14，该装置应用于运动设备控制系统，运动设备控制系统包括虚拟设备和被控设备，虚拟设备在虚拟空间运行，被控设备在执行空间运行，虚拟设备与被控设备关联；虚拟空间与执行空间关联，装置包括：
获取单元1410，用于获取运动指令。
运动模拟单元1420，用于根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动。
设备控制操作单元1430，用于当运动模拟结果为执行运动，根据运动模拟结果进行设备控制操作，设备控制操作包括：控制被控设备在执行空间中进行被控设备操作，以及控制虚拟设备在虚拟空间中进行虚拟设备操作。
停止运动单元1440，用于当运动模拟结果为停止运动，控制虚拟设备和被控设备停止运动。
本实施例的运动设备控制装置的具体实施方式与上述运动设备控制方法的具体实施方式基本一致，在此不再赘述。
本发明实施例还提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本发明实施上述的运动设备控制方法。该电子设备可以为包括手机、电脑等具有高性能运算能力的智能终端。
请参阅图15，图15示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1501，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案；
存储器1502，可以采用ROM(ReadOnlyMemory，只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory，随机存取存储器)等形式实现。存储器1502可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1502中，并由处理器1501来调用执行本发明实施例的运动设备控制方法；
输入/输出接口1503，用于实现信息输入及输出；
通信接口1504，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和
总线1505，在设备的各个组件(例如处理器1501、存储器1502、输入/输出接口1503和通信接口1504)之间传输信息；
其中处理器1501、存储器1502、输入/输出接口1503和通信接口1504通过总线1505实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述运动设备控制方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例提出的运动设备控制方法、运动设备控制装置、电子设备、存储介质，运动设备控制方法通过获取运动指令，并根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动。当运动模拟结果为执行运动，控制被控设备在执行空间中进行被控设备操作以及控制虚拟设备在虚拟空间中进行虚拟设备操作，否则，虚拟设备和被控设备停止运动。由于虚拟空间和执行空间相关联，虚拟设备与被控设备关联，通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个运动控制器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。
Claims (10)
1.一种运动设备控制方法，其特征在于，应用于运动设备控制系统，所述运动设备控制系统包括虚拟设备和被控设备，所述虚拟设备在虚拟空间运行，所述被控设备在执行空间运行，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联；所述方法包括：
获取运动指令；所述运动指令包括：位移指令和/或姿态变化指令；
根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；
当所述运动模拟结果为执行运动，根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；
否则，所述虚拟设备和所述被控设备停止运动；
所述根据所述运动模拟结果进行设备控制操作，包括：
将所述运动指令发送至所述执行空间和所述虚拟空间；
根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；
获取所述被控设备的被控运动数据；
对所述被控运动数据进行滤波操作，得到运动检测结果；
根据所述运动检测结果生成所述运动指令；
在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作；
所述获取所述被控设备的被控运动数据，包括：
根据所述运动指令控制所述被控设备执行被控设备操作，得到所述被控设备的所述被控运动数据，所述被控设备操作包括：位移操作和/或姿态变化操作；
所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：
获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；所述被控运动数据包括：位移运动数据和姿态变化数据；
对所述运动数据序列进行增量变化计算，得到增量变化结果；
根据所述增量变化结果得到所述运动检测结果；
所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：
计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；
当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果；
所述根据所述增量变化结果得到所述运动检测结果，包括：
当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；
当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；
对所述增量序列求平均值，得到平均增量结果；
根据所述平均增量结果得到所述运动检测结果。
2.根据权利要求1所述的运动设备控制方法，其特征在于，所述根据所述运动指令进行运动模拟，得到运动模拟结果，包括：
获取所述被控设备或所述虚拟设备的前一时刻运动状态和所述虚拟空间的空间位置属性信息；
根据所述运动指令和所述前一时刻运动状态计算得到当前时刻运动状态；
根据所述当前时刻运动状态、所述空间位置属性信息和预设约束条件判断是否出现运动冲突；
若存在运动冲突，则所述运动模拟结果为停止运动；
若不存在运动冲突，则所述运动模拟结果为执行运动。
3.根据权利要求1所述运动设备控制方法，其特征在于，所述运动设备控制系统还包括控制手柄；所述获取运动指令之前，还包括：
与所述控制手柄建立连接；
根据所述被控设备的当前位置对所述控制手柄的手柄坐标系和所述被控设备的末端坐标系进行初始化；
对经过初始化的所述手柄坐标系和所述末端坐标系进行坐标映射，得到所述手柄坐标系和所述末端坐标系的坐标映射关系。
4.根据权利要求3所述的运动设备控制方法，其特征在于，所述获取运动指令，包括：
获取手柄运动指令；
根据所述坐标映射关系将所述手柄运动指令转化为所述运动指令。
5.根据权利要求1-4任一项所述的运动设备控制方法，其特征在于，所述根据所述运动指令进行运动模拟，得到运动模拟结果之前，所述方法还包括：
获取所述被控设备的设备数据和环境数据，所述环境数据包括：第一图像数据和第二深度数据；
根据所述第一图像数据和所述第二深度数据生成所述虚拟空间；
根据所述设备数据在所述虚拟空间生成与所述被控设备对应的所述虚拟设备。
6.一种运动设备控制系统，其特征在于，包括：
被控设备，位于执行空间中；
虚拟设备，位于虚拟空间中，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联；
运动控制器，用于接收运动指令，并根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；所述运动指令包括：位移指令和/或姿态变化指令；
当所述运动模拟结果为执行运动，所述运动控制器还用于根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；
否则，所述虚拟设备和所述被控设备停止运动；
所述根据所述运动模拟结果进行设备控制操作，包括：
将所述运动指令发送至所述执行空间和所述虚拟空间；
根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；
获取所述被控设备的被控运动数据；
对所述被控运动数据进行滤波操作，得到运动检测结果；
根据所述运动检测结果生成所述运动指令；
在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作；
所述获取所述被控设备的被控运动数据，包括：
根据所述运动指令控制所述被控设备执行被控设备操作，得到所述被控设备的所述被控运动数据，所述被控设备操作包括：位移操作和/或姿态变化操作；
所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：
获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；所述被控运动数据包括：位移运动数据和姿态变化数据；
对所述运动数据序列进行增量变化计算，得到增量变化结果；
根据所述增量变化结果得到所述运动检测结果；
所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：
计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；
当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果；
所述根据所述增量变化结果得到所述运动检测结果，包括：
当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；
当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；
对所述增量序列求平均值，得到平均增量结果；
根据所述平均增量结果得到所述运动检测结果。
7.根据权利要求6所述的运动设备控制系统，其特征在于，所述运动控制器根据所述运动指令进行运动模拟，得到运动模拟结果时执行：
获取所述被控设备或所述虚拟设备的前一时刻运动状态和所述虚拟空间的空间位置属性信息；
根据所述运动指令和所述前一时刻运动状态计算得到当前时刻运动状态；
根据所述当前时刻运动状态和所述空间位置属性信息判断是否出现运动冲突；
若存在运动冲突，则所述运动模拟结果为停止运动；
若不存在运动冲突，则所述运动模拟结果为执行运动。
8.一种运动设备控制装置，其特征在于，应用于运动设备控制系统，所述运动设备控制系统包括虚拟设备和被控设备，所述虚拟设备在虚拟空间运行，所述被控设备在执行空间运行，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联，所述装置包括：
获取单元，用于获取运动指令；所述运动指令包括：位移指令和/或姿态变化指令；
运动模拟单元，用于根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；
设备控制操作单元，用于当所述运动模拟结果为执行运动，根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；
停止运动单元，用于当运动模拟结果为停止运动时，所述虚拟设备和所述被控设备停止运动；
所述根据所述运动模拟结果进行设备控制操作，包括：
将所述运动指令发送至所述执行空间和所述虚拟空间；
根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；
获取所述被控设备的被控运动数据；
对所述被控运动数据进行滤波操作，得到运动检测结果；
根据所述运动检测结果生成所述运动指令；
在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作；
所述获取所述被控设备的被控运动数据，包括：
根据所述运动指令控制所述被控设备执行被控设备操作，得到所述被控设备的所述被控运动数据，所述被控设备操作包括：位移操作和/或姿态变化操作；
所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：
获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；所述被控运动数据包括：位移运动数据和姿态变化数据；
对所述运动数据序列进行增量变化计算，得到增量变化结果；
根据所述增量变化结果得到所述运动检测结果；
所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：
计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；
当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果；
所述根据所述增量变化结果得到所述运动检测结果，包括：
当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；
当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；
对所述增量序列求平均值，得到平均增量结果；
根据所述平均增量结果得到所述运动检测结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的运动设备控制方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的运动设备控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211734024.0A CN116000932B (zh) | 2022-12-30 | 2022-12-30 | 运动设备控制方法、系统、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211734024.0A CN116000932B (zh) | 2022-12-30 | 2022-12-30 | 运动设备控制方法、系统、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116000932A CN116000932A (zh) | 2023-04-25 |
| CN116000932B true CN116000932B (zh) | 2024-04-26 |
Family
ID=86029484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211734024.0A Active CN116000932B (zh) | 2022-12-30 | 2022-12-30 | 运动设备控制方法、系统、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116000932B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117180752B (zh) * | 2023-11-07 | 2024-01-26 | 北京格如灵科技有限公司 | 控制操控物模型运动的方法、装置、计算机设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6445964B1 (en) * | 1997-08-04 | 2002-09-03 | Harris Corporation | Virtual reality simulation-based training of telekinegenesis system for training sequential kinematic behavior of automated kinematic machine |
| CN103728917A (zh) * | 2013-12-27 | 2014-04-16 | 天津大学 | 数控加工与测量设备的防碰撞方法 |
| CN104626208A (zh) * | 2015-01-07 | 2015-05-20 | 北京卫星环境工程研究所 | 航天器机械臂辅助装配安全工作空间建立及干涉预警方法 |
| CN106625662A (zh) * | 2016-12-09 | 2017-05-10 | 南京理工大学 | 一种基于虚拟现实带电作业机械臂防碰撞保护方法 |
| CN107263473A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的人机交互方法 |
| CN107992189A (zh) * | 2017-09-22 | 2018-05-04 | 深圳市魔眼科技有限公司 | 一种虚拟现实六自由度交互方法、装置、终端及存储介质 |
| CN112091982A (zh) * | 2020-11-16 | 2020-12-18 | 杭州景业智能科技股份有限公司 | 基于数字孪生映射的主从联动控制方法和系统 |
| WO2021003994A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳市工匠社科技有限公司 | 虚拟角色的控制方法及相关产品 |
| CN113211430A (zh) * | 2021-04-12 | 2021-08-06 | 北京航天飞行控制中心 | 一种人机协同的机械臂规划方法和系统 |
| CN114833826A (zh) * | 2022-04-20 | 2022-08-02 | 上海傅利叶智能科技有限公司 | 实现机器人碰撞触觉的控制方法、装置以及康复机器人 |
| CN114879839A (zh) * | 2022-05-03 | 2022-08-09 | 谢轩豪 | 元宇宙虚拟场景的动作交互方法、装置、系统及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11034026B2 (en) * | 2019-01-10 | 2021-06-15 | General Electric Company | Utilizing optical data to dynamically control operation of a snake-arm robot |
-
2022
- 2022-12-30 CN CN202211734024.0A patent/CN116000932B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6445964B1 (en) * | 1997-08-04 | 2002-09-03 | Harris Corporation | Virtual reality simulation-based training of telekinegenesis system for training sequential kinematic behavior of automated kinematic machine |
| CN103728917A (zh) * | 2013-12-27 | 2014-04-16 | 天津大学 | 数控加工与测量设备的防碰撞方法 |
| CN104626208A (zh) * | 2015-01-07 | 2015-05-20 | 北京卫星环境工程研究所 | 航天器机械臂辅助装配安全工作空间建立及干涉预警方法 |
| CN106625662A (zh) * | 2016-12-09 | 2017-05-10 | 南京理工大学 | 一种基于虚拟现实带电作业机械臂防碰撞保护方法 |
| CN107263473A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的人机交互方法 |
| CN107992189A (zh) * | 2017-09-22 | 2018-05-04 | 深圳市魔眼科技有限公司 | 一种虚拟现实六自由度交互方法、装置、终端及存储介质 |
| WO2021003994A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳市工匠社科技有限公司 | 虚拟角色的控制方法及相关产品 |
| CN112091982A (zh) * | 2020-11-16 | 2020-12-18 | 杭州景业智能科技股份有限公司 | 基于数字孪生映射的主从联动控制方法和系统 |
| CN113211430A (zh) * | 2021-04-12 | 2021-08-06 | 北京航天飞行控制中心 | 一种人机协同的机械臂规划方法和系统 |
| CN114833826A (zh) * | 2022-04-20 | 2022-08-02 | 上海傅利叶智能科技有限公司 | 实现机器人碰撞触觉的控制方法、装置以及康复机器人 |
| CN114879839A (zh) * | 2022-05-03 | 2022-08-09 | 谢轩豪 | 元宇宙虚拟场景的动作交互方法、装置、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116000932A (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108401461B (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| EP3377948B1 (en) | Facilitating robot positioning | |
| US8989876B2 (en) | Situational awareness for teleoperation of a remote vehicle | |
| JP2020017264A (ja) | 実世界を表現するリアルタイム３ｄ仮想世界の中でのリアルタイム３ｄ仮想物体の双方向リアルタイム３ｄインタラクティブ操作 | |
| KR101768958B1 (ko) | 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템 | |
| KR101810415B1 (ko) | 정보 처리 장치, 정보 처리 시스템, 블록 시스템, 및 정보 처리 방법 | |
| CN116000932B (zh) | 运动设备控制方法、系统、装置、设备和存储介质 | |
| KR20170071411A (ko) | 볼륨 최근접 거리 접근법을 이용한 3차원 모델 생성 방법 및 장치 | |
| US9021712B2 (en) | Autonomous system and method for determining information representative of the movement of an articulated chain | |
| JP2024519940A (ja) | データ処理方法、装置、データ処理システム、電子機器及びコンピュータプログラム | |
| CN114347033B (zh) | 机器人物品抓取方法、装置、机器人及存储介质 | |
| JP6927937B2 (ja) | 三次元骨格表現を生成するためのシステム及び方法 | |
| JP7166446B2 (ja) | ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体 | |
| KR102456872B1 (ko) | 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 | |
| Ni et al. | 3D-point-cloud registration and real-world dynamic modelling-based virtual environment building method for teleoperation | |
| Otto et al. | Towards ubiquitous tracking: Presenting a scalable, markerless tracking approach using multiple depth cameras | |
| CN111068309B (zh) | 虚拟现实游戏的显示控制方法、装置、设备、系统及介质 | |
| EP4321970A1 (en) | Method and apparatus for estimating human poses | |
| KR101744674B1 (ko) | 가상아바타와 실감아바타의 동기화를 이용한 콘텐츠 생성 장치 및 방법 | |
| Berti et al. | Kalman filter for tracking robotic arms using low cost 3d vision systems | |
| CN113752236A (zh) | 机械臂示教的装置、标定杆和方法 | |
| US20240198532A1 (en) | Method for robot teleoperation control, robot, and electronic device | |
| Sa et al. | Humanoid Robot Teleoperation System using a Fast Vision-based Pose Estimation and Refinement Method | |
| CN112799418B (zh) | 控制方法、装置、遥控设备及可读存储介质 | |
| Xian et al. | An automatic robot for mine inspection and rescue based on multi-sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |