CN116372954A - Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 - Google Patents
Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 Download PDFInfo
- Publication number
- CN116372954A CN116372954A CN202310602863.5A CN202310602863A CN116372954A CN 116372954 A CN116372954 A CN 116372954A CN 202310602863 A CN202310602863 A CN 202310602863A CN 116372954 A CN116372954 A CN 116372954A
- Authority
- CN
- China
- Prior art keywords
- robot
- explosion
- transmits
- helmet
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004880 explosion Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 238000007654 immersion Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 238000013022 venting Methods 0.000 claims description 72
- 238000007599 discharging Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 12
- 239000002360 explosive Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000006698 induction Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000003379 elimination reaction Methods 0.000 abstract description 5
- 230000008030 elimination Effects 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/002—Manipulators for defensive or military tasks
- B25J11/0025—Manipulators for defensive or military tasks handling explosives, bombs or hazardous objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种AR沉浸式遥操作排爆机器人系统、控制方法和存储介质，该系统包括头戴式AR头盔、AR主机、云端服务器、移动排爆机器人和力反馈控制手柄等；头戴式AR头盔通过AR主机、云端服务器、机器人中央处理器、机器人运动控制板控制云台带动双目摄像头动作；双目摄像头将采集到的环境信息通过机器人中央处理器、云端服务器、AR主机传回头戴式AR头盔；力反馈控制手柄通过AR主机、云端服务器、机器人中央处理器、机器人运动控制板控制机械臂及手抓动作实现排爆功能。本发明解决了当前远程遥控机器人在沉浸感不足、人机交互难度大、AR显示效果不佳等问题。
Description
技术领域
本发明属于排爆机器人技术领域，具体涉及一种AR沉浸式遥操作排爆机器人系统、控制方法和存储介质。
背景技术
当前，远程遥控机器人存在沉浸感不足、人机交互难度大以及AR显示效果不佳等多种应用方面的问题。排爆作业人员通过传统操作手段（如遥控器、操纵手柄等）对排爆机器人进行动作级的遥控操作效率低下，不仅给作业人员带来了很高的认知和操控负担，而且在排爆作业中还会存在很大的个人危险。因此，如今急需开展AR沉浸式遥操作排爆机器人技术研究，充分发挥人类和机器智能各自优势实现混合智能增强，提高未来排爆机器人的作业效率，确保作业人员人身安全。
发明内容
针对现有技术的不足，本发明提供了一种AR沉浸式遥操作排爆机器人系统、控制方法和存储介质，以解决遥操作机器人进行排爆时，存在的沉浸感不足、人机交互难度大以及AR显示效果不佳等应用方面存在的问题。
为解决上述技术问题，实现上述技术效果，本发明通过以下技术方案实现：
一种AR沉浸式遥操作排爆机器人系统，包括头戴式AR头盔、AR主机、云端服务器、移动排爆机器人和力反馈控制手柄；所述头戴式AR头盔和所述力反馈控制手柄分别与所述AR主机信号连接，所述AR主机与所述云端服务器通信连接，所述云端服务器与所述移动排爆机器人通信连接。
进一步的，所述移动排爆机器人包括移动机器人底盘、排爆机械臂、排爆手抓、触觉传感器、云台和双目摄像头，所述排爆机械臂和所述云台均安装在所述移动机器人底盘的本体结构上，所述排爆手抓安装在所述排爆机械臂的顶端，所述触觉传感器安装在所述排爆手抓末端，所述双目摄像头安装在所述云台上；所述移动机器人底盘负责所述移动排爆机器人的整体移动，所述云台负责带动所述双目摄像头的转动，所述双目摄像头负责拍摄用于所述头戴式AR头盔的成像的实时画面，所述排爆机械臂负责所述排爆手抓的移动，所述排爆手抓负责爆炸物的排爆动作，所述触觉传感器用于所述力反馈控制手柄的力反馈实时数据的反馈。
进一步的，所述移动机器人底盘内至少设置有机器人中央处理器和机器人运动控制板；
所述机器人中央处理器对外经所述云端服务器、所述AR主机分别与所述头戴式AR头盔及所述力反馈控制手柄信号连接，负责接收所述头戴式AR头盔和所述力反馈控制手柄的控制信息，以及负责回传所述双目摄像头和所述触觉传感器采集到的环境信息和力反馈数据信息；
所述机器人中央处理器对内分别与所述机器人运动控制板、所述双目摄像头和所述触觉传感器信号连接，负责向所述机器人运动控制板传输控制信息，以及接收所述双目摄像头的拍摄画面，接收所述触觉传感器的感应信号；
所述机器人运动控制板分别与所述移动机器人底盘、所述排爆机械臂、所述排爆手抓、所述云台信号连接，负责向所述移动机器人底盘、所述排爆机械臂、所述排爆手抓、所述云台传输对应的运动控制信号。
一种AR沉浸式遥操作排爆机器人控制方法，包括：
头戴式AR头盔将操作者的头部位姿数据传输给AR主机并形成AR头盔位姿控制信息，所述AR主机将AR头盔位姿控制信息传输到云端服务器，所述云端服务器通过控制指令端口将AR头盔位姿控制信息传输到移动排爆机器人的机器人中央处理器，所述机器人中央处理器再将AR头盔位姿控制信息传输给所述移动排爆机器人的机器人运动控制板，所述机器人运动控制板通过指令解析将AR头盔位姿控制信息传输给所述移动排爆机器人的云台，所述云台根据接收到的AR头盔位姿控制信息发生动作，从而带动双目摄像头的动作；
所述双目摄像头通过扫描环境信息，以视频图像形式传输到所述移动排爆机器人的机器人中央处理器，所述机器人中央处理器将视频图像经所述云端服务器传输到所述AR主机，所述AR主机对图像进行增强，并将增强后的沉浸感信息传输给所述头戴式AR头盔，由所述头戴式AR头盔向操作者呈现AR画面；
力反馈控制手柄将力反馈手柄位姿数据传输给所述AR主机并形成手臂位姿控制信息，所述AR主机将手臂位姿控制信息传输给所述云端服务器，所述云端服务器将手臂位姿控制信息传输给所述机器人中央处理器，所述机器人中央处理器再将手臂位姿控制信息传输给所述机器人运动控制板，所述机器人运动控制板通过指令解析将手臂位姿控制信息传输给排爆机械臂和排爆手抓，所述排爆机械臂根据接到的手臂位姿控制信息使其各关节舵机动作进入指定位姿状态，所述排爆手抓根据接到的手臂位姿控制信息进行动作实现排爆功能。
进一步的，所述机器人中央处理器对接收到视频图像进行编码、压缩以及分包，并以组合数据形式传送到所述云端服务器，所述云端服务器对接收到的视频图像进行解码更新，并以图像更新的形式传输到所述AR主机。
进一步的，所述AR主机通过三维注册、虚实融合与AR交互技术实现图像增强，并将增强后的沉浸感信息最终传输给所述头戴式AR头盔，其中，所述三维注册解决虚拟空间坐标系与真实空间坐标系的转换，以确保虚拟画面能够正确渲染到对应位置；所述虚实融合解决虚拟画面与现实环境融合过程中的几何一致性与光照一致性；所述AR交互解决对AR系统的操作与控制；从而从视觉角度解决了人机交互沉浸感不足和人机交互难度大的问题。
进一步的，所述力反馈控制手柄控制所述排爆机械臂和所述排爆手抓的操作通过多传感器融合系统实现，所述多传感器融合系统可以从动作级增强人机远程遥操作的沉浸感和解决人机交互的难度及效率问题。
进一步的，所述双目摄像头通过双目立体成像技术将增强后的沉浸感信息最终传送给所述头戴式AR头盔，并且通过AR算法解决因双目摄像头的透镜本身材质不均匀或透镜形状不标准造成的图像畸变问题。
进一步的，移动机器人底盘控制器将机器人底盘位姿移动数据通过所述AR主机传输到所述云端服务器，所述云端服务器通过所述机器人中央处理器将机器人底盘位姿控制信号传送到所述机器人运动控制板，所述机器人运动控制板通过指令解析将机器人底盘位姿控制信息传输给所述移动机器人底盘，所述移动机器人底盘根据接到的机器人底盘位姿控制信息移动到指定排爆位置。
一种存储介质，所述存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如上述的控制方法对应的操作。
本发明的有益效果为：
1、本发明的AR沉浸式遥操作排爆机器人系统，通过AR头盔、力反馈操作手臂、移动机器人底盘、机械臂等的配合使用，解决了传统遥操作排爆机器人沉浸感不足、人机交互难度大、以及VR图像呈现不佳等问题。
2、本发明的AR沉浸式遥操作排爆机器人系统中，头戴式AR头盔和力反馈手柄位姿数据通过AR主机传送到云端服务器、云端服务器通过机器人中央处理器将位姿控制指令传送到机器人运动控制板、运动控制板通过指令解析将位姿控制信号分别传送给移动机器人云台、机械臂和移动机器人移动底盘，云台接到控制指令发生动作，云台摄像头将采集到的环境信息通过移动机器人中央处理器传送到云端，然后经云端传回AR主机，AR主机通过三维注册、虚实融合与AR交互技术使图像增强传回AR头盔。
3、本发明的三维注册技术解决虚拟空间坐标系与真实空间坐标系的转换，以确保虚拟画面能够正确渲染到对应位置，虚实融合技术解决虚拟画面与现实环境融合过程中的几何一致性与光照一致性，AR交互技术解决对AR系统的操作与控制。
4、本发明的双目摄像头通过双目立体成像技术将增强后的沉浸感信息最终传送给头戴式AR头盔。双目摄像头通过双目立体成像技术，为增加短时间内的曝光量而加入了透镜，而透镜本身材质不均匀或透镜形状不标准将会造成的AR头盔图像出现畸变。为解决双目摄像头畸变问题，提出一种AR算法解决图像畸变问题。
5、本发明的移动底盘接到控制指令移动到指定位置，机械臂接收到位姿信息后，各关节舵机动作进入指定位姿状态，力反馈末端动作带动机械臂末端手抓动作实现排爆功能。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明AR沉浸式遥操作排爆机器人系统的结构图；
图2为本发明移动排爆机器人的外部结构示意图；
图3为本发明移动排爆机器人的结构框图；
图4为本发明AR沉浸式遥操作排爆机器人的控制方法框图；
图5为本发明AR呈现图像增强流程框图；
图6为本发明双目摄像头成像原理图。
图中标号说明：1、头戴式AR头盔；2、力反馈控制手柄；3、AR主机；4、云端服务器；5、移动排爆机器人；6、移动机器人底盘控制器；501、移动机器人底盘；502、排爆机械臂；503、排爆手抓；504、触觉传感器；505、云台；506、双目摄像头；507、机器人中央处理器；508、机器人运动控制板；509、避障雷达；510、电池模块。
具体实施方式
以下将结合附图对本发明的较佳实施例进行详细说明，以便更清楚理解发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。
在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。
在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“和/或”的含义使用，除非文中清楚地另外规定。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
参见图1所示，一种AR沉浸式遥操作排爆机器人系统，包括头戴式AR头盔1、AR主机3、云端服务器4、移动排爆机器人5和力反馈控制手柄2；所述头戴式AR头盔1和所述力反馈控制手柄2分别与所述AR主机3信号连接，所述AR主机3与所述云端服务器4通信连接，所述云端服务器4与所述移动排爆机器人5通信连接。
参见图2-3所示，在本发明的一种实施例中，所述移动排爆机器人5包括移动机器人底盘501、排爆机械臂502、排爆手抓503、触觉传感器504、云台505和双目摄像头506，所述移动机器人底盘501为履带式机器人底盘、轮式机器人底盘或变径轮式机器人底盘等，所述排爆机械臂502和所述云台505均安装在所述移动机器人底盘501的本体结构上，所述排爆手抓503安装在所述排爆机械臂502的顶端，所述触觉传感器504安装在所述排爆手抓503末端，所述双目摄像头506安装在所述云台505上；所述移动机器人底盘501负责所述移动排爆机器人5的整体移动，所述云台505负责带动所述双目摄像头506的转动，所述双目摄像头506负责拍摄用于所述头戴式AR头盔1的成像的实时画面，所述排爆机械臂502负责所述排爆手抓503的移动，所述排爆手抓503负责爆炸物的排爆动作，所述触觉传感器504用于所述力反馈控制手柄2的力反馈实时数据的反馈。
在本发明的一种实施例中，所述移动机器人底盘501内至少设置有机器人中央处理器507和机器人运动控制板508；
所述机器人中央处理器507对外经所述云端服务器4、所述AR主机3分别与所述头戴式AR头盔1及所述力反馈控制手柄2信号连接，负责接收所述头戴式AR头盔1和所述力反馈控制手柄2的控制信息，以及负责回传所述双目摄像头506和所述触觉传感器504采集到的环境信息和力反馈数据信息；
所述机器人中央处理器507对内分别与所述机器人运动控制板508、所述双目摄像头506和所述触觉传感器504信号连接，负责向所述机器人运动控制板508传输控制信息，以及接收所述双目摄像头506的拍摄画面，接收所述触觉传感器504的感应信号；
所述机器人运动控制板508分别与所述移动机器人底盘501、所述排爆机械臂502、所述排爆手抓503、所述云台505信号连接，负责向所述移动机器人底盘501、所述排爆机械臂502、所述排爆手抓503、所述云台505传输对应的运动控制信号。
在本发明的一种实施例中，所述AR沉浸式遥操作排爆机器人系统还包括移动机器人底盘控制器6，所述移动机器人底盘控制器6通过所述AR主机3、所述云端服务器4、所述机器人中央处理器507、所述机器人运动控制板508与所述移动机器人底盘501信号连接，负责控制所述移动机器人底盘501移动到指定位置。
在本发明的一种实施例中，所述移动机器人底盘501的本体结构上设置有避障雷达509，所述避障雷达509可以为激光雷达，所述避障雷达与所述机器人中央处理器507信号连接，负责将探测信号实时传输给所述机器人中央处理器507，由所述机器人中央处理器507根据探测信号向所述机器人运动控制板508传输控制信息，再由所述机器人运动控制板508控制所述移动机器人底盘501进行避障运动。
在本发明的一种实施例中，所述移动机器人底盘501内还设置有电池模块510，所述电池模块510负责为所述移动机器人底盘501、所述机器人中央处理器507、所述机器人运动控制板508和所述避障雷达509供电。参见图1-3所示，一种AR沉浸式遥操作排爆机器人控制方法，其具体内容包括：
操作者先穿戴好头戴式AR头盔1，并且一手操作移动机器人底盘控制器6，另一手操作力反馈控制手柄2。
操作者通过操作所述移动机器人底盘控制器6产生机器人底盘位姿移动数据，所述移动机器人底盘控制器6将机器人底盘位姿移动数据通过所述AR主机3传输到所述云端服务器4，所述云端服务器4通过所述机器人中央处理器507将机器人底盘位姿控制信号传送到所述机器人运动控制板508，所述机器人运动控制板508通过指令解析将机器人底盘位姿控制信息传输给所述移动机器人底盘501，所述移动机器人底盘501根据接到的机器人底盘位姿控制信息移动到指定排爆位置。
操作者通过转动所述头戴式AR头盔1产生头部位姿数据，所述头戴式AR头盔1将头部位姿数据传输给AR主机3并形成AR头盔位姿控制信息，所述AR主机3将AR头盔位姿控制信息传输到云端服务器4，所述云端服务器4通过控制指令端口将AR头盔位姿控制信息传输到移动排爆机器人5的机器人中央处理器507，所述机器人中央处理器507再将AR头盔位姿控制信息传输给所述移动排爆机器人5的机器人运动控制板508，所述机器人运动控制板508通过指令解析将AR头盔位姿控制信息传输给所述移动排爆机器人5的云台505，所述云台505根据接收到的AR头盔位姿控制信息发生动作，从而带动双目摄像头506的动作。
所述双目摄像头506对排爆位置进行环境信息扫描，并以视频图像形式传输到所述移动排爆机器人5的机器人中央处理器507，所述机器人中央处理器507对接收到视频图像进行编码、压缩以及分包，并以组合数据形式传送到所述云端服务器4，所述云端服务器4对接收到的视频图像进行解码更新，并以图像更新的形式传输到所述AR主机3，所述AR主机3对图像进行增强，并将增强后的沉浸感信息最终传输给所述头戴式AR头盔1，由所述头戴式AR头盔1最终向操作者呈现指定排爆位置的沉浸式AR画面。
操作者沉浸在AR画面中，根据排爆任务需求，通过操作所述力反馈控制手柄2将力反馈手柄位姿数据传输给所述AR主机3并形成手臂位姿控制信息，所述AR主机3将手臂位姿控制信息传输给所述云端服务器4，所述云端服务器4将手臂位姿控制信息传输给所述机器人中央处理器507，所述机器人中央处理器507再将手臂位姿控制信息传输给所述机器人运动控制板508，所述机器人运动控制板508通过指令解析将手臂位姿控制信息传输给排爆机械臂502和排爆手抓503，所述排爆机械臂502根据接到的手臂位姿控制信息使其各关节舵机动作进入指定位姿状态，所述排爆手抓503根据接到的手臂位姿控制信息进行动作实现排爆功能。
参见图4所示，图4展示了AR沉浸式遥操作排爆机器人的控制框图。头戴式AR头盔1、力反馈控制手柄2、移动机器人底盘控制器6作为主操作端，AR主机3、云端服务器4作为控制设备和网络端，移动排爆机器人5上的移动机器人底盘501、排爆机械臂502、排爆手抓503、云台505、双目摄像头506和避障雷达509作为从操作端。主操作端位于操作者一侧，从操作端位于排爆目标一侧。双目摄像头506和排爆机械臂502上的手眼相机对排爆目标进行拍摄，并将拍摄的图像传送至控制设备和网络端进行图像处理，然后控制设备和网络端将处理后的排爆目标图像传送至头戴式AR头盔1，从而为操作者呈现排爆目标的AR场景。操作者在AR场景下，根据任务需求操作力反馈控制手柄2的遥控主臂和遥控主手，控制设备和网络端内的人体位姿感知节点对力反馈控制手柄2的动作进行人体位姿感知，然后进行人体位姿数据解析，在异构映射后生成拟人机械臂手抓位姿数据，控制设备和网络端一方面会将拟人机械臂手抓位姿数据经过控制设备和网络端内的中央控制系统后进行图像处理，然后控制设备和网络端将处理后的排爆机械臂、排爆手抓图像传送至头戴式AR头盔1，从而为操作者呈现排爆机械臂、排爆手抓的AR场景，控制设备和网络端另一方面会将拟人机械臂手抓位姿数据传送给排爆机械臂502、排爆手抓503和避障雷达509，排爆机械臂502、排爆手抓503和避障雷达509根据接到的拟人机械臂手抓位姿数据进行动作，从而配合完成爆炸物的排爆任务。
在本发明的AR沉浸式遥操作排爆机器人控制方法中，所述AR主机3通过三维注册、虚实融合与AR交互技术实现图像增强。其中，所述三维注册解决虚拟空间坐标系与真实空间坐标系的转换，以确保虚拟画面能够正确渲染到对应位置；所述虚实融合解决虚拟画面与现实环境融合过程中的几何一致性与光照一致性；所述AR交互解决对AR系统的操作与控制；从而从视觉角度解决了人机交互沉浸感不足和人机交互难度大的问题。
在本发明的AR沉浸式遥操作排爆机器人控制方法中，所述力反馈控制手柄2控制所述排爆机械臂502和所述排爆手抓503的操作通过多传感器融合系统实现，所述多传感器融合系统可以从动作级增强人机远程遥操作的沉浸感和解决人机交互的难度及效率问题。
参见图5所示，图5展示了为解决AR呈现的增强现实控制框图。传感器信息从机器人中央处理器首先进入云端服务器，在工业交换机和工控机中进行信息处理，然后将处理后的信息传送入AR主机，AR主机通过信息库模块和增强现实模块实现图像增强，进而实现AR呈现，同时有缺陷的信息会反馈给增强现实模块进行二次增强现实处理，直到人所带AR头盔中呈现出完美的AR画面为止。
在本发明的AR沉浸式遥操作排爆机器人控制方法中，采用所述双目摄像头506，通过双目立体成像技术，为AR用户提供更逼真的体验感。另外，为了增加用户的可见度，还加入了透镜。不过，如果透镜的质量不均或者形状不规则，将会影响到AR头戴设备所呈现的图像质量，导致AR图像出现畸变的缺陷。
针对这一情况，本发明提出一种增强现实的AR算法解决图像畸变问题。
当处理双目摄像头所遇到的畸变问题时，我们需要将透镜的加工精度以及安装的误差视为一个完整统一的系统，并计算其内参。
首先，需要了解相机成像的原理，相机成像是实现图像捕捉和处理的过程，是通过将物体的光影信息通过透镜系统捕捉在感光器上，再转化为数字信号进行处理和存储。相机成像的原理包含了多个坐标系的转化，包括像素坐标系
、图像坐标系/>
、相机坐标系/>
和世界坐标系/>
等坐标系。如图6所示，这些坐标系是相互关联的，构成相机成像的基础。
在现实世界中，一个点的投影坐标可以在像素坐标
和图像坐标中/>
互相转换。这种转换关系可以用数学公式表示，如公式（1）所示，其核心是通过线性变换将三维的现实世界坐标系转换成二维的像素坐标系或图像坐标系：/>
（1）
上述式（1）中，
和/>
分别表示从图像坐标系中心点到像素坐标系中心点的一个偏移量，单位是像素；/>
和/>
分别表示x和y方向1毫米内有多少个像素（dx，dy分别表示像素x和y方向宽度，单位毫米）；在相机坐标系下的任何一个点/>
，都可以通过变换的方式得到图像坐标系下的对应点/>
，如公式（2）所示：
上述式（2）中，
表示焦距，为相机坐标系的原点到图像坐标系的原点的距离，单位毫米。
这一过程包括几何变换和投影变换两个部分。几何变换是指针对相机坐标系下的点，进行平移、旋转和缩放等变换操作，以保持点与世界坐标系下的关系。同时，这些变换操作也使得相机在空间中的位置和姿态发生了变化。
经过几何变换处理后，需要将这些点投影到图像平面上，这就是投影变换。在这个过程中，需要考虑相机的内参和外参以及相机的成像模型。具体来说，需要知道相机的焦距、主点和畸变参数等内参信息，以及相机在空间中的位置和姿态等外参信息。通过这些信息，可以将三维空间中的点投影到二维图像平面上，从而得到对应的图像坐标系下的点。
在计算机图形学领域，有一种称为坐标变换的方法，用于在世界坐标系和图像坐标系之间进行转换。这种方法可以将在世界坐标系中的一个点
精确地转换为图像坐标系中的相应点/>
：/>
（3）
上述式（3）中，符号R表示正交单位旋转矩阵，符号t表示三维平移向量。
通过联合公式（1）、公式（2）和公式（3），能够得出以下结论：
上述式（4）中，
和/>
分别表示从图像坐标系中心点到像素坐标系中心点的一个偏移量，单位是像素；/>
，/>
，分别为使用像素来描述x轴和y轴方向焦距的长度，单位是像素（其中dx，dy分别表示像素x和y方向宽度，单位毫米；/>
表示焦距，为相机坐标系的原点到图像坐标系的原点的距离，单位毫米）；矩阵/>
表示相机的内参，矩阵/>
表示相机外参，相机的投影矩阵就是两者的内积计算结果。
以不同角度拍摄图像时，每张图片中有许多正交点，这些点的坐标关系可以用来计算相机的内、外参数，进而实现三维重建和测量。特别地，可以使用标定棋盘平面的正交点，通过计算相机的单应性矩阵来确定其内、外参数。
设
可得：
上述式（6）中
表示比例因子，向量/>
和/>
属于正交关系，
T表示平移向量，设
，有
上述式（7）中，M本身为为了计算自定义的符号；
进一步计算可得
上述式（8）中的矩阵B为对称矩阵，
等均为相机内参数，设置矩阵
中第i行向量
式（9）中：
，计算可得
相机内参计算结果如下：
式（9）中，
为相机内的参数；
为了消除畸变，需要进行相机坐标系与图像坐标系之间的转换。而这一转换的基础在于内参，通过内参的获取和计算，可以将相机坐标系中的点
对应到图像坐标系中的点。
在前面提到的方程式（12）中，
代表了畸变点在图像坐标系中所处的原始位移，/>
则表示该点经过畸变校正后的位置，而/>
则表示了相机径向畸变系数的影响，/>
。同样地，公式（13）用于表示切向畸变的校正，其中/>
代表了相机切向畸变系数的影响。
从以上综合分析中，可以得出一些结论，这些结论涉及到畸变矫正前后坐标之间的关系。
根据以上分析，可以得出结论：在机器人传回图像并进行畸变矫正之后，可以开始进行渲染操作。这项创新的沉浸式图像交互功能是基于立体成像原理进行设计的，采用虚拟现实渲染模块来实现。这一技术可以还原人类眼睛对物体的三维成像方式，从而实现更加生动逼真的视觉效果。
本发明还公开了一种存储介质，所述存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如上述的方法对应的操作。
本发明的AR沉浸式遥操作排爆机器人系统通过头戴式AR头盔、移动机器人底盘、力反馈手柄、移动机器人底盘控制器等的配合使用，再利用AR三维注册、虚实融合与AR交互实现图像增强技术，实现了爆炸物的远程排爆遥操作控制，解决了当前远程遥控机器人在沉浸感不足、人机交互难度大、AR显示效果不佳等问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种AR沉浸式遥操作排爆机器人系统，其特征在于：包括头戴式AR头盔（1）、AR主机（3）、云端服务器（4）、移动排爆机器人（5）和力反馈控制手柄（2）；所述头戴式AR头盔（1）和所述力反馈控制手柄（2）分别与所述AR主机（3）信号连接，所述AR主机（3）与所述云端服务器（4）通信连接，所述云端服务器（4）与所述移动排爆机器人（5）通信连接。
2.根据权利要求1所述的AR沉浸式遥操作排爆机器人系统，其特征在于：所述移动排爆机器人（5）包括移动机器人底盘（501）、排爆机械臂（502）、排爆手抓（503）、触觉传感器（504）、云台（505）和双目摄像头（506），所述排爆机械臂（502）和所述云台（505）均安装在所述移动机器人底盘（501）的本体结构上，所述排爆手抓（503）安装在所述排爆机械臂（502）的顶端，所述触觉传感器（504）安装在所述排爆手抓（503）末端，所述双目摄像头（506）安装在所述云台（505）上；所述移动机器人底盘（501）负责所述移动排爆机器人（5）的整体移动，所述云台（505）负责带动所述双目摄像头（506）的转动，所述双目摄像头（506）负责拍摄用于所述头戴式AR头盔（1）的成像的实时画面，所述排爆机械臂（502）负责所述排爆手抓（503）的移动，所述排爆手抓（503）负责爆炸物的排爆动作，所述触觉传感器（504）用于所述力反馈控制手柄（2）的力反馈实时数据的反馈。
3.根据权利要求2所述的AR沉浸式遥操作排爆机器人系统，其特征在于：所述移动机器人底盘（501）内至少设置有机器人中央处理器（507）和机器人运动控制板（508）；
所述机器人中央处理器（507）对外经所述云端服务器（4）、所述AR主机（3）分别与所述头戴式AR头盔（1）及所述力反馈控制手柄（2）信号连接，负责接收所述头戴式AR头盔（1）和所述力反馈控制手柄（2）的控制信息，以及负责回传所述双目摄像头（506）和所述触觉传感器（504）采集到的环境信息和力反馈数据信息；
所述机器人中央处理器（507）对内分别与所述机器人运动控制板（508）、所述双目摄像头（506）和所述触觉传感器（504）信号连接，负责向所述机器人运动控制板（508）传输控制信息，以及接收所述双目摄像头（506）的拍摄画面，接收所述触觉传感器（504）的感应信号；
所述机器人运动控制板（508）分别与所述移动机器人底盘（501）、所述排爆机械臂（502）、所述排爆手抓（503）、所述云台（505）信号连接，负责向所述移动机器人底盘（501）、所述排爆机械臂（502）、所述排爆手抓（503）、所述云台（505）传输对应的运动控制信号。
4.一种AR沉浸式遥操作排爆机器人控制方法，其特征在于，包括：
头戴式AR头盔（1）将操作者的头部位姿数据传输给AR主机（3）并形成AR头盔位姿控制信息，所述AR主机（3）将AR头盔位姿控制信息传输到云端服务器（4），所述云端服务器（4）通过控制指令端口将AR头盔位姿控制信息传输到移动排爆机器人（5）的机器人中央处理器（507），所述机器人中央处理器（507）再将AR头盔位姿控制信息传输给所述移动排爆机器人（5）的机器人运动控制板（508），所述机器人运动控制板（508）通过指令解析将AR头盔位姿控制信息传输给所述移动排爆机器人（5）的云台（505），所述云台（505）根据接收到的AR头盔位姿控制信息发生动作，从而带动双目摄像头（506）的动作；
所述双目摄像头（506）通过扫描环境信息，以视频图像形式传输到所述移动排爆机器人（5）的机器人中央处理器（507），所述机器人中央处理器（507）将视频图像经所述云端服务器（4）传输到所述AR主机（3），所述AR主机（3）对图像进行增强，并将增强后的沉浸感信息传输给所述头戴式AR头盔（1），由所述头戴式AR头盔（1）向操作者呈现AR画面；
力反馈控制手柄（2）将力反馈手柄位姿数据传输给所述AR主机（3）并形成手臂位姿控制信息，所述AR主机（3）将手臂位姿控制信息传输给所述云端服务器（4），所述云端服务器（4）将手臂位姿控制信息传输给所述机器人中央处理器（507），所述机器人中央处理器（507）再将手臂位姿控制信息传输给所述机器人运动控制板（508），所述机器人运动控制板（508）通过指令解析将手臂位姿控制信息传输给排爆机械臂（502）和排爆手抓（503），所述排爆机械臂（502）根据接到的手臂位姿控制信息使其各关节舵机动作进入指定位姿状态，所述排爆手抓（503）根据接到的手臂位姿控制信息进行动作实现排爆功能。
5.根据权利要求4所述的AR沉浸式遥操作排爆机器人控制方法，其特征在于：所述机器人中央处理器（507）对接收到视频图像进行编码、压缩以及分包，并以组合数据形式传送到所述云端服务器（4），所述云端服务器（4）对接收到的视频图像进行解码更新，并以图像更新的形式传输到所述AR主机（3）。
6.根据权利要求4所述的AR沉浸式遥操作排爆机器人控制方法，其特征在于：所述AR主机（3）通过三维注册、虚实融合与AR交互技术实现图像增强，并将增强后的沉浸感信息最终传输给所述头戴式AR头盔（1），其中，所述三维注册解决虚拟空间坐标系与真实空间坐标系的转换，以确保虚拟画面能够正确渲染到对应位置；所述虚实融合解决虚拟画面与现实环境融合过程中的几何一致性与光照一致性；所述AR交互解决对AR系统的操作与控制。
7.根据权利要求4所述的AR沉浸式遥操作排爆机器人控制方法，其特征在于：所述力反馈控制手柄（2）控制所述排爆机械臂（502）和所述排爆手抓（503）的操作通过多传感器融合系统实现。
8.根据权利要求4所述的AR沉浸式遥操作排爆机器人控制方法，其特征在于：所述双目摄像头（506）通过双目立体成像技术将增强后的沉浸感信息最终传送给所述头戴式AR头盔，并且通过AR算法解决因双目摄像头的透镜本身材质不均匀或透镜形状不标准造成的图像畸变问题。
9.根据权利要求4所述的AR沉浸式遥操作排爆机器人控制方法，其特征在于：移动机器人底盘控制器（6）将机器人底盘位姿移动数据通过所述AR主机（3）传输到所述云端服务器（4），所述云端服务器（4）通过所述机器人中央处理器（507）将机器人底盘位姿控制信号传送到所述机器人运动控制板（508），所述机器人运动控制板（508）通过指令解析将机器人底盘位姿控制信息传输给所述移动机器人底盘（501），所述移动机器人底盘（501）根据接到的机器人底盘位姿控制信息移动到指定位置。
10.一种存储介质，所述存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如权利要求4-9任意一项所述的控制方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310602863.5A CN116372954A (zh) | 2023-05-26 | 2023-05-26 | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310602863.5A CN116372954A (zh) | 2023-05-26 | 2023-05-26 | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116372954A true CN116372954A (zh) | 2023-07-04 |
Family
ID=86977230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310602863.5A Pending CN116372954A (zh) | 2023-05-26 | 2023-05-26 | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116372954A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101259614A (zh) * | 2008-04-11 | 2008-09-10 | 上海中为智能机器人有限公司 | 便携式多自由度小型爆炸物处理智能移动机器人系统 |
| CN107199550A (zh) * | 2017-03-15 | 2017-09-26 | 南昌大学 | 基于fpv头戴显示的机械外骨骼式排爆机器人 |
| US10311833B1 (en) * | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
| CN111452046A (zh) * | 2020-03-31 | 2020-07-28 | 佛山科学技术学院 | 基于虚拟现实的排爆机器人系统、控制方法及存储介质 |
| CN112116631A (zh) * | 2020-09-07 | 2020-12-22 | 江苏瑞科科技有限公司 | 一种工业增强现实组合定位系统 |
| CN112764530A (zh) * | 2020-12-30 | 2021-05-07 | 中国人民解放军32181部队 | 一种基于触控手柄和增强现实眼镜的弹药识别方法 |
| CN113115008A (zh) * | 2021-05-17 | 2021-07-13 | 哈尔滨商业大学 | 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法 |
| CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互系统及方法 |
| CN214772018U (zh) * | 2021-03-29 | 2021-11-19 | 屈健 | 一种ar交互排爆机器人 |
| CN115188378A (zh) * | 2022-07-06 | 2022-10-14 | 南京邮电大学 | 一种基于语音交互的目标识别视觉测距方法及系统 |
| CN115890693A (zh) * | 2021-08-27 | 2023-04-04 | 北京机械设备研究所 | 一种基于沉浸式感知和仿生控制的移动排爆装置及方法 |
-
2023
- 2023-05-26 CN CN202310602863.5A patent/CN116372954A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101259614A (zh) * | 2008-04-11 | 2008-09-10 | 上海中为智能机器人有限公司 | 便携式多自由度小型爆炸物处理智能移动机器人系统 |
| CN107199550A (zh) * | 2017-03-15 | 2017-09-26 | 南昌大学 | 基于fpv头戴显示的机械外骨骼式排爆机器人 |
| US10311833B1 (en) * | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
| CN110310329A (zh) * | 2018-03-27 | 2019-10-08 | 精工爱普生株式会社 | 操作显示设备的方法、信息处理系统及非暂时性存储介质 |
| CN111452046A (zh) * | 2020-03-31 | 2020-07-28 | 佛山科学技术学院 | 基于虚拟现实的排爆机器人系统、控制方法及存储介质 |
| CN112116631A (zh) * | 2020-09-07 | 2020-12-22 | 江苏瑞科科技有限公司 | 一种工业增强现实组合定位系统 |
| CN112764530A (zh) * | 2020-12-30 | 2021-05-07 | 中国人民解放军32181部队 | 一种基于触控手柄和增强现实眼镜的弹药识别方法 |
| CN214772018U (zh) * | 2021-03-29 | 2021-11-19 | 屈健 | 一种ar交互排爆机器人 |
| CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互系统及方法 |
| CN113115008A (zh) * | 2021-05-17 | 2021-07-13 | 哈尔滨商业大学 | 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法 |
| CN115890693A (zh) * | 2021-08-27 | 2023-04-04 | 北京机械设备研究所 | 一种基于沉浸式感知和仿生控制的移动排爆装置及方法 |
| CN115188378A (zh) * | 2022-07-06 | 2022-10-14 | 南京邮电大学 | 一种基于语音交互的目标识别视觉测距方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 唐宁: "现实增强在光学相干层析手术导航系统中的初步应用", 中国优秀硕士学位论文全文数据库 基础科学辑, no. 2021, pages 006 - 639 * |
| 李兆鹏: "基于圆模式平面标靶的相机标定方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2013, pages 138 - 1938 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9987744B2 (en) | Generating a grasp pose for grasping of an object by a grasping end effector of a robot | |
| CN109397249B (zh) | 基于视觉识别的二维码定位抓取机器人系统的方法 | |
| US9300852B2 (en) | Controlling robotic motion of camera | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
| CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| JP5022868B2 (ja) | 情報処理装置、情報処理方法 | |
| CN111615443B (zh) | 信息处理装置、信息处理方法和信息处理系统 | |
| CN111360818A (zh) | 一种通过视觉定位的机械臂控制系统 | |
| WO2023193362A1 (zh) | 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法 | |
| CN110142770B (zh) | 一种基于头戴显示装置的机器人示教系统及方法 | |
| CN113103235B (zh) | 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 | |
| CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
| JP5428639B2 (ja) | ロボットの制御装置及びロボットのティーチング方法 | |
| JP2011101915A (ja) | ロボットシステム | |
| Tripicchio et al. | A stereo-panoramic telepresence system for construction machines | |
| CN115776930A (zh) | 机器人控制装置、机器人控制方法和程序 | |
| CN112276914A (zh) | 一种基于ar技术的工业机器人及其人机交互方法 | |
| Stone | Virtual reality and telepresence | |
| JPH0421105A (ja) | マニピユレータの立体教示装置 | |
| CN113276110A (zh) | 一种基于ar技术的变电站操作机器人控制系统及方法 | |
| CN117237414A (zh) | 移动机器人平台下基于双目图像的抓取引导方法及系统 | |
| CN116372954A (zh) | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 | |
| CN107363831B (zh) | 基于视觉的遥操作机器人控制系统及方法 | |
| CN111452046A (zh) | 基于虚拟现实的排爆机器人系统、控制方法及存储介质 | |
| JP2778376B2 (ja) | カメラ視点変更方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |