CN107263449B - 基于虚拟现实的机器人远程示教系统 - Google Patents
基于虚拟现实的机器人远程示教系统 Download PDFInfo
- Publication number
- CN107263449B CN107263449B CN201710543418.0A CN201710543418A CN107263449B CN 107263449 B CN107263449 B CN 107263449B CN 201710543418 A CN201710543418 A CN 201710543418A CN 107263449 B CN107263449 B CN 107263449B
- Authority
- CN
- China
- Prior art keywords
- robot
- teaching
- learning
- module
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 claims description 67
- 238000004088 simulation Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000002787 reinforcement Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 239000012636 effector Substances 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 231100000167 toxic agent Toxicity 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明涉及机器人控制技术领域，具体提供一种基于虚拟现实的机器人远程示教系统，包括云端服务器、近端设备和远端设备；近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；远端设备包括第二图像采集模块和机器人；云端服务器依据远端设备图像信息构建机器人及其作业现场的三维空间场景图像，依据近端图像信息得到示教控制控制手柄和头戴式显示器的位姿数据，并以此为基础构建了机器人的虚拟现实操作环境。依据机器人工作任务的难易程度，将机器人远程示教操作分为普通示教操作和学习示教操作。本发明提供的技术方案可以高效地对机器人进行逼真度较高的远程示教控制。
Description
技术领域
本发明涉及机器人控制技术领域，具体涉及一种基于虚拟现实的机器人远程示教系统。
背景技术
随着机器人技术的不断发展，机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色。但现如今，机器人还未具有像人一样的智能自主工作于诸如海底探测、矿物开采、有毒物质处理等环境复杂的场所。因此针对于环境复杂的应用领域，对机器人进行远程示教控制显得尤为重要。相比于操作人员身临机器人作业现场完成对机器人的示教操作，远程对机器人示教控制，由于不能及时获得机器人在作业现场的状态信息，及作业现场的环境信息，急剧增加了示教操作任务的难度。因此，如何便捷地实现机器人的远程示教操作，使机器人以高适应性工作于环境复杂的应用场所已成为急需解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决如何高效的实现对机器人进行远程示教的目标，以及提高机器人工作中对复杂环境的适应能力，本发明提供了一种基于虚拟现实的机器人远程示教系统。
本发明提供的一种基于虚拟现实的机器人远程示教系统的技术方案是：
所述基于虚拟现实的机器人远程示教系统包括云端服务器、近端设备和远端设备；
所述近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；所述第一图像采集模块，用于采集所述示教控制手柄和头戴式显示器的图像信息，并将所采集的图像信息发送至云端服务器；所述示教控制手柄，用于产生机器人执行预设任务的示教动作；所述头戴式显示器，用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像；
所述远端设备包括第二图像采集模块和机器人；所述第二图像采集模块，用于采集所述机器人及其作业现场的图像信息，并将所采集的图像信息发送至云端服务器；所述机器人，用于依据云端服务器下发的所述近端设备中示教控制手柄的位姿数据执行预设任务。
进一步地，本发明提供的一个优选技术方案为：
所述云端服务器包括：
位姿解算模块，配置为依据近端设备中第一图像采集模块所采集的图像信息，获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据；
数据处理模块，配置为对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的位姿数据发送至机器人；
三维重建模块，配置为依据远端设备中第二图像采集模块所采集的图像信息，构建机器人及其作业现场的三维空间场景图像。
进一步地，本发明提供的一个优选技术方案为：
所述云端服务器还包括示教操作方式切换模块；
所述示教操作方式切换模块，配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式；当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制；
其中：
所述普通示教操作方式为控制所述示教控制手柄进行一次空间运动，并将所形成的示教轨迹作为机器人执行预设任务的运动轨迹；
所述学习示教操作方式为控制所述示教控制手柄进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。
进一步地，本发明提供的一个优选技术方案为：
所述云端服务器还包括模拟仿真模块；所述模拟仿真模块，配置为执行学习示教操作，所述学习示教操作包含下述过程：
设定深度强化学习算法的动作、状态和奖赏参数；
构建深度卷积神经网络；
采用模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过所述模拟仿真模块对所述学习训练后的神经网络进行验证，获取执行示教任务的成功率，当所述成功率大于或等于阈值时结束学习训练过程；
依据所采集的机器人作业现场的图像信息和所述学习训练后的深度卷积神经网络，确定执行预设任务的最优动作；
其中：
所述动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心处的运动指令，且所有动作构成动作集；所述状态为远端设备中第二图像采集模块所采集的包含机器人在内的作业现场的图像信息；所述奖赏参数为各状态对应的奖赏值；
所述的模拟仿真模块包括仿真模拟器；所述仿真模拟器，配置为学习示教操作，学习示教前，在仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件；学习示教过程中采用仿真模拟器代替真实机器人及其作业现场对深度卷积神经网络进行学习训练。
进一步地，本发明提供的一个优选技术方案为：
所述模拟仿真模块，还配置为在确定执行预设任务的最优动作之前执行下述操作：
依据安装于机器人手臂末端的彩色深度相机，判断机器人的运动轨迹上是否存在障碍物：
当机器人的运动轨迹上存在障碍物时，依据所述障碍物的空间位置，将可使机器人从当前位置移动到障碍物的动作从动作集中删除，再从剩余动作集中选取执行预设任务的最优动作。
进一步地，本发明提供的一个优选技术方案为：
所述动作集包括多个动作，且各动作所对应的机器人移动后的空间位置呈对称分布；
所述奖赏参数包括第一参数、第二参数和第三参数；所述第一参数为学习示教过程中出现的各状态对应的奖赏值，该奖赏值为m，m>0；所述第二参数为学习示教过程中机器人的目标位置所对应状态的奖赏值，该奖赏值为n，n>m；所述第三参数为学习示教过程中未出现状态对应的奖赏值，该奖赏值为k，k＜0。
进一步地，本发明提供的一个优选技术方案为：
所述系统的头戴式显示器，还用于显示所述模拟仿真模块中仿真模拟器场景及机器人的工作状态信息；
所述示教控制手柄与头戴式显示器通信连接；
所述示教控制手柄，还用于切换所述头戴式显示器所显示的图像。
进一步地，本发明提供的一个优选技术方案为：
所述云端服务器的三维重建模块还包括视角切换单元；
所述视角切换单元，配置为依据头戴式显示器的姿态角数据，实时调节三维空间场景图像的观察视角；所述调节后的观察视角如下式所示：
Dview＝(UV0+UH-UH0,VV0+VH-VH0,WV0+WH-WH0)
其中，(UV0,VV0,WV0)为在空间笛卡尔坐标系下头戴式显示器转动前三维空间场景图像观察视角，(UH0,VH0,WH0)为在空间笛卡尔坐标系下头戴式显示器转动前的姿态角，(UH,VH,WH)为在空间笛卡尔坐标系下头戴式显示器转动后的姿态角。
进一步地，本发明提供的一个优选技术方案为：
所述第一图像采集模块包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布；
所述第二图像采集模块包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布。
进一步地，本发明提供的一个优选技术方案为：
所述系统包括一个或多个示教控制手柄。
与现有技术相比，上述技术方案至少具备以下有益效果：
本发明提供的一种基于虚拟现实的机器人远程示教系统，通过构建机器人及其现场作业环境的三维空间场景图像，并对机器人的动作进行仿真，从而可以实现在虚拟环境下对机器人进行远程示教控制。具体地，近端设备可以采集示教操作人员的示教控制手柄和头戴式显示器的图像，远端设备可以采集机器人及其作业现场的图像，云端服务器依据近端设备采集图像可以得到示教控制手柄和头戴式显示器的位姿数据，依据远端设备采集图像可以构建机器人及其作业现场的三维空间场景图像，并将其传递到头戴式显示器，使得示教操作人员可以依据该三维空间场景图像对机器人进行逼真度较高的远程示教。同时，将机器人的示教操作分为普通示教操作与学习示教操作两种方案，其中普通示教操作通过单次示教操作便可完成，适用于机器人工作任务简单、工作环境变动不大的情况，学习示教操作需通过多次示教操作，适用于机器人工作于环境复杂多变的场所，提高了机器人对复杂环境的适应能力。
附图说明
图1是本发明实施例中一种基于虚拟现实的机器人远程示教系统的结构示意图；
图2是本发明实施例中另一种基于虚拟现实的机器人远程示教系统的结构示意图；
图3是本发明实施例中云端服务器示意图；
图4是本发明实施例中示教学习动作集示意图；
其中，10：近端设备；11：第一图像采集模块；111：彩色深度相机；12：示教控制手柄；121：左手示教控制手柄；122：右手示教控制手柄；13：头戴式显示器；20：远端设备；21：第二图像采集模块；211：彩色深度相机；22：机器人；30：云端服务器；31：位姿解算模块；32：数据处理模块；33：模拟仿真模块；34：三维重建模块；35：示教操作方式切换模块。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
目前，机器人远程示教方法受机器人及其现场作业环境存在的未知因素的限制，不能高效地对机器人进行远程示教。基于此，本发明提供了一种基于虚拟现实的机器人远程示教系统，该系统通过构建机器人及其现场作业环境的三维空间场景图像，从而可以实现在虚拟环境下对机器人进行远程示教控制。同时，该系统还可以对机器人进行学习示教操作，使得机器人处于环境复杂多变的作业场所时也可以准确地完成示教动作，提高了机器人对环境的适应能力。
下面结合附图，对本发明实施例提供的基于虚拟现实的机器人远程示教系统进行说明。
图1示例性示出了本实施例中一种基于虚拟现实的机器人远程示教系统的结构，如图所示，本实施例中基于虚拟现实的机器人远程示教系统可以包括近端设备10、远端设备20和云端服务器30。
具体地，本实施例中近端设备10可以包括第一图像采集模块11、示教控制手柄12和头戴式显示器13。其中，第一图像采集模块11可以用于采集示教控制手柄12和头戴式显示器13的图像信息，并将采集到的图像信息发送至云端服务器30。示教控制手柄12可以用于产生机器人执行预设任务的示教动作。头戴式显示器13可以用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像。
其中：
本实施例中第一图像采集模块可以包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布。该彩色深度相机可以采集示教控制手柄12和头戴式显示器13的图像信息。
本实施例中基于虚拟现实的机器人远程示教系统可以包括一个或多个示教控制手柄12，示教控制手柄12通过在空间运动产生机器人执行预设任务的示教轨迹，机器人同步跟踪该示教轨迹，实现远程示教。例如，示教控制的是单臂机器人，可选择某一示教控制手柄完成示教操作，若示教控制多臂机器人或多台单臂机器人协同完成某一项工作任务时，则可同时采用多个示教控制手柄，分别对应不同机器人手臂协同完成相应的示教控制任务。
本实施例中可以通过头戴式显示器13观察机器人及其作业现场的三维空间场景图像，并通过示教控制手柄12产生机器人执行预设任务的示教轨迹，实现对机器人进行远程示教控制。
进一步地，本实施例中远端设备20可以包括第二图像采集模块21和机器人22。其中，第二图像采集模块21可以包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布，该第二图像采集模块21可以用于采集机器人22及其作业现场的图像信息，并将采集到的图像信息发送至云端服务器30，云端服务器30可以依据第二图像采集模块21发送的图像信息构建机器人22及其作业现场的三维空间场景图像。机器人22可以用于依据云端服务器30下发的近端设备10中示教控制手柄12的位姿数据，执行预设任务。
其中：
本实施例中示教控制手柄的位姿数据包括在预设坐标系下示教控制手柄12的位置数据和姿态角数据。例如，示教控制手柄的位姿数据包括在笛卡尔坐标系下的位置数据和姿态角数据。
本实施例中机器人可以包括控制器和末端执行器。其中，控制器可以配置为依据云端服务器下发的示教控制手柄的位姿数据变化量，控制末端执行器动作。
例如：机器人末端执行器的初始位姿数据为(XR0,YR0,ZR0；UR0,VR0,WR0)，示教控制手柄的初始位姿数据为(XC0,YC0,ZC0；UC0,VC0,WC0)，当前时刻示教控制手柄的位姿数据为(XC,YC,ZC；UC,VC,WC)，可以得到示教控制手柄的位姿数据变化量为(ΔXC,ΔYC,ΔZC；ΔUC,ΔVC,ΔWC)，控制器依据该位姿数据变化量控制末端执行器运动，运动后的位姿数据为(XR0+ΔXC，YR0+ΔYC，ZR0+ΔZC；UR0+ΔUC，VR0+ΔVC，WR0+ΔWC)。
上述实施方案中各参数含义为：
(XR0,YR0,ZR0)和(UR0,VR0,WR0)分别为空间笛卡尔坐标系下三个方向机器人末端执行器的初始位置和初始姿态角。(XC0,YC0,ZC0)和(UC0,VC0,WC0)分别为空间笛卡尔坐标系下三个方向示教控制手柄的初始位置和初始姿态角。(XC,YC,ZC)和(UC,VC,WC)分别为空间笛卡尔坐标系下三个方向示教控制手柄的当前时刻位置和当前时刻姿态角。(ΔXC,ΔYC,ΔZC)和(ΔUC,ΔVC,ΔWC)分别为空间笛卡尔坐标系下三个方向示教控制手柄的位置变化量和姿态角变化量。其中，ΔXC＝XC-XC0,ΔYC＝YC-YC0,ΔZC＝ZC-ZC0,ΔUC＝UC-UC0,ΔVC＝VC-VC0,ΔWC＝WC-WC0。(XR0+ΔXC,YR0+ΔYC,ZR0+ΔZC)和(UR0+ΔUC,VR0+ΔVC,WR0+ΔWC)分别为空间笛卡尔坐标系下三个方向机器人末端执行器的位置和姿态角。
进一步地，本实施例中云端服务器可以包括下述结构，具体为：
图3示例性示出了本实施例中云端服务器结构，如图所示，本实施例中云端服务器30可以包括位姿解算模块31、数据处理模块32、三维重建模块34、模拟仿真模块33和示教操作方式切换模块35。
其中：
本实施例中位姿解算模块31可以配置为依据近端设备10中第一图像采集模块11所采集的图像信息，获取示教控制手柄12的位姿数据和头戴式显示器13的姿态角数据。
本实施例中数据处理模块32可以配置为对位姿解算模块31所获取的位姿数据进行滤波处理，并将滤波后的位姿数据发送至机器人22。本实施例中通过数据处理模块32对位姿数据进行滤波处理，可以降低噪声数据的干扰。同时，机器人22的控制器在接收到数据处理模块32发送的位姿数据后，可以控制机器人22的末端执行器按照所接收的位姿数据跟随示教控制手柄12的示教轨迹动作。
本实施例中三维重建模块34可以配置为依据远端设备20中第二图像采集模块21所采集的图像信息，构建机器人22及其作业现场的三维空间场景图像。进一步地，本实施例中三维重建模块可以包括视角切换单元，该视角切换单元可以配置为依据头戴式显示器的姿态角数据，实时调节三维空间场景图像的观察视角。本实施例中调节后的观察视角如下式(1)所示：
Dview＝(UV0+UH-UH0,VV0+VH-VH0,WV0+WH-WH0) (1)
公式(1)中各参数含义为：
(UV0,VV0,WV0)为在空间笛卡尔坐标系下头戴式显示器转动前三维空间场景图像观察视角，(UH0,VH0,WH0)为在空间笛卡尔坐标系下头戴式显示器转动前的姿态角，(UH,VH,WH)为在空间笛卡尔坐标系下头戴式显示器转动后的姿态角。
本实施例中示教操作方式切换模块35可以配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式。具体地，当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制。
本实施例中普通示教操作方式为控制示教控制手柄12进行一次空间运动，并将所形成的示教轨迹作为机器人22执行预设任务的运动轨迹。学习示教操作方式为控制示教控制手柄12进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。
本实施例中模拟仿真模块，该模拟仿真模块可以配置为执行学习示教操作。进一步地，为了保证机器人在环境复杂的作业现场可以高效准确的完成示教操作任务，本实施例中学习示教操作包含以下步骤：
步骤1：设定深度强化学习算法的动作、状态及奖赏参数。
本实施例中动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心处的运动指令，且所有动作构成动作集。状态为远端设备中第二图像采集模块所采集的包含机器人在内的作业现场的图像信息，该图像信息包括彩色图片和深度图片，不同时刻的状态对应于不同时刻彩色深度相机所采集的图片。奖赏参数为各状态对应的奖赏值。在本实施例的一个优选实施方案中：动作集中各动作对应机器人从当前位置移动后所到达的空间位置呈对称分布。奖赏参数可以包括第一参数、第二参数和第三参数。其中，第一参数为学习示教过程中所出现各状态对应的奖赏值，该奖赏值为m，m>0；第二参数为学习示教过程中机器人的目标空间位置对应状态的奖赏值，该奖赏值为n，n>m；第三参数为学习示教过程中机器人未出现状态对应的奖赏值，该奖赏值为k，k<0。
步骤2：构建深度卷积神经网络，神经网络的输入为数目至少为连续2组的彩色图片与深度图片，输出为与动作集中每种动作对应的状态动作值。
步骤3：学习训练，采用云端服务器中模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过模拟仿真模块对学习训练后的神经网络进行验证，获取执行示教任务的成功率，当成功率大于或等于阈值时结束学习训练过程。
在本实施例的一个优选实施方案中，模拟仿真模块还可以包括仿真模拟器。该仿真模拟器可以配置为学习示教操作，具体地：学习示教前，在仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件；学习示教过程中采用仿真模拟器代替真实机器人及其作业现场对深度卷积神经网络进行学习训练。
步骤4：示教学习再现，将实时采集的机器人作业现场的图像信息输入到训练后的深度卷积神经网络，得到当前状态下执行预设任务的最优动作。
在本实施例的一个优选实施方案中，可以按照下述步骤对机器人进行学习示教控制：
步骤S101：依据深度强化学习算法设定对机器人进行学习示教操作的各项参数，包括动作集a、状态s和奖赏参数r。在本实施例的一个优选实施方案中，动作集a所包含动作的类型数量为14，设定示教过程中出现的各状态对应的奖赏参数r＝0.1，示教轨迹的目标位置所对应状态的奖赏参数为r＝10，示教过程中未出现状态对应奖赏参数为r＝-0.1。
图4示例性示出了本实施例中示教学习动作集，如图所示，本实施例中a1～a14分别表示将机器人从空间当前位置移动到以该位置为中心的单位长度为0.001m的立方体8个顶点和6个侧面中心处的动作。
步骤S102：构建深度卷积神经网络。
本实施例中可以采用常规的深度卷积神经网络构建方法进行深度卷积神经网络构建。具体地，深度卷积神经网络可以包括多个卷积层和多个全连接层。深度卷积神经网络的输入数据为连续的数目至少为2组的彩色图像与深度图像，输出为动作集a中不同动作对应的状态动作值。
本实施例提供的一个优选实施方案中深度卷积神经网络包括三个卷积层和两个全连接层，彩色深度相机所采集的图像像素尺寸为640×480。下面对深度卷积神经网络中输入层、卷积层、全连接层和输出层分别进行说明，具体为：
本实施例中输入层包括为连续的三张像素尺寸为640×480的灰度图像。第一卷积层：对输入层采用像素尺寸大小为8×8的3×32个卷积核，以滑动步长为5做卷积运算，加权求和后并经非线性函数ReLU变换，可以得到第一隐藏层，即第一卷积层。第二卷积层：对第一隐藏层采用像素尺寸大小为5×5的32×64个卷积核，以滑动步长为2做卷积运算，加权求和后并经非线性函数ReLU变换，可以得到第二隐藏层，即第二卷积层。第三卷积层：对第二隐藏层采用像素尺寸大小为2×2的64×32个卷积核，以滑动步长为1做卷积，加权求和后经非线性函数ReLU变换，可以得到第三隐藏层，即第三卷积层。第一全连接层的神经元与第三卷积层的神经元以全连接形式连接。第二全连接层也为输出层，该层的神经元的数量与动作a的类型数量相同，且该层的神经元与第一全连接层的神经元以全连接形式连接，每个神经元输出为不同动作a对应的状态动作值，并将最大状态动作值所对应的动作a作为当前时刻机器人应执行的最优动作。
步骤S103：在云端服务器模拟仿真模块中的仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件。将仿真模拟器中虚拟彩色深度相机实时采集的连续的3组仿真模拟器深度图像与彩色图像输入到神经网络，并结合示教动作信息所提供的奖赏值，对神经网络进行训练。同时，在学习训练一定时间间隔后，通过模拟仿真模块对学习训练后的神经网络进行验证，获得执行示教任务的成功率，当成功率大于或等于阈值时结束学习训练过程。
步骤S104：示教学习再现。将实时采集的与仿真模拟器中仿真画面方位等同的真实机器人及其作业现场的图像信息输入到训练后的深度卷积神经网络，得到当前状态下机器人执行预设任务的最优动作。
进一步地，在步骤S104中确定执行预设任务的最优动作之前还可以执行下述操作：依据安装于机器人手臂末端的彩色深度相机，判断机器人的运动轨迹上是否存在障碍物，当机器人的运动轨迹上存在障碍物时，依据障碍物的空间位置，将可使机器人从当前位置移动到障碍物的动作从动作集中删除，再从剩余动作集中选取执行预设任务的最优动作。
本实施例提供的一个优选实施方案中，近端设备的头戴式显示器还可以显示模拟仿真模块中仿真模拟器场景及机器人的工作状态信息。其中，机器人的工作状态信息可以包括机器人末端执行器的空间位置、机器人各关节的角度值、机器人各关节的电机电流、电机电压、电机温度等信息。
本实施例中示教控制手柄与头戴式显示器通信连接，可以用于切换头戴式显示器所显示的图像。例如，示教控制手柄可以控制头戴式显示器显示机器人及其作业现场的三维空间场景图像、或显示模拟仿真模块中仿真模拟器场景、或显示机器人的工作状态信息。同时，本实施例中示教控制手柄上还可以设置启停按钮，该启停按钮可以用于启动示教控制手柄以对机器人进行示教控制、或停止示教控制手柄以结束对机器人进行示教控制。
进一步地，本实施例中可以按照下述步骤操作基于虚拟现实的机器人远程示教系统，具体为：
步骤S201：启动机器人远程示教系统，该系统中第一图像采集模块和第二图像采集模块采集相应的图像信息，并将图像信息发送至云端服务器。云端服务器中三维重建模块依据第二图像采集模块所采集的图像信息构建机器人及其作业现场的三维空间场景图像，位姿解算模块为依据第一图像采集模块所采集的图像信息获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据，数据处理模块对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的手柄位姿数据发送至机器人的控制器。
步骤S202：示教操作人员通过头戴式显示器观察机器人及其作业现场的三维空间场景图像，并启动示教控制手柄开始进行示教控制。此时，云端服务器可以分析示教控制手柄的位姿数据，并将位姿数据变化量发送到机器人的控制器，以控制末端执行器执行示教动作。
本实施例中可以依据机器人需要执行的任务的难易程度，判断是否对机器人进行学习示教操作。当不需要进行学习示教操作时，示教操作人员通过示教控制手柄完成一次示教操作，云端服务器即可控制机器人准确地完成示教动作。当需要进行学习示教操作时，示教操作人员通过机器人远程示教系统对机器人进行学习示教操作。
步骤S203：示教操作人员完成示教操作后，停止示教控制手柄以结束对机器人进行示教控制。
步骤S204：机器人对示教过程进行再现，以完成相应地作业任务。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
进一步地，本实施例提供一种基于虚拟现实的机器人远程示教系统的优选实施方案，下面结合附图对该系统进行说明
图2示例性示出了本实施例中基于虚拟现实的机器人远程示教系统结构，如图所示，本实施例中基于虚拟现实的机器人远程示教系统包括近端设备、远端设备和云端服务器30。其中，近端设备包括第一图像采集模块、头戴式显示器、左手示教控制手柄121和右手示教控制手柄122，第一图像采集模块包括三个彩色深度相机111。远端设备包括第二图像采集模块和机器人22，第二图像采集模块包括五个彩色深度相机211。
本实施例中近端设备、远端设备和云端服务器与前述基于虚拟现实的机器人远程示教系统实施例所述的近端设备、远端设备和云端服务器的结构、功能相同，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的机器人远程示教的具体工作过程及有关说明，可以参考前述机器人远程示教实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，上述器人远程示教系统还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图1和2中示出。
应该理解，图1和2中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于虚拟现实的机器人远程示教系统，其特征在于，包括云端服务器、近端设备和远端设备；
所述近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；所述第一图像采集模块，用于采集所述示教控制手柄和头戴式显示器的图像信息，并将所采集的图像信息发送至云端服务器；所述示教控制手柄，用于产生机器人执行预设任务的示教动作；所述头戴式显示器，用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像；
所述远端设备包括第二图像采集模块和机器人；所述第二图像采集模块，用于采集所述机器人及其作业现场的图像信息，并将所采集的图像信息发送至云端服务器；所述机器人，用于依据云端服务器下发的所述近端设备中示教控制手柄的位姿数据执行预设任务；
所述云端服务器包括示教操作方式切换模块；
所述示教操作方式切换模块，配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式；当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制；
其中：
所述普通示教操作方式为控制所述示教控制手柄进行一次空间运动，并将所形成的示教轨迹作为机器人执行预设任务的运动轨迹；
所述学习示教操作方式为控制所述示教控制手柄进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。
2.根据权利要求1所述的系统，其特征在于，所述云端服务器还包括：
位姿解算模块，配置为依据近端设备中第一图像采集模块所采集的图像信息，获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据；
数据处理模块，配置为对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的位姿数据发送至机器人；
三维重建模块，配置为依据远端设备中第二图像采集模块所采集的图像信息，构建机器人及其作业现场的三维空间场景图像。
3.根据权利要求1所述的系统，其特征在于，所述云端服务器还包括模拟仿真模块；所述模拟仿真模块，配置为执行学习示教操作，所述学习示教操作包含下述过程：
设定深度强化学习算法的动作、状态和奖赏参数；
构建深度卷积神经网络；
采用模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过所述模拟仿真模块对所述学习训练后的神经网络进行验证，获取执行示教任务的成功率，当所述成功率大于或等于阈值时结束学习训练过程；
依据所采集的机器人作业现场的图像信息和所述学习训练后的深度卷积神经网络，确定执行预设任务的最优动作；
其中：
所述动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心处的运动指令，且所有动作构成动作集；所述状态为远端设备中第二图像采集模块所采集的包含机器人在内的作业现场的图像信息；所述奖赏参数为各状态对应的奖赏值；
所述的模拟仿真模块包括仿真模拟器；所述仿真模拟器，配置为学习示教操作，学习示教前，在仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件；学习示教过程中采用仿真模拟器代替真实机器人及其作业现场对深度卷积神经网络进行学习训练。
4.根据权利要求3所述的系统，其特征在于，所述模拟仿真模块，还配置为在确定执行预设任务的最优动作之前执行下述操作：
依据安装于机器人手臂末端的彩色深度相机，判断机器人的运动轨迹上是否存在障碍物：
当机器人的运动轨迹上存在障碍物时，依据所述障碍物的空间位置，将可使机器人从当前位置移动到障碍物的动作从动作集中删除，再从剩余动作集中选取执行预设任务的最优动作。
5.根据权利要求3所述的系统，其特征在于，
所述动作集包括多个动作，且各动作所对应的机器人移动后的空间位置呈对称分布；
所述奖赏参数包括第一参数、第二参数和第三参数；所述第一参数为学习示教过程中出现的各状态对应的奖赏值，该奖赏值为m，m>0；所述第二参数为学习示教过程中机器人的目标位置所对应状态的奖赏值，该奖赏值为n，n>m；所述第三参数为学习示教过程中未出现状态对应的奖赏值，该奖赏值为k，k＜0。
6.根据权利要求3所述的系统，其特征在于，
所述系统的头戴式显示器，还用于显示所述模拟仿真模块中仿真模拟器场景及机器人的工作状态信息；
所述示教控制手柄与头戴式显示器通信连接；
所述示教控制手柄，还用于切换所述头戴式显示器所显示的图像。
7.根据权利要求2所述的系统，其特征在于，
所述云端服务器的三维重建模块还包括视角切换单元；
所述视角切换单元，配置为依据头戴式显示器的姿态角数据，实时调节三维空间场景图像的观察视角；所述调节后的观察视角如下式所示：
Dview＝(UV0+UH-UH0,VV0+VH-VH0,WV0+WH-WH0)
其中，(UV0,VV0,WV0)为在空间笛卡尔坐标系下头戴式显示器转动前三维空间场景图像观察视角，(UH0,VH0,WH0)为在空间笛卡尔坐标系下头戴式显示器转动前的姿态角，(UH,VH,WH)为在空间笛卡尔坐标系下头戴式显示器转动后的姿态角。
8.根据权利要求1或2所述的系统，其特征在于，
所述第一图像采集模块包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布；
所述第二图像采集模块包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布。
9.根据权利要求1或2所述的系统，其特征在于，
所述系统包括一个或多个示教控制手柄。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710543418.0A CN107263449B (zh) | 2017-07-05 | 2017-07-05 | 基于虚拟现实的机器人远程示教系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710543418.0A CN107263449B (zh) | 2017-07-05 | 2017-07-05 | 基于虚拟现实的机器人远程示教系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107263449A CN107263449A (zh) | 2017-10-20 |
| CN107263449B true CN107263449B (zh) | 2020-01-10 |
Family
ID=60071675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710543418.0A Active CN107263449B (zh) | 2017-07-05 | 2017-07-05 | 基于虚拟现实的机器人远程示教系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107263449B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107838921A (zh) * | 2017-10-24 | 2018-03-27 | 上海佳革智能科技有限公司 | 一种基于vr的机器人培训系统 |
| CN108229678B (zh) * | 2017-10-24 | 2021-04-06 | 深圳市商汤科技有限公司 | 网络训练方法、操作控制方法、装置、存储介质和设备 |
| US10913154B2 (en) * | 2018-01-02 | 2021-02-09 | General Electric Company | Systems and method for robotic learning of industrial tasks based on human demonstration |
| CN108161904B (zh) * | 2018-01-09 | 2019-12-03 | 青岛理工大学 | 基于增强现实的机器人在线示教装置、系统、方法、设备 |
| CN108058163A (zh) * | 2018-02-12 | 2018-05-22 | 东北大学 | 一种具有知识共享与自主学习的云机器人系统 |
| CN108573526A (zh) * | 2018-03-30 | 2018-09-25 | 盎锐（上海）信息科技有限公司 | 人脸抓拍装置及影像生成方法 |
| DE102018109463C5 (de) * | 2018-04-19 | 2023-10-05 | Voraus Robotik Gmbh | Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung |
| CN108890630A (zh) * | 2018-08-21 | 2018-11-27 | 广东工业大学 | 一种机器人示教系统及方法 |
| CN109591012B (zh) * | 2018-12-03 | 2022-03-29 | 日照市越疆智能科技有限公司 | 加强学习方法、机器人和存储介质 |
| CN109710092A (zh) * | 2018-12-12 | 2019-05-03 | 深圳中广核工程设计有限公司 | 一种核电站虚拟主控室人机交互方法、系统及服务器 |
| CN109858574B (zh) * | 2018-12-14 | 2019-12-17 | 启元世界(北京)信息技术服务有限公司 | 面向人机协同工作的智能体的自主学习方法和系统 |
| CN110193816B (zh) * | 2019-05-09 | 2023-08-11 | 清能精控机器人技术(佛山)有限公司 | 工业机器人示教方法、手柄及系统 |
| CN110286769A (zh) * | 2019-06-28 | 2019-09-27 | 泉州信息工程学院 | 一种基于增强现实的智能仿真制造方法和系统以及设备 |
| CN111045425B (zh) * | 2019-12-05 | 2023-04-28 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN111203876A (zh) * | 2020-01-10 | 2020-05-29 | 五邑大学 | 一种医用机械臂远程控制方法 |
| CN111283664B (zh) * | 2020-03-24 | 2023-03-28 | 青岛理工大学 | 一种面向机器人增强现实示教的注册系统和方法 |
| CN111897239A (zh) * | 2020-08-04 | 2020-11-06 | 中国铁建重工集团股份有限公司 | 一种双向数字模拟实时仿真系统及仿真方法 |
| CN112183188B (zh) * | 2020-08-18 | 2022-10-04 | 北京航空航天大学 | 一种基于任务嵌入网络的机械臂模仿学习的方法 |
| CN114434437A (zh) * | 2020-10-30 | 2022-05-06 | 西门子（中国）有限公司 | 一种机器人的远程控制方法及装置 |
| CN112396180B (zh) * | 2020-11-25 | 2021-06-29 | 中国科学院自动化研究所 | 基于动态示教数据和行为克隆的深度q学习网络优化方法 |
| CN112530267B (zh) * | 2020-12-17 | 2022-11-08 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
| CN112847339A (zh) * | 2020-12-25 | 2021-05-28 | 珠海新天地科技有限公司 | 一种机器人模拟装置 |
| CN113001548B (zh) * | 2021-03-15 | 2022-04-29 | 安徽工程大学 | 一种基于虚拟仿真体验的机器人示教方法 |
| CN112967559B (zh) * | 2021-03-29 | 2021-12-28 | 北京航空航天大学 | 一种基于虚拟装配环境的装配技能直接生成方法 |
| CN113119132A (zh) * | 2021-04-21 | 2021-07-16 | 浙江大学 | 一种基于模仿学习的深海精细遥操纵任务的实现方法 |
| WO2022222061A1 (zh) * | 2021-04-21 | 2022-10-27 | 深圳先进技术研究院 | 一种机器人示教系统及方法、机器人控制系统及方法 |
| CN113283102B (zh) * | 2021-06-08 | 2023-08-22 | 中国科学院光电技术研究所 | 一种天文望远镜云团穿越视场的快速仿真方法 |
| CN115237302A (zh) * | 2021-06-30 | 2022-10-25 | 达闼机器人股份有限公司 | 基于数字孪生的场景切换方法、装置、介质和电子设备 |
| CN113962390B (zh) * | 2021-12-21 | 2022-04-01 | 中国科学院自动化研究所 | 基于深度强化学习网络构建多样化搜索策略的模型的方法 |
| CN114799638A (zh) * | 2022-05-16 | 2022-07-29 | 广州东焊智能装备有限公司 | 一种基于虚拟现实的人机协作焊接系统 |
| WO2023228149A1 (en) | 2022-05-27 | 2023-11-30 | Instituto Pedro Nunes, Associação Para A Inovação E Desenvolvimento Em Ciência E Tecnologia | Bidirectional feedback system and respective method |
| CN115179256B (zh) * | 2022-06-09 | 2024-04-26 | 鹏城实验室 | 远程示教方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100484726C (zh) * | 2006-05-12 | 2009-05-06 | 上海大学 | 基于虚拟现实机器人灵巧手遥操作平台 |
| JP5742862B2 (ja) * | 2013-03-18 | 2015-07-01 | 株式会社安川電機 | ロボット装置及び被加工物の製造方法 |
| JP6643000B2 (ja) * | 2015-08-06 | 2020-02-12 | キヤノン株式会社 | 仮想環境作成方法、ロボット装置の制御方法、ロボットシステム、および情報処理装置 |
| CN106385465A (zh) * | 2016-11-08 | 2017-02-08 | 华南理工大学 | 一种可远程交互机器人系统与方法 |
| CN106909216B (zh) * | 2017-01-05 | 2020-05-22 | 华南理工大学 | 一种基于Kinect传感器的仿人机械手控制方法 |
-
2017
- 2017-07-05 CN CN201710543418.0A patent/CN107263449B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107263449A (zh) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107263449B (zh) | 基于虚拟现实的机器人远程示教系统 | |
| Zhang et al. | Deep imitation learning for complex manipulation tasks from virtual reality teleoperation | |
| CN108284436B (zh) | 具有模仿学习机制的远程机械双臂系统及方法 | |
| Zhang et al. | Towards vision-based deep reinforcement learning for robotic motion control | |
| Li et al. | A mobile robot hand-arm teleoperation system by vision and imu | |
| CN106938470A (zh) | 一种机器人力控示教模仿学习的装置及方法 | |
| JP2019516568A (ja) | 物体を取り込む画像に基づき、環境内の将来のロボット運動に関するパラメータに基づいて、ロボットの環境内の物体の動きを予測することに関する機械学習の方法および装置 | |
| Inaba et al. | A platform for robotics research based on the remote-brained robot approach | |
| KR20210060519A (ko) | 디바이스 제어를 위한 태스크 임베딩 | |
| Inaba et al. | Real-time vision plus remote-brained design opens a new world for experimental robotics | |
| Tieck et al. | Controlling a robot arm for target reaching without planning using spiking neurons | |
| Su et al. | Multicamera 3d viewpoint adjustment for robotic surgery via deep reinforcement learning | |
| DE102020214633A1 (de) | Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung | |
| CN111152220B (zh) | 一种基于人机融合的机械臂控制方法 | |
| Tikanmäki et al. | The remote operation and environment reconstruction of outdoor mobile robots using virtual reality | |
| Lew et al. | Robotic table wiping via reinforcement learning and whole-body trajectory optimization | |
| Macchini et al. | Does spontaneous motion lead to intuitive Body-Machine Interfaces? A fitness study of different body segments for wearable telerobotics | |
| Gao et al. | Kinect-based motion recognition tracking robotic arm platform | |
| Di Gesù et al. | A distributed architecture for autonomous navigation of robots | |
| US20220101477A1 (en) | Visual Interface And Communications Techniques For Use With Robots | |
| Chen et al. | A 3D Mixed Reality Interface for Human-Robot Teaming | |
| Cho et al. | Development of VR visualization system including deep learning architecture for improving teleoperability | |
| US20210252699A1 (en) | System and method for embodied authoring of human-robot collaborative tasks with augmented reality | |
| Banda et al. | Investigations on collaborative remote control of virtual robotic manipulators by using a Kinect v2 sensor | |
| Yang et al. | A web-based 3d virtual robot remote control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |