CN110238831B - 基于rgb-d图像及示教器的机器人示教系统及方法 - Google Patents
基于rgb-d图像及示教器的机器人示教系统及方法 Download PDFInfo
- Publication number
- CN110238831B CN110238831B CN201910665326.9A CN201910665326A CN110238831B CN 110238831 B CN110238831 B CN 110238831B CN 201910665326 A CN201910665326 A CN 201910665326A CN 110238831 B CN110238831 B CN 110238831B
- Authority
- CN
- China
- Prior art keywords
- teaching
- coordinate system
- rgb
- robot
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 89
- 239000012636 effector Substances 0.000 claims abstract description 52
- 230000003190 augmentative effect Effects 0.000 claims abstract description 50
- 238000004088 simulation Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 63
- 230000009466 transformation Effects 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 72
- 238000003466 welding Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 7
- 238000005507 spraying Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- 238000000227 grinding Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000010923 batch production Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
- B25J9/023—Cartesian coordinate type
- B25J9/026—Gantry-type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36492—Record position and orientation, posture of probe, tool
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37388—Acceleration or deceleration, inertial measurement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39014—Match virtual world with real world
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39435—Free movable unit has push buttons for other than position, orientation control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40129—Virtual graphic 3-D pointer, manipulator commands real manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
本发明涉及基于RGB‑D图像及示教器的机器人示教系统，包括RGB‑D相机、上位机、姿态示教器和AR示教系统，AR示教系统包括AR注册卡和增强现实模块、包含机器人末端执行器的虚拟机器人模型、路径规划单元和姿态示教单元，RGB‑D相机实时采集物理工作环境的RGB图像和深度图像，在路径规划单元中选择机器人末端执行器的路径点，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；姿态示教单元将接收到的姿态数据作为当前运动所在路径点的姿态，并根据路径点的位置和姿态驱动虚拟机器人模型运动，完成示教。本发明不需复杂的位姿跟踪系统，且物理机器人不参与示教，通过增强现实仿真完成示教编程。
Description
技术领域
本发明涉及基于RGB-D图像及示教器的机器人示教系统及方法和方法，属于智能制造领域。
背景技术
当前工业机器人在焊接、打磨、装配、喷涂等领域中广泛用，机器人编程是发挥机器人的功能，完成复杂任务的关键。工业机器人编程方式主要分为在线示教编程、离线示教编程和自主编程三类。在线示教编程过程是通过示教编程人员手动拖拽机器人末端执行器或者操作示教盒驱动机器人末端到达目标路径点，存储该路径点作为机器人的编程轨迹。该方法仅能完成简单的点位编程和简单轨迹的路径编程，但精度难以保证，且编程过程繁琐，效率低，存在安全隐患。离线示教编程过程是：首先在虚拟环境中建立物理机器人模型和实际作业环境的3D模型，通过计算机操作驱动虚拟机器人运动，模拟物理机器人的工作过程，生成物理机器人的路径规划。但是离线示教需要专业的技术人员才能建立实际作业环境的虚拟模型，且建模工作量大、操作难度大、编程效率低、不适用于动态变化的工作场景，并且要求编程人员不仅具备专业技能，还要具备较高的计算机建模和操作能力。自主编程过程是：机器人利用视觉传感器检测物理工作环境、实时获取现场的几何信息，在线自主规划机器人路径。该类方法在无外界控制的条件下，机器人可以独立完成一定的任务，但环境适应能力和抗干扰能力差，视觉伺服成本高。
随着产品个性化定制、混流生产的发展，机器人编程成为影响生产效率的关键因素之一。公开号CN107309882A的《一种机器人示教编程系统及方法》，该技术方案通过一线工人在线示教，位姿跟踪系统和示教系统跟踪一线工人的手持示教器的位置和姿态，同时采集相对应的工艺参数，将示教数据发送至计算机系统进行增强现实示教仿真，然后将示教数据处理和编译，生成机器人程序。该技术方案采用一种和谐的人机交互方式，使一线工人能够在一个虚实融合的环境中生成机器人程序，替代现有的机器人示教器，革新在线示教编程和离线示教编程方式，但是此技术方案需要高精度、大范围的位姿跟踪系统，成本高、集成难度大。
发明内容
为了解决上述技术问题，本发明提供基于RGB-D图像及示教器的机器人示教系统，不需复杂的位姿跟踪系统，且物理机器人不参与示教，通过增强现实仿真完成示教编程。
本发明的技术方案一如下：
基于RGB-D图像及示教器的机器人示教系统，包括RGB-D相机、上位机、姿态示教器和AR示教系统，所述RGB-D相机、姿态示教器与所述上位机进行通信连接，所述RGB-D相机设于物理工作环境中，所述AR示教系统包括位于物理工作环境中的AR注册卡和运行于上位机中的增强现实模块、包含机器人末端执行器的虚拟机器人模型、路径规划单元和姿态示教单元，所述RGB-D相机实时采集物理工作环境的RGB图像和深度图像至所述上位机，所述增强现实模块设置虚拟场景中虚拟相机位置，并将虚拟机器人模型叠加在RGB图像上，完成增强现实注册；所述路径规划单元显示所述RGB图像和深度图像，示教编程人员在RGB图像上交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；所述姿态示教器由示教编程人员操作示教并生成姿态数据，上位机按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示教器的姿态数据，然后虚拟机器人模型根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据，使虚拟机器人模型按照示教位姿运动，完成示教
更优地，所述AR示教系统还包括运行于上位机中的虚实碰撞检测模块，所述虚拟机器人模型按照示教位姿运动时，通过虚实碰撞检测模块检测虚拟机器人模型是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员控制姿态示教器及时调整示教位姿直至满足要求；示教完成后，对所述路径点进行编辑形成路径轨迹，上位机根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，并将程序代码传递至物理机器人控制器，控制物理机器人在物理工作环境中工作。
更优地，所述姿态示教器包括信号处理单元以及与所述信号处理单元连接的惯性测量单元、开关按钮输入单元、无线通信单元和界面显示单元；所述惯性测量单元内置的惯性传感器测量出姿态示教器在东北天坐标系下的姿态数据；示教编程人员通过所述开关按钮输入单元设置机器人末端执行器的参数系信息，所述开关按钮输入单元将按钮设定的参数信息传送给信号处理单元；参数信息和姿态数据经所述信号处理单元处理后由无线通信单元发送至上位机，上位机接收到后驱动虚拟机器人模型；所述界面显示单元实时显示姿态示教器的工作状态及工作数据。
更优地，所述上位机按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示教器的姿态数据和参数信息，然后虚拟机器人模型根据所述三维坐标运动，运动的过程中将接收到的姿态数据和参数信息记录当前运动所在路径点的三维坐标对应的的姿态数据和参数，使虚拟机器人模型按照示教位姿运动，完成示教。
更优地，在上位机中建立虚拟机器人模型，具体地，在上位机中按照比例绘制与物理机器人相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人和物理机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，建立了虚拟机器人模型。
更优地，在上位机创建虚拟机器人模型并完成所述增强现实注册后，所述上位机还执行如下步骤：
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；并将物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合；
S320、在路径规划单元中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。
S330、在姿态示教单元中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵。那么
将姿态示教器在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
更优地，所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机标定计算或者RGB-D相机出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
通过增强现实注册算法识别RGB图像中的AR注册卡，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
本发明还提供一种基于RGB-D图像及示教器的机器人示教方法。
本发明的技术方案二如下：
基于RGB-D图像及示教器的机器人示教方法，包括交互示教编程步骤：
S40、路径轨迹示教：位于物理工作环境中的RGB-D相机实时采集物理工作环境的RGB图像和深度图像至所述上位机，在上位机中显示所述RGB图像和深度图像，示教编程人员在RGB图像上通过交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；
S50、姿态示教：姿态示教器与上位机通信连接；所述姿态示教器由示教编程人员操作示教并生成姿态数据，然后实时发送姿态数据至上位机，上位机按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示教器的姿态数据，然后虚拟机器人模型根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据，根据路径点的位置和姿态数据，利用物理机器人逆运动学模型计算虚拟机器人模型各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型各关节运动，模拟物理机器人的工作过程的运动位置及姿态，完成示教。
更优地，所述S50步骤中，所述虚拟机器人模型按照示教位姿运动时，通过虚实碰撞检测模块检测虚拟机器人模型是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员控制姿态示教器及时调整示教位姿直至满足要求；
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机对记录的示教路径点轨迹和示教姿态进行编辑处理，上位机根据编辑处理后的数据利用物理机器人逆运动学模型计算物理机器人各关节的旋转角度，驱动虚拟机器人模型运动，在增强现实注册的环境中模拟物理机器人的工作过程。
更优地，所述步骤S40中，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机标定计算或者RGB-D相机出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
通过增强现实注册算法识别RGB图像中的AR注册卡()，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
本发明具有如下有益效果：
本发明基于RGB-D图像及示教器的机器人示教系统及方法，使用RGB-D相机及姿态示教器进行示教，不需复杂的位姿跟踪系统；通过增强现实仿真进行示教编程，物理机器人不参与示教，虚实碰撞检测模块可以进一步发现示教编程中的不足，根据虚拟机器人运动状态可以随时调整示教姿态，避免了物理机器人发生碰撞等危险、编程方便、效率高。同时，本发明能够结合一线工人的宝贵经验，大大提高机器人示教编程的质量。
附图说明
图1为本发明示教系统的结构示意图；
图2为本发明示教系统的示教流程框图；
图3为本发明示教系统中姿态示教器的示意图；
图4为本发明示教方法的流程图；
图5为本发明示教系统中关联记录路径点三维坐标与姿态数据的示意图。
图6为本发明示教系统中在上位机中建立虚拟机器人模型示意图；
图7为本发明示教系统的具体应用实例的物理工作环境示意图；
图8为本发明示教系统的具体应用实例中将虚拟机器人模型放置于AR注册卡上的示意图。
图中附图标记表示为：
10、RGB-D相机；20、上位机；30、姿态示教器；31、信号处理单元；32、惯性测量单元；33、开关按钮输入单元；34、无线通信单元；35、界面显示单元；40、AR示教系统；41、AR注册卡；42、增强现实模块；43、虚拟机器人模型；44、路径规划单元；45、姿态示教单元；46、虚实碰撞检测单元；50、物理机器人；60、物理机器人控制器；70、示教编程人员。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1和图2，基于RGB-D图像及示教器的机器人示教系统，包括RGB-D相机10、上位机20、姿态示教器30和AR示教系统40，所述RGB-D相机10、姿态示教器30与所述上位机20进行通信连接，所述RGB-D相机10包括RGB相机和深度相机，所述AR示教系统40包括位于物理工作环境中的AR注册卡41和运行于上位机20中的增强现实模块42、包含机器人末端执行器的虚拟机器人模型43(如图6所示)、路径规划单元44和姿态示教单元45，所述RGB-D相机10实时采集物理工作环境的RGB图像(如图7所示)和深度图像至所述上位机20，所述增强现实模块42根据RGB图像计算AR注册卡41相对于RGB-D相机10中RGB相机的转换矩阵
所述转换矩阵
是AR注册卡坐标系下的RGB相机位姿矩阵
的逆矩阵，以该转换矩阵
设置虚拟世界中虚拟相机位置，并将虚拟机器人模型43叠加在RGB图像上AR注册卡的位置(如图8所示)，完成增强现实注册；所述路径规划单元44显示所述RGB图像和深度图像，示教编程人员70在RGB图像上交互选择所述机器人末端执行器的路径点。所述交互方式可以采用鼠标或者在触摸屏上点触选择，根据深度图像和RGB图像之间的变换关系，计算出RGB图像上机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；所述姿态示教器30由示教编程人员70操作示教并生成姿态数据，上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45实时接收姿态示教器30的姿态数据，然后虚拟机器人模型43根据所述路径点的三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据(如图5所示)，使虚拟机器人模型43在物理工作环境(即通过RGB-D相机10获取到的RGB图像所显示的物理工作环境)中按照示教位姿(位姿是指位置和姿态)运动，完成示教。示教完成后，对所述路径点进行编辑形成路径轨迹，上位机20根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，用于控制机器人实现批量生产。
所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员70在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点信息(坐标为(ud,vd)，深度值z)在深度相机坐标系下的位置(x,y,z)。标定深度相机坐标系到RGB相机坐标系的转换矩阵
(所述标定方式可使用张正友标定方法，使用棋盘格标定板，不断改变标定板与相机的相对位置，同时用RGB-D相机10拍摄棋盘格的RGB图像和红外图像(因为深度图像对于棋盘格上的方格不可见，所以采用红外图像来代替，因为两种数据源都是深度相机获取的，所以通过红外图像标定的外参就是深度相机的外参)，计算出根据棋盘格建立世界坐标系得到的RGB相机和深度相机的外参矩阵，通过两个外参矩阵便可求得深度相机与RGB相机的转换矩阵
)，通过增强现实注册算法识别RGB图像中的AR注册卡41，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
该RGB相机位姿矩阵
即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：
请参阅图3，所述姿态示教器30包括信号处理单元31以及与所述信号处理单元31连接的惯性测量单元32、开关按钮输入单元33、无线通信单元34和界面显示单元35。所述惯性测量单元32内置的惯性传感器测量出姿态示教器30在东北天坐标系下的姿态数据；示教编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、工作模式及工艺参数，例如进行焊接示教编程时，焊接工艺参数包括：焊接电压、焊接电流、焊枪开关信号、焊丝喂料速度、保护气开关信号等。所述工作模式是指设定工业机器人在进行不同作业时(如焊接、打磨、喷涂等)，机器人末端执行器与被操作工件之间的距离不同，例如在进行焊接时要与工件表面接触，在喷涂时要与工件表面有一定距离。所述开关按钮输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度和工艺参数、工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至上位机20，上位机20接收到上述信息后驱动虚拟机器人模型43。所述界面显示单元35实时显示姿态示教器30的工作状态及工作数据，如通信连接状态、开关状态等。所述上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45实时接收姿态示教器30的姿态数据和参数信息，所述姿态示教单元45将接收到的参数信息和姿态数据记录为当前运动所在路径点的姿态和参数，并根据路径点的位置、姿态以及参数(例如运动速度)驱动虚拟机器人模型43运动，使虚拟机器人模型43在物理工作环境中按照示教位姿运动，完成示教。示教完成后，对所述路径点进行编辑形成路径轨迹，上位机20根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，用于控制机器人实现批量生产。
更优地，所述AR示教系统40还包括运行于上位机20中的虚实碰撞检测模块，所述虚拟机器人模型43按照示教位姿运动时，通过虚实碰撞检测模块检测虚拟机器人模型43是否与物理工作环境(即通过RGB-D相机10获取到的RGB图像所显示的物理工作环境)发生干涉，若存在，则发出提示，示教编程人员70控制姿态示教器30及时调整示教位姿直至满足要求。所述虚实碰撞检测模块可采用公开号为CN108898676A的《一种虚实物体之间碰撞及遮挡检测方法及系统》所公开的检测方法。
请参阅图4，所述示教系统的操作过程如下：
系统初始化步骤：
S10、在上位机20中建立虚拟机器人模型43：如图6所示，在上位机20中按照比例绘制与物理机器人50相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人50和机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，从而建立了虚拟机器人模型43。
S20、增强现实注册：AR示教系统40中的增强现实注册模块在RGB图像中读取AR注册卡41的位置，通过增强现实注册算法计算出RGB相机相对于AR注册卡41的转换矩阵
上位机20以该转换矩阵
设置虚拟世界中虚拟相机位置，将虚拟机器人模型43准确地放置在RGB图像中AR注册卡41的位置上，如图8所示，实现虚拟环境与物理工作环境的融合统一，在本实施例中，增强现实注册可以使用artookit，通过它可以计算出AR注册卡坐标系到相机机坐标系的变换矩阵，将其转换为齐次坐标矩阵后，便得到了RGB相机相对于AR注册卡41的转换矩阵
用来设置虚拟相机的位置，进行增强现实注册
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；为了求得物理机器人基础坐标系到世界坐标系(即虚拟机器人模型基础坐标系)的变换矩阵，获取物理机器人基础坐标系和世界坐标系中对应公共点集的坐标(公共点集中的点是在物理机器人基础坐标系和世界坐标系下分别对应的坐标，例如，在世界坐标系下选取四个点ABCD，并记录该四个点对应的在世界坐标系下的坐标，然后将物理机器人末端执行器分别放在在四个点上，获取该四个点在物理机器人基础坐标下的坐标值)，然后采用基于正交矩阵的迭代法求解物理机器人坐标系到世界坐标系的变换矩阵
使用此变换矩阵
将物理机器人基础坐标系转换到世界坐标系，也就实现了物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合。
S320、在路径规划单元44中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。以选择的路经点为例说明映射关系建立过程：示教编程人员70在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点信息(坐标为(ud,vd)，深度值z)在深度相机坐标系下的位置(x,y,z)。标定出RGB相机和深度相机的外参矩阵，通过两个外参矩阵便可求得深度相机与RGB相机的转换矩阵
)，通过增强现实注册算法识别RGB图像中的AR注册卡41，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
该RGB相机位姿矩阵
即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：
S330、在姿态示教单元45中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵。那么
将姿态示教器30在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
交互示教编程步骤如下：
S40、路径轨迹示教：上位机20中的路径规划单元44显示RGB-D相机10实时采集的物理工作环境的RGB图像和深度图像，示教编程人员70使用鼠标或其他交互设备在RGB图像上选取规划机器人末端执行器工作路径上的一系列路径点，经过坐标变换得到机器人末端执行器在虚拟机器人模型基础坐标系下路径点的三维坐标(X,Y,Z)；
S50、姿态及工艺参数示教：姿态示教器30通过无线通信单元34与上位机20连接。上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45时接收姿态示教器30的姿态数据，然后虚拟机器人模型43根据所述路径点的三维坐标运动，如图5所示，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据，根据路径点的位置和姿态，利用物理机器人逆运动学模型计算虚拟机器人模型43各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型43各关节运动，模拟物理机器人50的工作过程的运动位置及姿态。与此同时虚实碰撞检测模块检测虚拟机器人模型43与物理工作环境是否发生干涉。若示教位姿合理且未发生干涉，则上位机20储存该点示教信息，否则示教编程人员70更改示教位姿直至满足要求。更优地，示教编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、工作模式及工艺参数，例如进行焊接示教编程时，焊接工艺参数包括：焊接电压、焊接电流、焊枪开关信号、焊丝喂料速度、保护气开关信号等。所述工作模式是指设定工业机器人在进行不同作业时(如焊接、打磨、喷涂等)，机器人末端执行器与被操作工件之间的距离不同，例如在进行焊接时要与工件表面接触，在喷涂时要与工件表面有一定距离。所述开关按钮输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度、工艺参数以及工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至上位机20，上位机20接收到上述信息后驱动虚拟机器人模型43。在上述示教过程中，示教编程人员70还可以通过操作姿态示教器30的开关按钮输入单元33的状态定义虚拟机器人模型43末端执行器的运动速度和其他参数，然后将工艺参数传送给上位机20。上位机20记录实时的位置和姿态以及对应的参数。
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机20对记录的示教路径点轨迹、示教姿态、运动速度、工艺参数进行编辑处理，例如路径点平滑处理等形成最终路径等，然后上位机20根据处理后的数据利用所述物理机器人逆运动学模型计算物理机器人50各关节的旋转角度，驱动虚拟机器人模型43运动，在增强现实注册的环境中模拟物理机器人50的工作过程。
S70、物理机器人50控制：所述物理机器人50连接所述物理机器人控制器60，所述物理机器人控制器60连接所述上位机20。上位机20根据所述仿真编辑验证后的路径轨迹、姿态和工艺参数处理进行机器人编程，并将程序传递至物理机器人控制器60，控制物理机器人50真实工作，从而实现示教编程功能。所述物理机器人50在交互示教过程中不工作。
本发明一种基于RGB-D图像及示教器的机器人示教系统，通过示教编程人员70在上位机20中的路径规划单元44完成路径轨迹示教，在姿态示教单元45中完成姿态示教，并可进一步设置机器人运动速度及工艺参数，上位机20处理示教数据，生成路径轨迹、姿态、运动速度、工作模式等。通过AR示教系统40，实现增强现实仿真，模拟物理机器人50的工作过程。在示教过程不需物理机器人50参与，通过虚实碰撞检测模块及时发现虚拟机器人与工作场景的干涉，检查机器人位姿是否符合要求。然后计算机根据仿真编辑验证后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功能。
实施例二
请参阅图1至图4，基于RGB-D图像及示教器的机器人示教方法，包括系统初始化步骤和交互示教编程步骤：
所述系统初始化步骤包括步骤S10至步骤S330：
系统初始化步骤：
S10、在上位机20中建立虚拟机器人模型43：如图6所示，在上位机20中按照比例绘制与物理机器人50相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人50和机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，从而建立了虚拟机器人模型43。
S20、增强现实注册：AR示教系统40中的增强现实注册模块在RGB图像中读取AR注册卡41的位置，通过增强现实注册算法计算出RGB相机相对于AR注册卡41的转换矩阵
上位机20以该转换矩阵
设置虚拟世界中虚拟相机位置，将虚拟机器人模型43准确地放置在RGB图像中AR注册卡41的位置上，如图8所示，实现虚拟环境与物理工作环境的融合统一，在本实施例中，增强现实注册可以使用artookit，通过它可以计算出AR注册卡坐标系到相机机坐标系的变换矩阵，将其转换为齐次坐标矩阵后，便得到了RGB相机相对于AR注册卡41的转换矩阵
用来设置虚拟相机的位置，进行增强现实注册。
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；为了求得物理机器人基础坐标系到世界坐标系(即虚拟机器人模型基础坐标系)的变换矩阵，获取物理机器人基础坐标系和世界坐标系中对应公共点集的坐标(公共点集中的点是在物理机器人基础坐标系和世界坐标系下分别对应的坐标，例如，在世界坐标系下选取四个点ABCD，并记录该四个点对应的在世界坐标系下的坐标，然后将物理机器人末端执行器分别放在在四个点上，获取该四个点在物理机器人基础坐标下的坐标值)，然后采用基于正交矩阵的迭代法求解物理机器人坐标系到世界坐标系的变换矩阵
使用此变换矩阵
将物理机器人基础坐标系转换到世界坐标系，也就实现了物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合。
S320、在路径规划单元44中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。以选择的路经点为例说明映射关系建立过程：示教编程人员70在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点信息(坐标为(ud,vd)，深度值z)在深度相机坐标系下的位置(x,y,z)。标定深度相机坐标系到RGB相机坐标系的转换矩阵
计算出RGB相机和深度相机的外参矩阵，通过两个外参矩阵便可求得深度相机与RGB相机的转换矩阵
)，通过增强现实注册算法识别RGB图像中的AR注册卡41，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
该RGB相机位姿矩阵
即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：
S330、在姿态示教单元45中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵。那么
将姿态示教器30在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
交互示教编程步骤如下：
S40、路径轨迹示教：上位机20中的路径规划单元44显示RGB-D相机10实时采集的物理工作环境的RGB图像和深度图像，示教编程人员70使用鼠标或其他交互设备在RGB图像上选取规划机器人末端执行器工作路径上的一系列路径点，经过坐标变换得到机器人末端执行器在虚拟机器人模型基础坐标系下路径点的三维坐标(X,Y,Z)；
S50、姿态及工艺参数示教：姿态示教器30通过无线通信单元34与上位机20连接。上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45时接收姿态示教器30的姿态数据，然后虚拟机器人模型43根据所述路径点的三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据(如图5所示)，根据路径点的位置和姿态，利用物理机器人逆运动学模型计算虚拟机器人模型43各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型43各关节运动，模拟物理机器人50的工作过程的运动位置及姿态。与此同时虚实碰撞检测模块检测虚拟机器人模型43与物理工作环境是否发生干涉。若示教位姿合理且未发生干涉，则上位机20储存该点示教信息，否则示教编程人员70更改示教位姿直至满足要求。更优地，示教编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、工作模式及工艺参数，例如进行焊接示教编程时，焊接工艺参数包括：焊接电压、焊接电流、焊枪开关信号、焊丝喂料速度、保护气开关信号等。所述工作模式是指设定工业机器人在进行不同作业时(如焊接、打磨、喷涂等)，机器人末端执行器与被操作工件之间的距离不同，例如在进行焊接时要与工件表面接触，在喷涂时要与工件表面有一定距离。所述开关按钮输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度、工艺参数以及工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至上位机20，上位机20接收到上述信息后驱动虚拟机器人模型43。在上述示教过程中，示教编程人员70还可以通过操作姿态示教器30的开关按钮输入单元33的状态定义虚拟机器人模型43末端执行器的运动速度和其他参数，然后将工艺参数传送给上位机20。上位机20记录实时的位置和姿态以及对应的参数。
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机20对记录的示教路径点轨迹、示教姿态、运动速度、工艺参数进行编辑处理，例如路径点平滑处理等形成最终路径等，然后上位机20根据处理后的数据利用所述物理机器人逆运动学模型计算物理机器人50各关节的旋转角度，驱动虚拟机器人模型43运动，在增强现实注册的环境中模拟物理机器人50的工作过程。
S70、物理机器人50控制：所述物理机器人50连接所述物理机器人控制器60，所述物理机器人控制器60连接所述上位机20。上位机20根据所述仿真编辑验证后的路径轨迹、姿态和工艺参数处理进行机器人编程，并将程序传递至物理机器人控制器60，控制物理机器人50真实工作，从而实现示教编程功能。所述物理机器人50在交互示教过程中不工作。
本发明一种基于RGB-D图像及示教器的机器人示教系统，通过示教编程人员70在上位机20中的路径规划单元44完成路径轨迹示教，在姿态示教单元45中完成姿态示教，并可进一步设置机器人运动速度、工作模式及工艺参数，上位机20处理示教数据，生成路径轨迹、姿态、运动速度、工作模式等。通过AR示教系统40，实现增强现实仿真，模拟物理机器人50的工作过程。在示教过程不需物理机器人50参与，通过虚实碰撞检测模块及时发现虚拟机器人与工作场景的干涉，检查机器人位姿是否符合要求。然后计算机根据仿真编辑验证后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功能。
本发明一种基于RGB-D图像及示教器的机器人示教方法，通过示教编程人员70在上位机20中的路径规划单元44完成路径轨迹示教，在姿态示教单元45中完成姿态示教，并可进一步设置机器人运动速度、工作模式以及工艺参数等，上位机20处理示教数据，生成路径轨迹、姿态、运动速度等。通过AR示教系统40，实现增强现实仿真，模拟物理机器人50的工作过程。在示教过程不需物理机器人50参与，通过虚实碰撞检测模块及时发现虚拟机器人与工作场景的干涉，检查机器人位姿是否符合要求。然后计算机根据仿真编辑验证后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功能。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.基于RGB-D图像及示教器的机器人示教系统，其特征在于：包括RGB-D相机(10)、上位机(20)、姿态示教器(30)和AR示教系统(40)，所述RGB-D相机(10)、姿态示教器(30)与所述上位机(20)进行通信连接，所述RGB-D相机(10)设于物理工作环境中，所述AR示教系统(40)包括位于物理工作环境中的AR注册卡(41)和运行于上位机(20)中的增强现实模块(42)、包含机器人末端执行器的虚拟机器人模型(43)、路径规划单元(44)和姿态示教单元(45)，所述RGB-D相机(10)实时采集物理工作环境的RGB图像和深度图像至所述上位机(20)，所述增强现实模块(42)设置虚拟场景中虚拟相机位置，并将虚拟机器人模型(43)叠加在RGB图像上，完成增强现实注册；所述路径规划单元(44)显示所述RGB图像和深度图像，示教编程人员(70)在RGB图像上交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；所述姿态示教器(30)由示教编程人员(70)操作示教并生成姿态数据，上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据，然后虚拟机器人模型(43)根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录为当前运动所在路径点的三维坐标对应的姿态数据，使虚拟机器人模型(43)按照示教位姿运动，完成示教。
2.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述AR示教系统(40)还包括运行于上位机(20)中的虚实碰撞检测模块(46)，所述虚拟机器人模型(43)按照示教位姿运动时，通过虚实碰撞检测模块(46)检测虚拟机器人模型(43)是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员(70)控制姿态示教器(30)及时调整示教位姿直至满足要求；
示教完成后，对所述路径点进行编辑形成路径轨迹，上位机(20)根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，并将程序代码传递至物理机器人控制器(60)，控制物理机器人(50)在物理工作环境中工作。
3.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述姿态示教器(30)包括信号处理单元(31)以及与所述信号处理单元(31)连接的惯性测量单元(32)、开关按钮输入单元(33)、无线通信单元(34)和界面显示单元(35)；所述惯性测量单元(32)内置的惯性传感器测量出姿态示教器(30)在东北天坐标系下的姿态数据；示教编程人员(70)通过所述开关按钮输入单元(33)设置机器人末端执行器的参数信息，所述开关按钮输入单元(33)将按钮设定的参数信息传送给信号处理单元(31)；参数信息和姿态数据经所述信号处理单元(31)处理后由无线通信单元(34)发送至上位机(20)，上位机(20)接收到后驱动虚拟机器人模型(43)；所述界面显示单元(35)实时显示姿态示教器(30)的工作状态及工作数据。
4.根据权利要求3所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据和参数信息，然后虚拟机器人模型(43)根据所述三维坐标运动，运动的过程中将接收到的姿态数据和参数信息记录当前运动所在路径点的三维坐标对应的姿态数据和参数信息，使虚拟机器人模型(43)按照示教位姿运动，完成示教。
5.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：在上位机(20)中建立虚拟机器人模型(43)，具体地，在上位机(20)中按照比例绘制与物理机器人(50)相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人(50)和物理机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，建立了所述虚拟机器人模型(43)。
6.根据权利要求5所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：在上位机(20)创建虚拟机器人模型(43)并完成所述增强现实注册后，所述上位机(20)还执行如下步骤：
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；并将物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合；
S320、在路径规划单元(44)中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系；
S330、在姿态示教单元(45)中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵，
将姿态示教器(30)在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
7.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员(70)在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机(10)标定计算或者RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
通过增强现实注册算法识别RGB图像中的AR注册卡(41)，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
8.基于RGB-D图像及示教器的机器人示教方法，该方法采用权利要求1至7中任意一项所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于，交互示教编程步骤：
S40、路径轨迹示教：位于物理工作环境中的RGB-D相机(10)实时采集物理工作环境的RGB图像和深度图像至所述上位机(20)，在上位机(20)中显示所述RGB图像和深度图像，示教编程人员(70)在RGB图像上通过交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；
S50、姿态示教：姿态示教器(30)与上位机(20)通信连接；所述姿态示教器(30)由示教编程人员(70)操作示教并生成姿态数据，然后实时发送姿态数据至上位机(20)，上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据，然后虚拟机器人模型(43)根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录为当前运动所在路径点的三维坐标对应的姿态数据，根据路径点的位置和姿态数据，利用物理机器人逆运动学模型计算虚拟机器人模型(43)各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型(43)各关节运动，模拟物理机器人(50)的工作过程的运动位置及姿态，完成示教。
9.根据权利要求8所述的基于RGB-D图像及示教器的机器人示教方法，其特征在于：所述S50步骤中，所述虚拟机器人模型(43)按照示教位姿运动时，通过虚实碰撞检测模块(46)检测虚拟机器人模型(43)是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员(70)控制姿态示教器(30)及时调整示教位姿直至满足要求；
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机(20)对记录的示教路径点轨迹和示教姿态进行编辑处理，上位机(20)根据编辑处理后的数据利用物理机器人逆运动学模型计算物理机器人(50)各关节的旋转角度，驱动虚拟机器人模型(43)运动，在增强现实注册的环境中模拟物理机器人(50)的工作过程。
10.根据权利要求8所述的基于RGB-D图像及示教器的机器人示教方法，其特征在于：所述步骤S40中，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员(70)在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机(10)标定计算或者RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
通过增强现实注册算法识别RGB图像中的AR注册卡(41)，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
通过
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665326.9A CN110238831B (zh) | 2019-07-23 | 2019-07-23 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
| US16/804,888 US11440179B2 (en) | 2019-07-23 | 2020-02-28 | System and method for robot teaching based on RGB-D images and teach pendant |
| AU2020201554A AU2020201554B2 (en) | 2019-07-23 | 2020-03-03 | System and method for robot teaching based on RGB-D images and teach pendant |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665326.9A CN110238831B (zh) | 2019-07-23 | 2019-07-23 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110238831A CN110238831A (zh) | 2019-09-17 |
| CN110238831B true CN110238831B (zh) | 2020-09-18 |
Family
ID=67893213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910665326.9A Active CN110238831B (zh) | 2019-07-23 | 2019-07-23 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11440179B2 (zh) |
| CN (1) | CN110238831B (zh) |
| AU (1) | AU2020201554B2 (zh) |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7326911B2 (ja) * | 2019-06-20 | 2023-08-16 | オムロン株式会社 | 制御システムおよび制御方法 |
| JP7396872B2 (ja) * | 2019-11-22 | 2023-12-12 | ファナック株式会社 | 拡張現実を用いたシミュレーション装置及びロボットシステム |
| CN110978064B (zh) * | 2019-12-11 | 2022-06-24 | 山东大学 | 人机协作中人体安全评估方法及系统 |
| CN112985372B (zh) * | 2019-12-13 | 2024-06-14 | 南宁富联富桂精密工业有限公司 | 路径规划系统及其方法 |
| CN113074751B (zh) * | 2019-12-17 | 2023-02-07 | 杭州海康威视数字技术股份有限公司 | 一种视觉定位误差检测方法及装置 |
| CN111062937B (zh) * | 2019-12-27 | 2023-04-18 | 南京航空航天大学 | 一种基于rgb-d相机的数控nc代码虚实验证方法 |
| CN111251277B (zh) * | 2020-01-31 | 2021-09-03 | 武汉大学 | 一种基于示教学习的人机协作工具递交系统及方法 |
| CN111300416B (zh) * | 2020-03-10 | 2021-07-13 | 南京工程学院 | 基于增强现实的模块化可重构机器人规划仿真方法和系统 |
| WO2021189223A1 (zh) * | 2020-03-24 | 2021-09-30 | 青岛理工大学 | 一种基于标识卡运动的机器人增强现实示教的注册系统及方法 |
| WO2021189224A1 (zh) * | 2020-03-24 | 2021-09-30 | 青岛理工大学 | 一种面向机器人增强现实示教的注册系统和方法 |
| CN111267073B (zh) * | 2020-03-24 | 2022-11-15 | 青岛理工大学 | 一种基于增强现实技术的工业机器人示教系统及方法 |
| CN111300384B (zh) * | 2020-03-24 | 2022-11-15 | 青岛理工大学 | 一种基于标识卡运动的机器人增强现实示教的注册系统及方法 |
| CN111283664B (zh) * | 2020-03-24 | 2023-03-28 | 青岛理工大学 | 一种面向机器人增强现实示教的注册系统和方法 |
| CN111445519A (zh) * | 2020-03-27 | 2020-07-24 | 武汉工程大学 | 一种工业机器人三维姿态估计方法、装置及存储介质 |
| US20210316450A1 (en) * | 2020-04-14 | 2021-10-14 | 3Deo, Inc. | Robotics for three-dimensional printing |
| CN115427201A (zh) * | 2020-04-27 | 2022-12-02 | 发那科株式会社 | 工业机械的显示装置 |
| CN111882590A (zh) * | 2020-06-24 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于单张图片定位的ar场景应用方法 |
| US11554482B2 (en) * | 2020-07-16 | 2023-01-17 | Hitachi, Ltd. | Self-learning industrial robotic system |
| CN111843997A (zh) * | 2020-07-29 | 2020-10-30 | 上海大学 | 一种机械臂手持通用示教系统及其操作方法 |
| CN112484722B (zh) * | 2020-11-19 | 2023-06-06 | 易思维（杭州）科技有限公司 | 结合惯性导航系统的视觉传感器全局定位方法 |
| CN112454363A (zh) * | 2020-11-25 | 2021-03-09 | 马鞍山学院 | 一种用于焊接操作的ar辅助机器人的控制方法 |
| CN112518756B (zh) * | 2020-12-10 | 2022-08-05 | 深圳市优必选科技股份有限公司 | 机械臂的运动轨迹规划方法及装置、机械臂及存储介质 |
| US11967111B2 (en) * | 2020-12-15 | 2024-04-23 | Kwangwoon University Industry-Academic Collaboration Foundation | Multi-view camera-based iterative calibration method for generation of 3D volume model |
| CN112847301B (zh) * | 2020-12-21 | 2023-05-19 | 山东华数智能科技有限公司 | 基于便携终端的机器人增强现实示教编程方法 |
| JP7276359B2 (ja) * | 2021-01-07 | 2023-05-18 | 株式会社安川電機 | 動作指令生成装置、機構制御システム、コンピュータプログラム、動作指令生成方法及び機構制御方法 |
| CN112917457A (zh) * | 2021-01-27 | 2021-06-08 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人快速精准示教系统及方法 |
| CN112936348B (zh) * | 2021-03-04 | 2022-11-18 | 哈尔滨工业大学 | 一种用于智能机器人rgb-d-t信息感知的传感器集成装置 |
| CN112936282B (zh) * | 2021-03-08 | 2022-01-07 | 常州刘国钧高等职业技术学校 | 一种提高工业机器人体感控制精确度的方法及系统 |
| CN113126568B (zh) * | 2021-03-10 | 2022-08-09 | 上海乾庾智能科技有限公司 | 一种基于增强现实技术的工业机器人操作和演示系统 |
| CN112967559B (zh) * | 2021-03-29 | 2021-12-28 | 北京航空航天大学 | 一种基于虚拟装配环境的装配技能直接生成方法 |
| CN113093549B (zh) * | 2021-04-07 | 2022-10-28 | 中国科学院宁波材料技术与工程研究所 | 一种多轴数控装备的复合控制方法 |
| CN113220121B (zh) * | 2021-05-04 | 2023-05-09 | 西北工业大学 | 一种基于投影显示的ar紧固件辅助装配系统及方法 |
| CN113269729B (zh) * | 2021-05-10 | 2022-10-11 | 青岛理工大学 | 一种基于深度图像对比的装配体多视角检测方法和系统 |
| CN113319859B (zh) * | 2021-05-31 | 2022-06-28 | 上海节卡机器人科技有限公司 | 一种机器人示教方法、系统、装置及电子设备 |
| CN113319854B (zh) * | 2021-06-25 | 2023-01-20 | 河北工业大学 | 一种洗浴机器人的视觉示教方法及系统 |
| CN113781558B (zh) * | 2021-08-31 | 2024-03-19 | 华中科技大学 | 一种姿态与位置解耦的机器人视觉寻位方法 |
| CN113771042B (zh) * | 2021-09-30 | 2023-03-24 | 杭州景吾智能科技有限公司 | 基于视觉的移动机器人夹取工具的方法及系统 |
| IT202100027485A1 (it) | 2021-10-26 | 2023-04-26 | Glance Vision Tech S R L | Apparato e procedimento per la programmazione di robot per mezzo di dimostrazione |
| CN114029950B (zh) * | 2021-11-08 | 2023-05-05 | 北京华航唯实机器人科技股份有限公司 | 机器人的坐标系分析方法及装置、机器人设备、存储介质 |
| CN114115277A (zh) * | 2021-11-26 | 2022-03-01 | 中国建设银行股份有限公司 | 一种基于巡检机器人的巡检管理方法及相关设备 |
| CN114129263B (zh) * | 2021-11-29 | 2023-07-25 | 武汉联影智融医疗科技有限公司 | 手术机器人路径规划方法、系统、设备及存储介质 |
| CN114227681A (zh) * | 2021-12-17 | 2022-03-25 | 苏州东控自动化科技有限公司 | 一种基于红外扫描跟踪的机器人离线虚拟示教编程的方法 |
| CN114327073A (zh) * | 2021-12-28 | 2022-04-12 | 成都天翼空间科技有限公司 | 一种基于ar技术辅助射击的方法 |
| CN114535738B (zh) * | 2022-02-23 | 2023-11-07 | 大连爱智控制系统有限公司 | 一种基于模型及数控钻孔文件的自动焊锡机示教编程方法 |
| KR20230143002A (ko) * | 2022-04-04 | 2023-10-11 | 두산로보틱스 주식회사 | 로봇의 기능 모듈의 개발 환경 제공 장치 및 방법 |
| CN114799638A (zh) * | 2022-05-16 | 2022-07-29 | 广州东焊智能装备有限公司 | 一种基于虚拟现实的人机协作焊接系统 |
| CN114917975B (zh) * | 2022-05-17 | 2023-06-27 | 中国科学院沈阳自动化研究所 | 一种机器人末端移液装置及机器人移液控制方法 |
| CN115179256B (zh) * | 2022-06-09 | 2024-04-26 | 鹏城实验室 | 远程示教方法及系统 |
| CN115922725B (zh) * | 2022-12-28 | 2024-03-22 | 山东大学 | 一种咽拭子采样机器人定位系统 |
| CN116382320B (zh) * | 2023-05-26 | 2023-09-01 | 深圳市景创科技电子股份有限公司 | 水下机器人姿态控制方法及装置 |
| CN116872216B (zh) * | 2023-08-28 | 2023-12-08 | 安徽工业大学 | 一种基于有限时间控制的机器人视觉伺服作业方法 |
| CN116852382A (zh) * | 2023-09-04 | 2023-10-10 | 青岛理工大学 | 一种轴孔装配机器人末端姿态快速调整系统和方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10642046B2 (en) * | 2018-03-28 | 2020-05-05 | Cloud Dx, Inc. | Augmented reality systems for time critical biomedical applications |
| KR101490055B1 (ko) * | 2013-10-30 | 2015-02-06 | 한국과학기술원 | 이동 로봇의 위치와 지도를 추정하는 방법 및 이를 수행하는 장치들 |
| US9233469B2 (en) * | 2014-02-13 | 2016-01-12 | GM Global Technology Operations LLC | Robotic system with 3D box location functionality |
| US9643314B2 (en) * | 2015-03-04 | 2017-05-09 | The Johns Hopkins University | Robot control, training and collaboration in an immersive virtual reality environment |
| EP3615281A4 (en) * | 2017-04-28 | 2021-01-13 | Southie Autonomy Works, Inc. | AUTOMATED PERSONALIZED FEEDBACK FOR INTERACTIVE LEARNING APPLICATIONS |
| CN107351058A (zh) * | 2017-06-08 | 2017-11-17 | 华南理工大学 | 基于增强现实的机器人示教方法 |
| CN107309882B (zh) * | 2017-08-14 | 2019-08-06 | 青岛理工大学 | 一种机器人示教编程系统及方法 |
| CN108161904B (zh) * | 2018-01-09 | 2019-12-03 | 青岛理工大学 | 基于增强现实的机器人在线示教装置、系统、方法、设备 |
| US10643375B2 (en) * | 2018-02-26 | 2020-05-05 | Qualcomm Incorporated | Dynamic lighting for objects in images |
| CN108422435B (zh) * | 2018-03-21 | 2020-05-12 | 烟台朗文汽车零部件有限公司 | 一种基于增强现实的远程监测及控制系统 |
| CN108724190A (zh) * | 2018-06-27 | 2018-11-02 | 西安交通大学 | 一种工业机器人数字孪生系统仿真方法及装置 |
| CN108994832B (zh) * | 2018-07-20 | 2021-03-02 | 上海节卡机器人科技有限公司 | 一种基于rgb-d相机的机器人手眼系统及其自标定方法 |
| CN108908298B (zh) * | 2018-07-23 | 2021-08-10 | 合肥工业大学 | 一种融合虚拟现实技术的主从式喷涂机器人示教系统 |
| CN109664271A (zh) * | 2018-12-21 | 2019-04-23 | 江苏集萃智能制造技术研究所有限公司 | 一种基于虚拟现实的远程机器人示教系统 |
| CN109648558B (zh) * | 2018-12-26 | 2020-08-18 | 清华大学 | 机器人曲面运动定位方法及其运动定位系统 |
| JP7359577B2 (ja) * | 2019-06-21 | 2023-10-11 | ファナック株式会社 | ロボット教示装置及びロボットシステム |
-
2019
- 2019-07-23 CN CN201910665326.9A patent/CN110238831B/zh active Active
-
2020
- 2020-02-28 US US16/804,888 patent/US11440179B2/en active Active
- 2020-03-03 AU AU2020201554A patent/AU2020201554B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| AU2020201554A1 (en) | 2021-02-11 |
| CN110238831A (zh) | 2019-09-17 |
| AU2020201554B2 (en) | 2021-06-24 |
| US20210023694A1 (en) | 2021-01-28 |
| US11440179B2 (en) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110238831B (zh) | 基于rgb-d图像及示教器的机器人示教系统及方法 | |
| Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
| CN110977931B (zh) | 使用了增强现实和混合现实的机器人控制装置及显示装置 | |
| CN107309882B (zh) | 一种机器人示教编程系统及方法 | |
| US7236854B2 (en) | Method and a system for programming an industrial robot | |
| JP4817603B2 (ja) | 工業ロボットをプログラミングするための方法およびシステム | |
| CN111267073B (zh) | 一种基于增强现实技术的工业机器人示教系统及方法 | |
| CN102119072B (zh) | 有助于对离线编程机器人单元进行校准的方法和系统 | |
| CN108161904A (zh) | 基于增强现实的机器人在线示教装置、系统、方法、设备 | |
| Pettersen et al. | Augmented reality for programming industrial robots | |
| Pan et al. | Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device | |
| CN110142770B (zh) | 一种基于头戴显示装置的机器人示教系统及方法 | |
| CN107220099A (zh) | 一种基于三维模型的机器人可视化虚拟示教系统及方法 | |
| JP2004243516A (ja) | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 | |
| SE526119C2 (sv) | Metod och system för programmering av en industrirobot | |
| US10606241B2 (en) | Process planning apparatus based on augmented reality | |
| Fang et al. | Robot path and end-effector orientation planning using augmented reality | |
| Andersen et al. | Task space HRI for cooperative mobile robots in fit-out operations inside ship superstructures | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| CN112958974A (zh) | 一种基于三维视觉的可交互自动化焊接系统 | |
| CN104827474A (zh) | 学习人的虚拟示教机器人智能编程方法及辅助装置 | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| CN111113414A (zh) | 一种基于屏幕标识的机器人三维空间尺度提示方法及系统 | |
| Rastogi et al. | Telerobotic control with stereoscopic augmented reality | |
| CN112847300A (zh) | 一种基于移动工业机器人示教器的示教系统及其示教方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190917 Assignee: Yuyi (Shenyang) Digital Technology Development Co.,Ltd. Assignor: QINGDAO TECHNOLOGICAL University Contract record no.: X2023980045813 Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices Granted publication date: 20200918 License type: Common License Record date: 20231103 |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190917 Assignee: Hubei kunpengxin Technology Co.,Ltd. Assignor: QINGDAO TECHNOLOGICAL University Contract record no.: X2023420000308 Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices Granted publication date: 20200918 License type: Common License Record date: 20231108 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190917 Assignee: Hefei Shupei Information Technology Co.,Ltd. Assignor: QINGDAO TECHNOLOGICAL University Contract record no.: X2023980052644 Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices Granted publication date: 20200918 License type: Common License Record date: 20231215 Application publication date: 20190917 Assignee: Hefei Zhice Technology Co.,Ltd. Assignor: QINGDAO TECHNOLOGICAL University Contract record no.: X2023980052493 Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices Granted publication date: 20200918 License type: Common License Record date: 20231215 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190917 Assignee: Hefei Hongduo Electronics Co.,Ltd. Assignor: QINGDAO TECHNOLOGICAL University Contract record no.: X2023980053512 Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices Granted publication date: 20200918 License type: Common License Record date: 20231222 |
|
| EE01 | Entry into force of recordation of patent licensing contract |