CN111267073B - 一种基于增强现实技术的工业机器人示教系统及方法 - Google Patents

一种基于增强现实技术的工业机器人示教系统及方法 Download PDF

Info

Publication number
CN111267073B
CN111267073B CN202010211069.4A CN202010211069A CN111267073B CN 111267073 B CN111267073 B CN 111267073B CN 202010211069 A CN202010211069 A CN 202010211069A CN 111267073 B CN111267073 B CN 111267073B
Authority
CN
China
Prior art keywords
robot
physical
unit
computer
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010211069.4A
Other languages
English (en)
Other versions
CN111267073A (zh
Inventor
陈成军
丁旭彤
潘勇
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202010211069.4A priority Critical patent/CN111267073B/zh
Publication of CN111267073A publication Critical patent/CN111267073A/zh
Application granted granted Critical
Publication of CN111267073B publication Critical patent/CN111267073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/08—Programme-controlled manipulators characterised by modular constructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于增强现实技术的工业机器人示教系统，包括相机、计算机、姿态示教器、物理机器人单元、AR示教单元和虚拟机器人模型；所述物理机器人单元包括物理机器人控制器和物理机器人；所述物理机器人控制器用于控制物理机器人运动；所述相机设置于物理工作环境下并与所述计算机通信连接，用于采集物理机器人和物理工作环境的图像至所述计算机；所述姿态示教器由示教人员握持操作，产生姿态数据并发送至所述计算机；所述AR示教单元包括位于物理工作环境中的AR注册卡和运行于计算机中的增强现实注册模块、被加工产品模型、路径规划单元、姿态示教单元、虚实空间融合单元和虚实碰撞检测模块；所述虚拟机器人模型运行于所述计算机中。

Description

一种基于增强现实技术的工业机器人示教系统及方法
技术领域
本发明涉及一种基于增强现实技术的工业机器人示教系统及方法，属于智能制造领域，尤其涉及工业机器人示教编程。
背景技术
工业机器人编程是影响机器人使用的关键，近些年基于增强现实技术的工业机器人示教逐步受到产业界重视。现有的基于增强现实技术的工业机器人示教均是机器人是虚拟的，工作环境是真实的，这种示教方式适用于生产线设计阶段，通常用于机器人工作站的设计、规划和编程。但在柔性制造和个性化定制生产中，通常是在已有产线或者机器人工作站的情况下，频繁改变所生产的产品，需要进行产品工装夹具结构设计、工装夹具在工作台上安装方位的规划，以及工业机器人编程及程序验证等，所以现有的基于增强现实技术的工业机器人示教无法适应这样复杂的工作环境。
发明内容
为了解决上述技术问题，在增强现实环境中验证产品工装夹具结构设计是否合理，规划工装夹具在工作台上的安装方位，生成并验证工业机器人程序，本发明发明一种于增强现实技术的工业机器人示教系统及方法，将机器人作为真实的，而将工作环境(如被加工件、工装夹具等)作为虚拟的模型，采用增强现实技术验证产品及工装夹具设计，验证机器人加工程序。
本发明所采用的技术方案如下：
技术方案一：
一种基于增强现实技术的工业机器人示教系统，包括相机、计算机、姿态示教器、物理机器人单元、AR示教单元和虚拟机器人模型；
所述物理机器人单元包括物理机器人控制器和物理机器人；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
所述相机设置于物理工作环境下并与所述计算机通信连接，用于采集物理机器人和物理工作环境的图像至所述计算机；
所述姿态示教器与所述计算机通信连接，由示教人员握持操作，产生姿态数据并发送至所述计算机；
所述AR示教单元包括位于物理工作环境中的AR注册卡和运行于计算机中的增强现实注册模块、被加工产品模型、路径规划单元、姿态示教单元、虚实空间融合单元和虚实碰撞检测模块；所述增强现实注册模块用于通过AR注册卡对被加工产品模型进行增强现实注册；所述被加工产品模型包括被加工件三维模型和使用的工装夹具三维模型；所述路径规划单元用于规划所述被加工产品模型的加工路径；所述姿态示教单元用于根据所述姿态数据规划物理机器人末端执行器的姿态；所述虚实碰撞监测模块用于检测所述虚拟机器人模型是否会发生碰撞；所述虚实空间融合单元用于获取AR注册卡的坐标系与物理机器人基坐标系之间的转换矩阵；
所述虚拟机器人模型运行于所述计算机中，包括机器人三维模型、机器人正运动学模型、机器人逆运动学模型，其中机器人三维模型中包含设置于机器人关节上的DOF节点。
进一步的，所述姿态示教器包括信号处理单元以及与所述信号处理单元连接的惯性测量单元、开关按钮输入单元、无线通信单元和界面显示单元；所述惯性测量单元内置的惯性传感器测量出姿态示教器在东北天坐标系下的姿态数据；所述开关按钮输入单元将按钮设定的参数信息传送给信号处理单元；所述界面显示单元实时显示姿态示教器的工作状态及工作数据；参数信息和姿态数据经所述信号处理单元处理后由无线通信单元发送至计算机。
进一步的，所述路径规划单元和所述姿态示教单元运行在计算机上，并能加载显示被加工产品模型，建立被加工产品模型局部坐标系；
所述路径规划单元的工作过程如下：示教人员在被加工产品模型上采用计算机交互设备交互选择机器人末端执行器的一系列路径点，从而在被加工产品模型的局部坐标系中定义所述被加工产品模型的加工路径点坐标Pi(xi,yi,zi)，其中i表示路径点的数目；
所述姿态示教单元的工作过程如下：示教编程人员操作所述姿态示教器，生成姿态数据，所述计算机按顺序读取各所述路径点的三维坐标Pi(xi,yi,zi)，并按照一定的速度驱动虚拟的机器人末端执行器沿着规划的路径运动，与此同时所述姿态示教单元实时接收姿态示教器的姿态数据，规划机器人末端执行器的姿态，获得一系列的姿态Oi(ai,bi,ci)。
进一步的，所述增强现实注册模块的工作过程如下：
所述相机实时采集物理机器人和物理工作环境的图像至所述计算机，所述增强现实模块根据采集的图像计算AR注册卡的坐标系OA-XAYAZA到相机坐标系OC-XCYCZC的转换矩阵
Figure BDA0002422841410000031
以所述转换矩阵
Figure BDA0002422841410000032
设置虚拟世界中虚拟相机位置，并将被加工产品模型叠加在相机图像中AR注册卡的位置，使被加工产品模型局部坐标系与AR注册卡坐标系OA-XAYAZA重合。
进一步的，所述虚实空间融合单元工作过程如下：
所述虚实空间融合单元通过所述计算机向所述物理机器人控制器发送机器人间歇运动控制程序，所述物理机器人控制器控制执行所述机器人间歇运动控制程序，控制所述物理机器人末端执行器实现间歇运动，间歇运动路径至少包括四个不在一条直线上的间歇运动点；在间歇运动的每个间歇运动点，所述计算机通过物理机器人控制器读取末端执行器在机器人基坐标系Ow-XwYwZw下的三维坐标Qi(Xi,Yi,Zi)；同时通过相机采集物理工作环境的图像，通过计算机视觉算法识别物理机器人末端执行器，并计算末端执行器在图像中的图像坐标qi(ui,vi)，根据所有特征点的图像坐标qi(ui,vi)和对应的三维坐标Qi(Xi,Yi,Zi)，根据奇异值分解求最小二乘刚性转置方法求解机器人基坐标系Ow-XwYwZw到相机坐标系OC-XCYCZC的转换矩阵
Figure BDA0002422841410000041
转换关系如下所示：
Figure BDA0002422841410000042
其中M为相机内参矩阵；
Figure BDA0002422841410000043
的逆矩阵为
Figure BDA0002422841410000044
所述AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYwZw的转换矩阵为
Figure BDA0002422841410000045
可替代的，所述虚实空间融合单元工作过程如下：
将AR注册卡放置在工作台上，拖动物理机器人，使物理机器人末端执行器的末端点依次与AR注册卡的四个顶点重合，记录重合时各顶点在机器人坐标系中Ow-XwYwZw的坐标(XW,YW,ZW)和AR注册卡坐标系OA-XAYAZA中的坐标(XA,YA,ZA)；从而计算AR卡坐标系OA-XAYAZA到机器人基坐标系Ow-XwYwZw的坐标转换矩阵R，转换关系如下所示：
Figure BDA0002422841410000051
进一步的，所述虚实碰撞检测模块的工作流程如下：计算机中的虚实碰撞检测模块实时从物理机器人控制器中读取物理机器人各关节的旋转角度，利用各关节的旋转角度驱动机器人三维模型的DOF关节运动，利用AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYwZ的坐标转换矩阵R，将机器人三维模型与被加工产品模型融合在同一坐标系下，使用OBB碰撞检测算法检测机器人三维模型与被加工产品模型的之间的碰撞关系。
技术方案二
一种基于增强现实技术的工业机器人示教方法，该方法是基于技术方案一所述的一种基于增强现实技术的工业机器人示教系统及方法实现的，包括系统初始化步骤和AR仿真步骤；
所述系统初始化步骤如下：
S10、在计算机中建立虚拟机器人模型和被加工产品模型：在计算机中绘制与物理机器人结构尺寸相同的机器人三维模型，定义机器人三维模型各关节之间的DOF节点，然后根据物理机器人的结构和参数建立机器人正运动学模型和机器人逆运动学模型，形成虚拟机器人模型；再按照比例绘制与被实际加工产品相同的被加工产品模型；
S20、使用路径规划单元和姿态示教单元定义定义所述被加工产品模型的加工路径点坐标和机器人末端执行器的姿态；
AR仿真阶段步骤如下：
S30、放置一张AR注册卡，使用增强现实注册模块进行增强现实注册，实现被加工产品模型坐标系与AR注册卡坐标系OA-XAYAZA的重合；
S40、使用虚实空间融合单元求取被加工产品模型坐标系OA-XAYAZA到机器人基坐标系Ow-XwYwZw的转换矩阵R；
S50、使用转换矩阵R计算出被加工产品的机器人路径关键点坐标Pi(xi,yi,zi)和姿态Oi(ai,bi,ci)在机器人基坐标系Ow-XwYwZw中的坐标和方位，同时生成物理机器人控制程序；
S60、物理机器人控制器执行物理机器人控制程序，计算机执行虚实碰撞检测模块，进行虚实碰撞检测；若示教位姿合理且未发生碰撞，则计算机储存该点的示教信息，否则重新设计工装夹具，或重新放置AR注册卡位置以改变工装夹具在机器人基坐标系中的位置。
本发明具有如下有益效果：
本发明发明一种基于增强现实技术的工业机器人示教系统及方法，可以在增强现实环境中验证产品工装夹具结构设计是否合理，规划工装夹具在工作台上的安装方位，生成并验证工业机器人程序，将机器人作为真实的，而将工作环境(如被加工件、工装夹具等)作为虚拟的模型，采用增强现实技术验证产品及工装夹具设计，验证机器人加工程序。
附图说明
图1为本发明一种基于增强现实技术的工业机器人示教系统的结构示意图；
图2为本发明一种基于增强现实技术的工业机器人示教系统中姿态示教器的示意图；
图3为本发明一种基于增强现实技术的工业机器人示教方法的流程图。
图中附图标记表示为：
10、相机；20、计算机；30、姿态示教器；31、信号处理单元；32、惯性测量单元；33、开关按钮输入单元；34、无线通信单元；35、界面显示单元；40、物理机器人控制器；50、物理机器人；60、AR注册卡；61、被加工产品模型。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1和图2，一种基于增强现实技术的工业机器人示教系统，包括相机10、计算机20、姿态示教器30、物理机器人单元、AR示教单元和虚拟机器人模型；
所述物理机器人单元包括物理机器人控制器40和物理机器人50；所述物理机器人50自设置有物理机器人基坐标系；所述物理机器人控制器40分别与所述物理机器人50和计算机20连接，所述物理机器人控制器40用于控制物理机器人50运动，并获取物理机器人50的运动轨迹；
所述相机10设置于物理工作环境下并与所述计算机20通信连接，用于采集物理机器人50和物理工作环境的图像至所述计算机20；
所述姿态示教器30与所述计算机20通信连接，由示教人员握持操作，产生姿态数据并发送至所述计算机20；
所述AR示教单元包括位于物理工作环境中的AR注册卡60和运行于计算机20中的增强现实注册模块、被加工产品模型61、路径规划单元、姿态示教单元、虚实空间融合单元和虚实碰撞检测模块；所述增强现实注册模块用于通过AR注册卡60对被加工产品模型61进行增强现实注册；所述被加工产品模型61包括被加工件三维模型和使用的工装夹具三维模型；所述路径规划单元用于规划所述被加工产品模型61的加工路径；所述姿态示教单元用于根据所述姿态数据规划物理机器人50末端执行器的姿态；所述虚实碰撞监测模块用于检测所述虚拟机器人模型是否会发生碰撞；所述虚实空间融合单元用于获取AR注册卡的坐标系与物理机器人基坐标系之间的转换矩阵；
所述虚拟机器人模型运行于所述计算机20中，包括机器人三维模型、机器人正运动学模型、机器人逆运动学模型，其中机器人三维模型中包含设置于机器人关节上的DOF节点。
进一步的，所述姿态示教器30包括信号处理单元31以及与所述信号处理单元31连接的惯性测量单元32、开关按钮输入单元33、无线通信单元34和界面显示单元35；所述惯性测量单元32内置的惯性传感器测量出姿态示教器30在东北天坐标系下的姿态数据；所述开关按钮输入单元33将按钮设定的参数信息传送给信号处理单元31；所述界面显示单元35实时显示姿态示教器30的工作状态及工作数据；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至计算机20。
进一步的，所述路径规划单元和所述姿态示教单元运行在计算机20上，并能加载显示被加工产品模型61，建立被加工产品模型局部坐标系；
所述路径规划单元的工作过程如下：示教编程人员在被加工产品模型61上采用计算机交互设备(如普通鼠标、三维鼠标等)交互选择机器人末端执行器的一系列路径点，从而在被加工产品模型61的局部坐标系中定义所述被加工产品模型61的加工路径点坐标Pi(xi,yi,zi)，其中i表示路径点的数目。
所述姿态示教单元的工作过程如下：示教编程人员操作所述姿态示教器30，生成姿态数据，计算机20按顺序读取所述路径点的三维坐标Pi(xi,yi,zi)，并按照一定的速度驱动虚拟的机器人末端执行器沿着规划的路径运动，与此同时所述姿态示教单元实时接收姿态示教器30的姿态数据，规划机器人末端执行器的姿态，获得一系列的姿态Oi(ai,bi,ci)。
进一步的，所述增强现实注册模块的工作过程如下：
所述相机10实时采集物理机器人和物理工作环境的图像至所述计算机20，所述增强现实模块根据图像计算AR注册卡60坐标系OA-XAYAZA到相机坐标系OC-XCYCZC的转换矩阵
Figure BDA0002422841410000091
以该转换矩阵
Figure BDA0002422841410000092
设置虚拟世界中虚拟相机位置，并将被加工产品模型61叠加在相机图像上AR注册卡的位置，实现被加工产品模型61局部坐标系与AR注册卡坐标系OA-XAYAZA的重合。
所述虚实空间融合单元的主要目的是求取AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYwZw间的转换矩阵R。所述虚实空间融合单元工作过程如下：虚实空间融合单元向物理机器人控制器40发送机器人间歇运动控制程序，所述物理机器人控制器40控制执行所述机器人间歇运动控制程序，控制所述物理机器人50末端执行器实现间歇运动，间歇运动路径至少包括4个不在一条直线上的间歇运动点。在间歇运动的每个间歇运动点，所述计算机20通过机器人控制器40读取末端执行器在机器人基坐标系Ow-XwYwZw下的三维坐标Qi(Xi,Yi,Zi)；同时通过相机10读取物理工作环境的图像，通过一定的计算机视觉算法识别末端执行器，并计算末端执行器在图像中的图像坐标qi(ui,vi)，根据所有特征点的图像坐标qi(ui,vi)和对应的三维坐标Qi(Xi,Yi,Zi)，根据奇异值分解求最小二乘刚性转置方法求解机器人基坐标系Ow-XwYwZw到相机坐标系OC-XCYCZC的转换矩阵
Figure BDA0002422841410000101
转换关系如下所示：
Figure BDA0002422841410000102
其中M为相机内参矩阵。
Figure BDA0002422841410000103
的逆矩阵为
Figure BDA0002422841410000104
此时，AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYwZw的转换矩阵为
Figure BDA0002422841410000105
可选的，建立AR注册卡坐标系与机器人基坐标系中的转换矩阵R的方法如下：
在工作台上放置一个AR注册卡60，拖动物理机器人50，使物理机器人末端执行器的末端点依次与AR注册卡的4个顶点重合，记录重合时各顶点在机器人坐标系中Ow-XwYwZw的坐标(XW,YW,ZW)和AR注册卡坐标系OA-XAYAZA中的坐标(XA,YA,ZA)；从而计算AR卡坐标系OA-XAYAZA到机器人基坐标系Ow-XwYwZw的坐标转换矩阵R，转换关系如下所示：
Figure BDA0002422841410000106
利用转换矩阵R，计算出示教路径点Pi(xi,yi,zi)和姿态Oi(ai,bi,ci)在机器人基坐标系Ow-XwYwZw中的坐标和方位，即可生成机器人的加工轨迹。
所述虚实碰撞检测模块的工作流程如下：将加工程序发送给物理机器人，物理机器人产生运动，在虚实环境中进行碰撞检测。所述的虚实碰撞检测方法为：计算机中的虚实碰撞检测模块66实时从机器人控制器中读取物理机器人各关节的旋转角度，利用各关节的旋转角度驱动虚拟机器人模型的关节DOF运动，利用AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYwZ的坐标转换矩阵R，将虚拟机器人模型与被加工产品模型63融合在同一坐标系下，使用OBB碰撞检测算法检测虚拟机器人三维模型与被加工产品模型61的之间的碰撞。
实施例二
参见图3，一种基于增强现实技术的工业机器人示教方法，该方法是基于实施例一所述的一种基于增强现实技术的工业机器人示教系统及方法实现的，包括系统初始化步骤和AR仿真步骤；
所述系统初始化步骤如下：
S10、在计算机20中建立虚拟机器人模型和被加工产品模型61：在计算机中绘制与物理机器人50结构尺寸相同的机器人三维模型，定义机器人三维模型各关节之间的DOF节点，然后根据物理机器人50的结构和参数建立机器人正运动学模型和机器人逆运动学模型，形成虚拟机器人模型；再按照比例绘制与被实际加工产品相同的被加工产品模型61；
S20、使用路径规划单元和姿态示教单元定义定义所述被加工产品模型61的加工路径点坐标和机器人末端执行器的姿态；
AR仿真阶段步骤如下：
S30、放置一张AR注册卡60，使用增强现实注册模块进行增强现实注册，实现被加工产品模型坐标系与AR注册卡坐标系OA-XAYAZA的重合；
S40、使用虚实空间融合单元求取被加工产品模型坐标系OA-XAYAZA到机器人基坐标系Ow-XwYwZw的转换矩阵R；
S50、使用转换矩阵R计算出被加工产品61的机器人路径关键点坐标Pi(xi,yi,zi)和姿态Oi(ai,bi,ci)在机器人基坐标系Ow-XwYwZw中的坐标和方位，同时生成物理机器人控制程序；
S60、物理机器人控制器40执行物理机器人控制程序，计算机20执行虚实碰撞检测模块，进行虚实碰撞检测；若示教位姿合理且未发生碰撞，则计算机20储存该点的示教信息，否则重新设计工装夹具，或重新放置AR注册卡60位置以改变工装夹具在机器人基坐标系中的位置。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于增强现实技术的工业机器人示教系统，其特征在于：
包括相机(10)、计算机(20)、姿态示教器(30)、物理机器人单元、AR示教单元和虚拟机器人模型；
所述物理机器人单元包括物理机器人控制器(40)和物理机器人(50)；所述物理机器人(50)自设置有物理机器人基坐标系；所述物理机器人控制器(40)分别与所述物理机器人(50)和计算机(20)连接，所述物理机器人控制器(40)用于控制物理机器人(50)运动，并获取物理机器人(50)的运动轨迹；
所述相机(10)设置于物理工作环境下并与所述计算机(20)通信连接，用于采集物理机器人(50)和物理工作环境的图像至所述计算机(20)；
所述姿态示教器(30)与所述计算机(20)通信连接，由示教人员握持操作，产生姿态数据并发送至所述计算机(20)；
所述AR示教单元包括位于物理工作环境中的AR注册卡(60)和运行于计算机(20)中的增强现实注册模块、被加工产品模型(61)、路径规划单元、姿态示教单元、虚实空间融合单元和虚实碰撞检测模块；所述增强现实注册模块用于通过AR注册卡(60)对被加工产品模型(61)进行增强现实注册；所述被加工产品模型(61)包括被加工件三维模型和使用的工装夹具三维模型；所述路径规划单元用于规划所述被加工产品模型(61)的加工路径；所述姿态示教单元用于根据所述姿态数据规划物理机器人(50)末端执行器的姿态；所述虚实碰撞检测模块用于检测所述虚拟机器人模型是否会发生碰撞；所述虚实空间融合单元用于获取AR注册卡的坐标系与物理机器人基坐标系之间的转换矩阵；
所述虚拟机器人模型运行于所述计算机(20)中，包括机器人三维模型、机器人正运动学模型、机器人逆运动学模型，其中机器人三维模型中包含设置于机器人关节上的DOF节点；
还包括基于该工业机器人示教系统实现的示教方法，包括系统初始化步骤和AR仿真步骤；
所述系统初始化步骤如下：
S10、在计算机(20)中建立虚拟机器人模型和被加工产品模型(61)：在计算机中绘制与物理机器人(50)结构尺寸相同的机器人三维模型，定义机器人三维模型各关节之间的DOF节点，然后根据物理机器人(50)的结构和参数建立机器人正运动学模型和机器人逆运动学模型，形成虚拟机器人模型；再按照比例绘制与被实际加工产品相同的被加工产品模型(61)；
S20、使用路径规划单元和姿态示教单元定义所述被加工产品模型(61)的加工路径点坐标和机器人末端执行器的姿态；
AR仿真阶段步骤如下：
S30、放置一张AR注册卡(60)，使用增强现实注册模块进行增强现实注册，实现被加工产品模型坐标系与AR注册卡坐标系OA-XAYA ZA的重合；
S40、使用虚实空间融合单元求取被加工产品模型坐标系OA-XAYA ZA到机器人基坐标系Ow-XwYw Zw的转换矩阵R；
S50、使用转换矩阵R计算出被加工产品(61)的机器人路径关键点坐标Pi(xi,yi,zi)和姿态Oi(ai,bi,ci)在机器人基坐标系Ow-XwYw Zw中的坐标和方位，同时生成物理机器人控制程序；
S60、物理机器人控制器(40)执行物理机器人控制程序，计算机(20)执行虚实碰撞检测模块，进行虚实碰撞检测；若示教位姿合理且未发生碰撞，则计算机(20)储存该点的示教信息，否则重新设计工装夹具，或重新放置AR注册卡(60)位置以改变工装夹具在机器人基坐标系中的位置。
2.根据权利要求1所述的一种基于增强现实技术的工业机器人示教系统，其特征在于：所述姿态示教器(30)包括信号处理单元(31)以及与所述信号处理单元(31)连接的惯性测量单元(32)、开关按钮输入单元(33)、无线通信单元(34)和界面显示单元(35)；所述惯性测量单元(32)内置的惯性传感器测量出姿态示教器(30)在东北天坐标系下的姿态数据；所述开关按钮输入单元(33)将按钮设定的参数信息传送给信号处理单元(31)；所述界面显示单元(35)实时显示姿态示教器(30)的工作状态及工作数据；参数信息和姿态数据经所述信号处理单元(31)处理后由无线通信单元(34)发送至计算机(20)。
3.根据权利要求1所述的一种基于增强现实技术的工业机器人示教系统，其特征在于：所述路径规划单元和所述姿态示教单元运行在计算机(20)上，并能加载显示被加工产品模型(61)，建立被加工产品模型局部坐标系；
所述路径规划单元的工作过程如下：示教人员在被加工产品模型(61)上采用计算机交互设备交互选择机器人末端执行器的一系列路径点，从而在被加工产品模型(61)的局部坐标系中定义所述被加工产品模型(61)的加工路径点坐标Pi(xi,yi,zi)，其中i表示路径点的数目；
所述姿态示教单元的工作过程如下：示教编程人员操作所述姿态示教器(30)，生成姿态数据，所述计算机(20)按顺序读取各所述路径点的三维坐标Pi(xi,yi,zi)，并按照一定的速度驱动虚拟的机器人末端执行器沿着规划的路径运动，与此同时所述姿态示教单元实时接收姿态示教器(30)的姿态数据，规划机器人末端执行器的姿态，获得一系列的姿态Oi(ai,bi,ci)。
4.根据权利要求3所述的一种基于增强现实技术的工业机器人示教系统，其特征在于，所述增强现实注册模块的工作过程如下：
所述相机(10)实时采集物理机器人(50)和物理工作环境的图像至所述计算机(20)，所述增强现实模块根据采集的图像计算AR注册卡的坐标系OA-XAYAZA到相机坐标系OC-XCYC ZC的转换矩阵
Figure FDA0003874004570000041
以所述转换矩阵
Figure FDA0003874004570000042
设置虚拟世界中虚拟相机位置，并将被加工产品模型(61)叠加在相机图像中AR注册卡(60)的位置，使被加工产品模型局部坐标系与AR注册卡坐标系OA-XAYAZA重合。
5.根据权利要求4所述的一种基于增强现实技术的工业机器人示教系统，其特征在于，所述虚实空间融合单元工作过程如下：
所述虚实空间融合单元通过所述计算机(20)向所述物理机器人控制器(40)发送机器人间歇运动控制程序，所述物理机器人控制器(40)控制执行所述机器人间歇运动控制程序，控制所述物理机器人(50)末端执行器实现间歇运动，间歇运动路径至少包括四个不在一条直线上的间歇运动点；在间歇运动的每个间歇运动点，所述计算机(20)通过物理机器人控制器(40)读取末端执行器在机器人基坐标系Ow-XwYw Zw下的三维坐标Qi(Xi,Yi,Zi)；同时通过相机(10)采集物理工作环境的图像，通过计算机视觉算法识别物理机器人(50)末端执行器，并计算末端执行器在图像中的图像坐标qi(ui,vi)，根据所有特征点的图像坐标qi(ui,vi)和对应的三维坐标Qi(Xi,Yi,Zi)，根据奇异值分解求最小二乘刚性转置方法求解机器人基坐标系Ow-XwYw Zw到相机坐标系OC-XCYCZC的转换矩阵
Figure FDA0003874004570000051
转换关系如下所示：
Figure FDA0003874004570000052
其中M为相机内参矩阵；
Figure FDA0003874004570000053
的逆矩阵为
Figure FDA0003874004570000054
所述AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYw Zw的转换矩阵为
Figure FDA0003874004570000055
6.根据权利要求1所述的一种基于增强现实技术的工业机器人示教系统，其特征在于，所述虚实空间融合单元工作过程如下：
将AR注册卡(60)放置在工作台上，拖动物理机器人(50)，使物理机器人(50)末端执行器的末端点依次与AR注册卡的四个顶点重合，记录重合时各顶点在机器人坐标系中Ow-XwYwZw的坐标(XW,YW,ZW)和AR注册卡坐标系OA-XAYAZA中的坐标(XA,YA,ZA)；从而计算AR卡坐标系OA-XAYAZA到机器人基坐标系Ow-XwYw Zw的坐标转换矩阵R，转换关系如下所示：
Figure FDA0003874004570000061
7.根据权利要求5或6所述的一种基于增强现实技术的工业机器人示教系统，其特征在于，所述虚实碰撞检测模块的工作流程如下：计算机(20)中的虚实碰撞检测模块实时从物理机器人控制器(40)中读取物理机器人各关节的旋转角度，利用各关节的旋转角度驱动机器人三维模型的DOF关节运动，利用AR注册卡坐标系OA-XAYAZA与机器人基坐标系Ow-XwYw Z的坐标转换矩阵R，将机器人三维模型与被加工产品模型(61)融合在同一坐标系下，使用OBB碰撞检测算法检测机器人三维模型与被加工产品模型(61)的之间的碰撞关系。
CN202010211069.4A 2020-03-24 2020-03-24 一种基于增强现实技术的工业机器人示教系统及方法 Active CN111267073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010211069.4A CN111267073B (zh) 2020-03-24 2020-03-24 一种基于增强现实技术的工业机器人示教系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010211069.4A CN111267073B (zh) 2020-03-24 2020-03-24 一种基于增强现实技术的工业机器人示教系统及方法

Publications (2)

Publication Number Publication Date
CN111267073A CN111267073A (zh) 2020-06-12
CN111267073B true CN111267073B (zh) 2022-11-15

Family

ID=70993005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211069.4A Active CN111267073B (zh) 2020-03-24 2020-03-24 一种基于增强现实技术的工业机器人示教系统及方法

Country Status (1)

Country Link
CN (1) CN111267073B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111843997A (zh) * 2020-07-29 2020-10-30 上海大学 一种机械臂手持通用示教系统及其操作方法
WO2022036634A1 (zh) * 2020-08-20 2022-02-24 青岛理工大学 一种面向拆装作业的增强现实诱导与远程协作开发系统
CN112454333B (zh) * 2020-11-26 2022-02-11 青岛理工大学 基于图像分割及表面肌电信号的机器人示教系统及方法
CN112650436A (zh) * 2020-12-11 2021-04-13 深圳市越疆科技有限公司 基于增强现实的机器人操作方法、装置、存储介质
CN112847301B (zh) * 2020-12-21 2023-05-19 山东华数智能科技有限公司 基于便携终端的机器人增强现实示教编程方法
CN112801977B (zh) * 2021-01-28 2022-11-22 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN112686227B (zh) * 2021-03-12 2021-07-06 泰瑞数创科技(北京)有限公司 基于增强现实和人机综合检测的产品质量检查方法及其装置
CN114193438B (zh) * 2021-12-15 2023-12-08 北京航星机器制造有限公司 基于触摸屏控制机器人的方法及装置
CN114407015A (zh) * 2022-01-28 2022-04-29 青岛理工大学 一种基于数字孪生的遥操作机器人在线示教系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN101791801A (zh) * 2010-01-15 2010-08-04 广东工业大学 工业机器人运动规划与性能测试系统及其实现方法
CN106182018A (zh) * 2016-07-30 2016-12-07 福州大学 一种基于工件三维图形的磨抛工业机器人离线编程方法
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程系统及方法
CN107351058A (zh) * 2017-06-08 2017-11-17 华南理工大学 基于增强现实的机器人示教方法
CN108398922A (zh) * 2018-01-24 2018-08-14 华南理工大学 一种基于力反馈的机器人砂带抛光虚拟示教方法
CN109773785A (zh) * 2018-12-29 2019-05-21 南京埃斯顿机器人工程有限公司 一种工业机器人防碰撞方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890194B2 (en) * 2005-12-13 2011-02-15 Brooks Automation, Inc. Robotics programming interface
US9855664B2 (en) * 2015-11-25 2018-01-02 Denso Wave Incorporated Robot safety system
JP6763846B2 (ja) * 2017-11-24 2020-09-30 ファナック株式会社 ロボットの教示操作を行う教示装置および教示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN101791801A (zh) * 2010-01-15 2010-08-04 广东工业大学 工业机器人运动规划与性能测试系统及其实现方法
CN106182018A (zh) * 2016-07-30 2016-12-07 福州大学 一种基于工件三维图形的磨抛工业机器人离线编程方法
CN107351058A (zh) * 2017-06-08 2017-11-17 华南理工大学 基于增强现实的机器人示教方法
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程系统及方法
CN108398922A (zh) * 2018-01-24 2018-08-14 华南理工大学 一种基于力反馈的机器人砂带抛光虚拟示教方法
CN109773785A (zh) * 2018-12-29 2019-05-21 南京埃斯顿机器人工程有限公司 一种工业机器人防碰撞方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
6自由度工业机器人增强现实示教研究;张石磊;《6自由度工业机器人增强现实示教研究》;中国优秀硕士学位论文全文数据库;20190515(第5（2019）期);I138-1666 *
A Projection-based User Interface for Industrial Robots;Gunther Reinhart;《A Projection-based User Interface for Industrial Robots》;IEEE;20071029;第67-71页 *
基于增强现实及自然人机交互的机器人示教再现技术研究;陈偕权;《基于增强现实及自然人机交互的机器人示教再现技术研究》;中国优秀硕士学位论文全文数据库;20190115(第1（2019）期);I140-1922 *
基于增强现实的6自由度工业机器人示教研究;张石磊;《基于增强现实的6自由度工业机器人示教研究》;机电工程;20190120;第36卷(第1期);第77-83页 *

Also Published As

Publication number Publication date
CN111267073A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111267073B (zh) 一种基于增强现实技术的工业机器人示教系统及方法
US11440179B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
US11724388B2 (en) Robot controller and display device using augmented reality and mixed reality
Xiao et al. Sensor-based hybrid position/force control of a robot manipulator in an uncalibrated environment
CN108161904A (zh) 基于增强现实的机器人在线示教装置、系统、方法、设备
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
JP2017094406A (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
Fang et al. Orientation planning of robot end-effector using augmented reality
JP7067816B1 (ja) 画像分割及び表面筋電図に基づくロボットの教示システム及び方法
JPH02262982A (ja) ツールセンタポイントの設定方法
CN111515928B (zh) 机械臂运动控制系统
Frank et al. Towards teleoperation-based interactive learning of robot kinematics using a mobile augmented reality interface on a tablet
KR101205363B1 (ko) ６자유도 제어기를 이용한 ４자유도 로봇 제어방법 및 제어장치
JPH11338532A (ja) 教示装置
CN110053045A (zh) 工件表面轮廓线获取方法、干涉检测方法和相关装置
JP3560216B2 (ja) 作業支援装置
Chen et al. Robotic arm calibration and teaching method based on binocular vision
JPH1177568A (ja) 教示支援方法及び装置
Ding et al. A human-guided vision-based measurement system for multi-station robotic motion platform based on v-rep
Rego et al. Manipulator motion tracking conceptual model
Han et al. Computer-aided off-line planning of robot motion
JPH01131904A (ja) ロボット操作支援システム
Cheng et al. A study of using 2D vision system for enhanced industrial robot intelligence
Abdi et al. A Hybrid AI-based Adaptive Path Planning for Intelligent Robot Arms
Tatsuno An example of open robot controller architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant