CN111300384B - 一种基于标识卡运动的机器人增强现实示教的注册系统及方法 - Google Patents

一种基于标识卡运动的机器人增强现实示教的注册系统及方法 Download PDF

Info

Publication number
CN111300384B
CN111300384B CN202010211008.8A CN202010211008A CN111300384B CN 111300384 B CN111300384 B CN 111300384B CN 202010211008 A CN202010211008 A CN 202010211008A CN 111300384 B CN111300384 B CN 111300384B
Authority
CN
China
Prior art keywords
coordinate system
physical robot
robot
camera
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010211008.8A
Other languages
English (en)
Other versions
CN111300384A (zh
Inventor
潘勇
陈成军
丁旭彤
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202010211008.8A priority Critical patent/CN111300384B/zh
Publication of CN111300384A publication Critical patent/CN111300384A/zh
Application granted granted Critical
Publication of CN111300384B publication Critical patent/CN111300384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于标识卡运动的机器人增强现实示教的注册系统，包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接；所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系且安装在物理机器人上与所述计算机通信连接，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机对准所述物理机器人的工作区域拍摄；所述转换计算单元设置于所述计算机中；所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。

Description

一种基于标识卡运动的机器人增强现实示教的注册系统及 方法
技术领域
本发明涉及一种基于标识卡运动的机器人增强现实示教的注册系统和方法，属于机器人、智能制造和增强现实领域。
背景技术
在传统的基于标识卡的增强现实注册算法中，当相机与标识卡之间有障碍物时，摄像机无法拍摄到标识卡完整的图像，因此将无法实现增强现实注册。特别是当摄像机移动时，用户期望获得一个稳定的增强现实注册，如在基于增强现实技术的机器人示教中，用户希望移动摄像机，从不同角度观察示教路径，观察机器人的示教情况。
发明内容
为了解决上述技术问题，本发明提供一种基于标识卡运动的机器人增强现实示教的注册系统和方法，通过机器人驱动标识卡运动，实现稳定的增强现实注册，将机器人的虚拟模型稳定地叠加在真实场景中。
本发明所采用的技术方案如下：
技术方案一：
一种基于标识卡运动的机器人增强现实示教的注册系统，包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；
所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系，且安装在物理机器人末端执行机构上，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机安装在物理机器人以外的物理环境中移动，并对准所述物理机器人的工作区域拍摄；所述相机自设置有相机坐标系且与所述计算机通信连接，所述转换计算单元设置于所述计算机中，利用AR注册卡上各特征点，计算相机坐标系与物理机器人基坐标系之间的转换关系；
所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。
进一步的，所述计算机具体用于：所述计算机控制所述相机获取物理机器人工作区域的图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标，同时，所述计算机读取AR注册卡上各特征点在物理机器人基坐标系下的坐标，计算相机在机器人坐标系中位置和方向。
进一步的，所述转换计算单元具体用于：从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；并利用相机的成像模型及相机的内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和Oc在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(xd,yd,zd)和Oc(xoc,yoc,zoc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点Om在物理机器人基坐标系下的坐标值Om(xom,yom,zom)；
在物理机器人基坐标系中计算Om(xom,yom,zom)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为Ok(xok,yok,zok)；
建立局部坐标系Ok-XkYkZk,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
可替代的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(ui,vi)；根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用公式
Figure BDA0002422809530000041
求解R4*4；
如果AR注册卡不在相机的成像范围内，无法求解R4*4则进入下一步，否则返回重新求解R4*4；
利用以上一个循环中求得的有效的R4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为Ok；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYmZm的原点Om向Ok点运动，Zm轴向OkOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
技术方案二
一种基于标识卡运动的机器人增强现实示教的注册方法，该方法是基于上述计算方案一中的一种基于标识卡运动的机器人增强现实示教的注册系统实现的，具体步骤如下：
设置AR注册卡的AR注册卡坐标系，并计算AR注册卡上各特征点在AR注册卡坐标系下的坐标值；
将AR注册卡安装在所述物理机器人末端执行机构上，标注AR注册卡坐标系的原点在物理机器人基坐标系下的坐标值；并安装好相机使所述相机在物理机器人以外的物理环境中运动，并对准所述物理机器人的工作区域拍摄；
计算机控制相机拍摄图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标；同时读取并计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；
通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系；
所述虚拟机器人生成单元根据AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系生成虚拟机器人模型，使所述虚拟机器人模型的基坐标系与物理机器人基坐标系一致。
进一步的，所述通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系的具体方法为：
计算机从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；利用相机的成像模型及相机内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和Oc在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(xd,yd,zd)和Oc(xoc,yoc,zoc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点Om在物理机器人基坐标系下的坐标值Om(xom,yom,zom)；
在物理机器人基坐标系中计算Om(xom,yom,zom)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为Ok(xok,yok,zok)；
建立局部坐标系Ok-XkYkZk,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(ui,vi)；根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用公式
Figure BDA0002422809530000081
求解R4*4；
(如果AR注册卡不在相机的成像范围内，无法求解R4*4则进入下一步，否则返回重新求解R4*4；
利用以上一个循环中求得的有效的R4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为Ok；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYmZm的原点Om向Ok点运动，Zm轴向OkOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
本发明具有如下有益效果：
1、本发明面将AR注册卡安装在机器人，实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了相机移动时由于注册卡遮挡造成的增强现实注册失败；
2、本发明适合工业机器人现实示教，可以高精度地实现虚拟机器人模型基坐标系与物理机器人的基坐标系的一致，提高示教路径的精度。
附图说明
图1为本发明一种基于标识卡运动的机器人增强现实示教的注册系统的示意图；
图2为本发明一种基于标识卡运动的机器人增强现实示教的注册系统中第一驱动模块的使用示意图；
图3为本发明一种基于标识卡运动的机器人增强现实示教的注册系统中第二驱动模块的使用示意图；
图4为本发明一种基于标识卡运动的机器人增强现实示教的注册方法的流程示意图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1，一种基于标识卡运动的机器人增强现实示教的注册系统，包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；
所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系，且安装在物理机器人末端执行机构上，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机安装在物理机器人以外的物理环境中移动，并对准所述物理机器人的工作区域拍摄；所述相机自设置有相机坐标系且与所述计算机通信连接，所述转换计算单元设置于所述计算机中，利用AR注册卡上各特征点，计算相机坐标系与物理机器人基坐标系之间的转换关系；
所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。
本实施例通过计算AR注册卡上各特征点在相机坐标系下的三维坐标与AR注册卡上各特征点在物理机器人基坐标系下的三维坐标之间的转换关系，可以高精度地实现虚拟机器人的基坐标系与物理机器人的基坐标系的一致，提高示教路径的精度，适合工业机器人远程增强现实示教和移动工业机器人增强现实示教。
实施例二
进一步的，所述计算机具体用于：所述计算机控制所述相机获取物理机器人工作区域的图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标Zi(ui,vi)，同时，所述计算机读取AR注册卡上各特征点在物理机器人基坐标系下的坐标，计算相机在机器人坐标系中位置和方向。。
进一步的，所述转换计算单元具体用于：从物理机器人控制器中读取物理机器人各关节的旋转角度，计算AR注册卡坐标系Om-XmYmZm在机器人基坐标系Ow-XwYwZw中的位置和方向，获得由AR注册卡坐标系Om-XmYmZm到机器人坐标系Ow-XwYwZw的转换矩阵R1。计算机根据转换矩阵R1计算AR注册卡在上各特征点在机器人坐标系下坐标Pi(xwi,ywi,zwi),计算方式如下：
Figure BDA0002422809530000111
其中Qi(xmi,ymi,zmi)为第i个特征点在AR注册卡坐标系Om-XmYm Zm中的位置坐标。并利用相机的成像模型，根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用下式求转换矩阵R4*4，实现由机器人坐标系基坐标系Ow-XwYw Zw,到相机坐标系Oc-XcYcZc的变换。
Figure BDA0002422809530000112
其中A3*4为相机的内参矩阵，采用ARtoolkit提供的注册方法求解外参矩阵R4*4。
以该转换矩阵R4*4设置虚拟世界中虚拟相机位置，并将虚拟机器人模型叠加在图像上物理机器人的位置，完成增强现实注册，实现虚拟机器人模型的基坐标系与物理机器人的基坐标系的一致。
进一步的，具体参加图2，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和Oc在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(xd,yd,zd)和Oc(xoc,yoc,zoc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点Om在物理机器人基坐标系下的坐标值Om(xom,yom,zom)；
在物理机器人基坐标系中计算Om(xom,yom,zom)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为Ok(xok,yok,zok)；
建立局部坐标系Ok-XkYkZk,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
本实施例实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
实施例三
参加图3，本实施例与实施例二的不同之处在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(ui,vi)；根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用公式
Figure BDA0002422809530000131
求解R4*4；
如果AR注册卡不在相机的成像范围内，无法求解R4*4则进入下一步，否则返回重新求解R4*4；
利用以上一个循环中求得的有效的R4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为Ok；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYmZm的原点Om向Ok点运动，Zm轴向OkOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
本实施例通过另一种方式实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
实施例四
一种基于标识卡运动的机器人增强现实示教的注册方法，该方法是基于实施例一中的一种基于标识卡运动的机器人增强现实示教的注册系统实现的，具体步骤如下：
设置AR注册卡的AR注册卡坐标系，并计算AR注册卡上各特征点在AR注册卡坐标系下的坐标值；
将AR注册卡安装在所述物理机器人末端执行机构上，标注AR注册卡坐标系的原点在物理机器人基坐标系下的坐标值；并安装好相机使所述相机在物理机器人以外的物理环境中运动，并对准所述物理机器人的工作区域拍摄；
计算机控制相机拍摄图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标；同时读取并计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；
通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系；
所述虚拟机器人生成单元根据AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系生成虚拟机器人模型，使所述虚拟机器人模型的基坐标系与物理机器人基坐标系一致。
本实施例通过计算AR注册卡上各特征点在相机坐标系下的三维坐标与AR注册卡上各特征点在物理机器人基坐标系下的三维坐标之间的转换关系，可以高精度地实现虚拟机器人的基坐标系与物理机器人的基坐标系的一致，提高示教路径的精度，适合工业机器人远程增强现实示教和移动工业机器人增强现实示教。
实施例五
进一步的，所述通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系的具体方法为：
计算机从物理机器人控制器中读取物理机器人各关节的旋转角度，计算AR注册卡坐标系Om-XmYmZm在机器人基坐标系Ow-XwYwZw中的位置和方向，获得由AR注册卡坐标系Om-XmYmZm到机器人坐标系Ow-XwYwZw的转换矩阵R1。计算机根据转换矩阵R1计算AR注册卡在上各特征点在机器人坐标系下坐标Pi(xwi,ywi,zwi),计算方式如下：
Figure BDA0002422809530000151
其中Qi(xmi,ymi,zmi)为第i个特征点在AR注册卡坐标系Om-XmYmZm中的位置坐标。并利用相机的成像模型，根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用下式求转换矩阵R4*4，实现由机器人坐标系基坐标系Ow-XwYwZw,到相机坐标系Oc-XcYcZc的变换。
Figure BDA0002422809530000161
其中A3*4为相机的内参矩阵，采用ARtoolkit提供的注册方法求解外参矩阵R4*4。
以该转换矩阵R4*4设置虚拟世界中虚拟相机位置，并将虚拟机器人模型叠加在图像上物理机器人的位置，完成增强现实注册，实现虚拟机器人模型的基坐标系与物理机器人的基坐标系的一致。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和Oc在物理机器人基坐标系Ow-XwYwZw中的坐标值，分别为D(xd,yd,zd)和Oc(xoc,yoc,zoc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点Om在物理机器人基坐标系下的坐标值Om(xom,yom,zom)；
在物理机器人基坐标系中计算Om(xom,yom,zom)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为Ok(xok,yok,zok)；
建立局部坐标系Ok-XkYkZk,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
本实施例实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
实施例六
本实施例与实施例五的不同之处在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(ui,vi)；根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用公式
Figure BDA0002422809530000181
求解R4*4；
如果AR注册卡不在相机的成像范围内，无法求解R4*4则进入下一步，否则返回重新求解R4*4；
利用以上一个循环中求得的有效的R4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为Ok；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYmZm的原点Om向Ok点运动，Zm轴向OkOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
本实施例通过另一种方式实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于标识卡运动的机器人增强现实示教的注册系统，其特征在于：
包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；
所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系，且安装在物理机器人末端执行机构上，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机安装在物理机器人以外的物理环境中移动，并对准所述物理机器人的工作区域拍摄；所述相机自设置有相机坐标系且与所述计算机通信连接，所述转换计算单元设置于所述计算机中，利用AR注册卡上各特征点，计算相机坐标系与物理机器人基坐标系之间的转换关系；
所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。
2.根据权利要求1所述的一种基于标识卡运动的机器人增强现实示教的注册系统，其特征在于，所述计算机具体用于：所述计算机控制所述相机获取物理机器人工作区域的图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标，同时，所述计算机读取AR注册卡上各特征点在物理机器人基坐标系下的坐标，计算相机在机器人坐标系中位置和方向。
3.根据权利要求2所述的一种基于标识卡运动的机器人增强现实示教的注册系统，其特征在于，所述转换计算单元具体用于：从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；并利用相机的成像模型及相机的内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
4.根据权利要求1所述的一种基于标识卡运动的机器人增强现实示教的注册系统，其特征在于，当相机移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和Oc在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(xd,yd,zd)和Oc(xoc,yoc,zoc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点Om在物理机器人基坐标系下的坐标值Om(xom,yom,zom)；
在物理机器人基坐标系中计算Om(xom,yom,zom)与直线DOc的垂直交点Ok；Ok在物理机器人基坐标系下的坐标为Ok(xok,yok,zok)；
建立局部坐标系Ok-XkYkZk,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYmZm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
5.根据权利要求1所述的一种基于标识卡运动的机器人增强现实示教的注册系统，其特征在于，当相机移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(ui,vi)；根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用公式
Figure FDA0003864239330000041
求解R4*4；
如果AR注册卡不在相机的成像范围内，无法求解R4*4则进入下一步，否则返回重新求解R4*4；
利用以上一个循环中求得的有效的R4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为Ok；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向Ok点运动，Zm轴向OkOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
6.一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，该方法是基于权利要求1所述一种基于标识卡运动的机器人增强现实示教的注册系统实现的，具体步骤如下：
设置AR注册卡的AR注册卡坐标系，并计算AR注册卡上各特征点在AR注册卡坐标系下的坐标值；
将AR注册卡安装在所述物理机器人末端执行机构上，标注AR注册卡坐标系的原点在物理机器人基坐标系下的坐标值；并安装好相机使所述相机在物理机器人以外的物理环境中运动，并对准所述物理机器人的工作区域拍摄；
计算机控制相机拍摄图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标；同时读取并计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；
通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系；
所述虚拟机器人生成单元根据AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系生成虚拟机器人模型，使所述虚拟机器人模型的基坐标系与物理机器人基坐标系一致。
7.根据权利要求6所述的一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，所述通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系的具体方法为：
计算机从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；并利用相机的成像模型及相机的内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
8.根据权利要求6所述的一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，当相机移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和Oc在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(xd,yd,zd)和Oc(xoc,yoc,zoc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点Om在物理机器人基坐标系下的坐标值Om(xom,yom,zom)；
在物理机器人基坐标系中计算Om(xom,yom,zom)与直线DOc的垂直交点Ok；Ok在物理机器人基坐标系下的坐标为Ok(xok,yok,zok)；
建立局部坐标系Ok-XkYkZk,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYmZm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
9.根据权利要求6所述的一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，当相机移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(ui,vi)；根据所有特征点的像素坐标Zi(ui,vi),和对应的三维坐标Pi(xwi,ywi,zwi)，利用公式
Figure FDA0003864239330000081
求解R4*4；
如果AR注册卡不在相机的成像范围内，无法求解R4*4则进入下一步，否则返回重新求解R4*4；
利用以上一个循环中求得的有效的R4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为Ok；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向Ok点运动，Zm轴向OkOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
CN202010211008.8A 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册系统及方法 Active CN111300384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010211008.8A CN111300384B (zh) 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010211008.8A CN111300384B (zh) 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册系统及方法

Publications (2)

Publication Number Publication Date
CN111300384A CN111300384A (zh) 2020-06-19
CN111300384B true CN111300384B (zh) 2022-11-15

Family

ID=71162419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211008.8A Active CN111300384B (zh) 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册系统及方法

Country Status (1)

Country Link
CN (1) CN111300384B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021189223A1 (zh) * 2020-03-24 2021-09-30 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
WO2022036634A1 (zh) * 2020-08-20 2022-02-24 青岛理工大学 一种面向拆装作业的增强现实诱导与远程协作开发系统
CN112917457A (zh) * 2021-01-27 2021-06-08 南京航空航天大学 一种基于增强现实技术的工业机器人快速精准示教系统及方法
CN113021348B (zh) * 2021-03-23 2021-10-15 深圳群宾精密工业有限公司 一种应用于不同机器人之间点位高精度转换的方法
CN113211431B (zh) * 2021-04-16 2022-07-01 中铁第一勘察设计院集团有限公司 基于二维码修正机器人系统的位姿估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程系统及方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5742862B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程系统及方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Also Published As

Publication number Publication date
CN111300384A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111300384B (zh) 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
AU2020201554B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
CN110587600B (zh) 基于点云的带电作业机器人自主路径规划方法
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN108422435B (zh) 一种基于增强现实的远程监测及控制系统
CN109397249B (zh) 基于视觉识别的二维码定位抓取机器人系统的方法
CN109571487B (zh) 一种基于视觉的机器人演示学习方法
CN102848389B (zh) 基于视觉运动捕捉的机械臂标定及跟踪系统实现方法
CN108994832B (zh) 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
WO2020024178A1 (zh) 一种手眼标定方法、系统及计算机存储介质
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
CN110695988A (zh) 双机械臂协同运动方法及系统
CN113751981A (zh) 基于双目视觉伺服的空间高精度装配方法和系统
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
CN111283664B (zh) 一种面向机器人增强现实示教的注册系统和方法
CN114851201A (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN109900251A (zh) 一种基于视觉技术的机器人定位装置及方法
CN110928311A (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
CN109693235B (zh) 一种仿人眼视觉跟踪装置及其控制方法
CN116872216B (zh) 一种基于有限时间控制的机器人视觉伺服作业方法
WO2021189223A1 (zh) 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN115648200A (zh) 复合型机器人协同控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Pan Yong

Inventor after: Chen Chengjun

Inventor after: Ding Xutong

Inventor after: Li Dongnian

Inventor after: Hong Jun

Inventor before: Chen Chengjun

Inventor before: Pan Yong

Inventor before: Ding Xutong

Inventor before: Li Dongnian

Inventor before: Hong Jun

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant