CN210361314U - 一种基于增强现实技术的机器人示教装置 - Google Patents
一种基于增强现实技术的机器人示教装置 Download PDFInfo
- Publication number
- CN210361314U CN210361314U CN201920641265.8U CN201920641265U CN210361314U CN 210361314 U CN210361314 U CN 210361314U CN 201920641265 U CN201920641265 U CN 201920641265U CN 210361314 U CN210361314 U CN 210361314U
- Authority
- CN
- China
- Prior art keywords
- demonstrator
- robot
- mechanical arm
- display device
- terminal display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 16
- 238000005516 engineering process Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 239000003550 marker Substances 0.000 claims description 25
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000003466 welding Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本实用新型公开了一种基于增强现实技术的机器人示教装置，当摄像头将捕获的示教器的三维位姿传入到计算机处理装置中，利用装置中的三维渲染显示软件将此位姿数据进一步计算，获得示教操作模型尾端的三维位姿数据；将所述示教操作模型末端的三维位姿数据传入到终端显示装置中，后者将位姿数据赋值给装置中负责描绘运动路径轨迹的虚拟机械臂，进行路径显示，提示操作者已完成的轨迹规划情况。实施本实用新型的有益效果是，利用虚拟机械臂模拟真实机械臂在实际工作过程中的运动轨迹，提示操作员已规划的机器人路径信息，简化机器人示教的过程；且对示教器从多个角度进行三维位姿捕捉，提高了捕捉精度。
Description
技术领域
本实用新型涉及机器人示教领域，更具体地说，涉及一种基于增强现实技术的机器人示教装置。
背景技术
随着《中国制造2025》的推出，机器人行业得到了飞速发展，工业机器人市场前景非常广阔，工业机器人相关领域具有极高的研究价值。增强现实是指将虚拟模型准确的注册到现实的场景之中,对虚拟物体和真实环境进行虚实融合的技术，增强现实技术可以使操作者同时感觉到真实世界和虚拟世界。机器人示教是指对机器人的作业任务进行编程的过程，其主要功能是规划机器人的作业方式和作业流程，是机器人领域的一项重要研究内容。随着工业机器人工作环境多样化和完成任务复杂化的日益加剧，需要人们设计出新的示教方式，以满足现代的生产要求。为此本实用新型提出基于增强现实技术进行机器人示教的方法。增强现实示教的示教过程是在真实环境下进行的，可以实现动态环境下的示教，并具有建模工作量小、沉浸感强、示教过程真实自然的优点。
实用新型内容
本实用新型要解决的技术问题在于，针对现有技术的缺陷，提供一种基于增强现实技术的机器人示教系统。
本实用新型解决其技术问题所采用的技术方案是构造一种基于增强现实技术的机器人示教装置，包括设于示教台上的真实机器臂和示教器，以及用于捕捉并传输示教器运动轨迹数据的若干台摄像机；所述机器人示教装置还包括依次连接的计算机处理装置和终端显示装置；其中：
所述示教器上设有若干个标志物和设于示教器尾端的示教操作模型；其中，所述标志物，用于标识示教器，使得示教器在运动的过程中，能够被所述动作捕捉装置捕捉到；
所述计算机处理装置连接到每台摄像机上，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标位置；其中经过处理后的数据会进一步传输到终端显示装置；
所述终端显示装置，用于制作虚拟机械臂，并根据接收到的数据，将所述虚拟机械臂与所述真实机械臂进行虚实融合，通过所述虚拟机械臂对示教器的运动轨迹进行显示。
进一步的，所述若干个标志物构成一个标志物刚体，摄像机在工作时，对所述标志物刚体质心的三维坐标点进行捕捉，根据捕捉到的数据，进一步计算得到示教器的三维位姿坐标点。
进一步的，所述标志物设为反光的球体，通过所述反光的球体来标识示教器，使得示教器在运动的过程中，能够被摄像机捕捉到。
进一步的，在计算机处理装置中采用三维渲染显示系统软件，对每台摄像机传来的数据进行处理，并将处理后的数据传输到终端显示装置中。
进一步的，终端显示装置为带有摄像头的显示终端。
进一步的，终端显示装置为平板电脑、笔记本电脑或台式计算机，通过所述终端显示装置对示教器的运动轨迹进行高亮显示。
在本实用新型所述的一种基于增强现实技术的机器人示教装置中，通过动作捕捉装置获取示教器运动轨迹，将示教器轨迹的三维位姿进行进一步计算，通过三维渲染显示系统软件生成高亮显示的全息路线，在显示终端中进行显示，进而提示操作者规划好的机器人运动轨迹。
实施本实用新型的一种基于增强现实技术的机器人示教装置，具有以下有益效果：
1、使用SIFT算法对虚拟机械臂进行识别和定位，然后通过OpenGL将虚拟机械臂和运动轨迹叠加到终端显示装置的摄像头图像下，实现增强现实显示，用于提示操作员已规划的机器人路径信息，简化机器人示教的过程；
2、通过使用摄像头对示教器从多个角度进行三维位姿捕捉，提高了捕捉精度。
附图说明
下面将结合附图及实施例对本实用新型作进一步说明，附图中：
图1是机器人示教装置的结构原理图；
图2是实现机器人示教的方法流程图；
图3是操作对象结构图；
图4是示教器结构图；
图5是多台摄像机的空间结构设置图。
具体实施方式
为了对本实用新型的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本实用新型的具体实施方式。
本实施例中，以激光焊接为例，对本实用新型公开的一种机器人示教装置进行详细说明。
请参考图1，其为机器人示教装置的结构原理图，本实用新型公开的一种基于增强现实技术的机器人示教装置，包括示教器L1、若干台摄像机L2、计算机处理装置L3、终端显示装置L4和真实机器臂L5，其中：
本实施例中，所述示教器上设有八个标志物，其中，八个标志物构成一个标志物刚体；
在示教器的尾端设有示教操作装置，由于在进行激光焊接的过程中，在真实机械臂的末端，挟持有一只激光笔，本实施例中所述示教操作装置采用激光笔模型，由其代替机械臂激光笔，进而模拟了真实的工作环境；
为避免在示教过程中，所述示教器被焊接物遮挡，而无法被摄像机捕捉到的弊端，本实施例中，在每个标志物与示教器之间，固定一标志物延伸杆，对标志物进行空间延伸；
本实施例中，所述标志物设为反光的球体，所述球体用于标识示教器，使得示教器在运动的过程中，能够被摄像机捕捉到。
所述摄像机L2用于捕捉并传输示教器运动轨迹数据；本实施例中，利用六个动作捕捉摄像头，对标志物刚体质心的三维坐标位置进行实时和无死角的捕捉；其中，摄像头的分辨率均为：1280×1024，最大帧速：240FPS。
所述计算机处理装置L3，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标位置；其中，经过处理后的数据会进一步传输到终端显示装置L4；本实施例中，考虑在计算机处理装置L3中利用三维渲染显示系统软件，对摄像机传来的数据进行处理，其中，通过摄像机传来的标记物刚体质心的三维位姿坐标点，计算激光笔模型端点的三维位姿坐标点，具体的计算公式为：
其中，tx、ty和tz分别是标记物刚体质心的三维位姿坐标点，mx、my和mz分别是激光笔模型尾端的三维位姿坐标点，k是激光笔模型尾端与标记物刚体质心之间的距离，x、y和z分别是标记物刚体质心与坐标系之间的夹角角度；
本实施例中，根据计算机处理装置L3记录下激光笔模型尾端的三维位姿坐标点mx、my和mz，以及标记物刚体质心与坐标系之间的夹角角度x、y和z，利用该组信息通过离线方式生成实体工业机器人作业的可执行代码，通过无线或有线网络将上述可执行代码传输到实体工业机器人的控制器之中，进一步控制真实机械臂的运动方向；其中，计算机处理装置L2记录的内容均记录在寄存器之中。
所述终端显示装置L5，用于对示教器的运动轨迹进行显示。本实施例中考虑在平板电脑中，对示教器的运动轨迹进行高亮显示；其中，在平板电脑中，利用OPENGL软件制作虚拟机械臂，根据接收到的示教器三维位姿数据，将虚拟机械臂与所述真实机械臂进行虚实融合，使得操作员从显示终端中，更直观的从平板电脑上看到真实机械臂的实际工作情况；
在对示教器的运动轨迹进行高显示前，需对显示终端的摄像头的坐标位置进行标定；并将标定后的摄像头坐标位置与示教器的三维位姿坐标位置进行统一。
请参考图2，其为实现机器人示教的方法流程图，其中，具体包括以下步骤：
S1、示教器模拟激光笔工作，设有的6个摄像头开始对示教器的运动轨迹进行捕捉；
S2、每个摄像头捕捉到示教器上的反光球体，进一步识别标志物刚体的运动轨迹；
S3、摄像头将识别到的标志物刚体质心的三维位姿坐标传入计算机中，在计算机中通过三维渲染显示系统软件，计算激光笔模型端点的三维位姿坐标，并传入平板电脑；
S4、对平板电脑的相机进行坐标标定，获取相机内参数A和失真系数B，根据参数A和B计算出相机的旋转矩阵和平移矩阵，并进一步用OpenGL进行来渲染三维物体；将已进行过相机标定的平板电脑，与激光笔模型的三维位姿坐标进行统一；其中，坐标统一的效果为：将虚拟机械臂，以及示教器的运动轨迹叠加到相机图像下，实现增强现实显示；
S5、利用SIFT算法对真实机械臂进行识别和定位；其中，使用SIFT算法进行识别，根据识别出来的原目标和帧图像匹配关系得到变化矩阵，来显示三维物体，具体为使用OpenGL来绘制；
S6、在平板电脑中，使用OpenGL工具制作虚拟机械臂，根据步骤S5得到的定位信息，将所述虚拟机械臂定位到所述真实机械臂的一侧；驱动虚拟机械臂跟随示教器末端的激光笔模型进行运动，当前操作员即可从显示终端中，观察到真实机械臂的实际工作情况。
请参考图3，其为操作对象结构图，具体在实施过程中，所述操作对象为各种实际待焊接器件，将操作对象放置在操作台，本实施例中，采用的操作台的长为200cm，宽为100cm，以及高为100cm，进一步通过示教器进行激光焊接；其中，操作台即是现实中的焊接平台，在进行示教之前，需要读取焊接平台的实际尺寸，进而根据该尺寸在计算机处理装置L3中对虚拟焊接激光笔进行轨迹范围的限制，以防止计算机处理装置L3中的虚拟激光笔出现越界的现象；所述待焊接器件在进行具体实施过程中，需对其反光部分进行涂黑，或者遮挡等处理，防止影响摄像头对激光笔模型进行轨迹坐标获取。
本实用新型针对现有项目进行现场引导布局时，其中，操作对象及待焊接器件为T型待加工工件。
请参考图4，其为示教器结构图，其中，所述示教器模型由5个部分组成；其中，4.1为总开关；4.2为示教工作开关；4.3为标志物延伸杆；4.4为标志物；4.5为激光笔模型。为了保证示教器可以被动作捕捉系统随时从各个角度捕捉到，本实用新型将在示教器的中部添加标志物，并对标志物进行了延伸处理，以在复杂工业环境中仍可以被动作捕捉系统的摄像头拍摄到。
请参考图5，其为多台摄像机的空间结构设置图，其中，多台摄像机的搭建空间为5.5×3m，捕获空间为5×3m，在上述的空间结构设置下，本装置可以同时捕捉到五个标志物刚体。
上面结合附图对本实用新型的实施例进行了描述，但是本实用新型并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实用新型的启示下，在不脱离本实用新型宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本实用新型的保护之内。
Claims (6)
1.一种基于增强现实技术的机器人示教装置，包括设于示教台上的真实机器臂和示教器，以及用于捕捉并传输示教器运动轨迹数据的若干台摄像机；其特征在于，所述机器人示教装置还包括依次连接的计算机处理装置和终端显示装置；其中：
所述示教器上设有若干个标志物和设于示教器尾端的示教操作模型；其中，所述标志物，用于标识示教器，使得示教器在运动的过程中，能够被所述动作捕捉装置捕捉到；
所述计算机处理装置连接到每台摄像机上，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标位置；其中经过处理后的数据会进一步传输到终端显示装置；
所述终端显示装置，用于制作虚拟机械臂，并根据接收到的数据，将所述虚拟机械臂与真实机械臂进行虚实融合，通过所述虚拟机械臂对示教器的运动轨迹进行显示。
2.根据权利要求1所述的机器人示教装置，其特征在于，所述若干个标志物构成一个标志物刚体，摄像机在工作时，对所述标志物刚体质心的三维坐标点进行捕捉，根据捕捉到的数据，进一步计算得到示教器的三维位姿坐标点。
3.根据权利要求2所述的机器人示教装置，其特征在于，所述标志物设为反光的球体，通过所述反光的球体来标识示教器，使得示教器在运动的过程中，能够被摄像机捕捉到。
4.根据权利要求1所述的机器人示教装置，其特征在于，在计算机处理装置中采用三维渲染显示系统软件，对每台摄像机传来的数据进行处理，并将处理后的数据传输到终端显示装置中。
5.根据权利要求1所述的机器人示教装置，其特征在于，终端显示装置为带有摄像头的显示终端。
6.根据权利要求5所述的机器人示教装置，其特征在于，终端显示装置为平板电脑、笔记本电脑或台式计算机，通过所述终端显示装置对示教器的运动轨迹进行高亮显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201920641265.8U CN210361314U (zh) | 2019-05-07 | 2019-05-07 | 一种基于增强现实技术的机器人示教装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201920641265.8U CN210361314U (zh) | 2019-05-07 | 2019-05-07 | 一种基于增强现实技术的机器人示教装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210361314U true CN210361314U (zh) | 2020-04-21 |
Family
ID=70259316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201920641265.8U Expired - Fee Related CN210361314U (zh) | 2019-05-07 | 2019-05-07 | 一种基于增强现实技术的机器人示教装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210361314U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111843997A (zh) * | 2020-07-29 | 2020-10-30 | 上海大学 | 一种机械臂手持通用示教系统及其操作方法 |
| CN111974568A (zh) * | 2020-04-22 | 2020-11-24 | 杭州国辰机器人科技有限公司 | 一种基于智能示教技术的喷粉示教枪 |
| JP7176148B1 (ja) | 2021-09-24 | 2022-11-21 | 株式会社ダイヘン | 溶接線検出システム |
-
2019
- 2019-05-07 CN CN201920641265.8U patent/CN210361314U/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111974568A (zh) * | 2020-04-22 | 2020-11-24 | 杭州国辰机器人科技有限公司 | 一种基于智能示教技术的喷粉示教枪 |
| CN111843997A (zh) * | 2020-07-29 | 2020-10-30 | 上海大学 | 一种机械臂手持通用示教系统及其操作方法 |
| JP7176148B1 (ja) | 2021-09-24 | 2022-11-21 | 株式会社ダイヘン | 溶接線検出システム |
| JP2023047279A (ja) * | 2021-09-24 | 2023-04-05 | 株式会社ダイヘン | 溶接線検出システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
| AU2020201554B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
| JP6551184B2 (ja) | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム | |
| CN110142770B (zh) | 一种基于头戴显示装置的机器人示教系统及方法 | |
| US7236854B2 (en) | Method and a system for programming an industrial robot | |
| JP4817603B2 (ja) | 工業ロボットをプログラミングするための方法およびシステム | |
| CN107160364B (zh) | 一种基于机器视觉的工业机器人示教系统及方法 | |
| CN110370314B (zh) | 基于多激光跟踪仪的双臂机器人性能测量方法 | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| CN102848389B (zh) | 基于视觉运动捕捉的机械臂标定及跟踪系统实现方法 | |
| JP6723738B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112171661A (zh) | 一种基于视觉信息融合的机械臂抓取目标物体方法 | |
| CN109313417A (zh) | 帮助机器人定位 | |
| Pan et al. | Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device | |
| CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
| CN110125944B (zh) | 一种机械臂示教系统和方法 | |
| JP2019188477A (ja) | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 | |
| JP2010042466A (ja) | ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法 | |
| Kohn et al. | Towards a real-time environment reconstruction for VR-based teleoperation through model segmentation | |
| Manou et al. | Off-line programming of an industrial robot in a virtual reality environment | |
| Gong et al. | Projection-based augmented reality interface for robot grasping tasks | |
| Wang et al. | A virtual end-effector pointing system in point-and-direct robotics for inspection of surface flaws using a neural network based skeleton transform | |
| CN113246131B (zh) | 运动捕捉方法、装置、电子设备以及机械臂控制系统 | |
| CN112958974A (zh) | 一种基于三维视觉的可交互自动化焊接系统 | |
| CN113597362B (zh) | 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200421 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |