CN112454363A - 一种用于焊接操作的ar辅助机器人的控制方法 - Google Patents
一种用于焊接操作的ar辅助机器人的控制方法 Download PDFInfo
- Publication number
- CN112454363A CN112454363A CN202011332863.0A CN202011332863A CN112454363A CN 112454363 A CN112454363 A CN 112454363A CN 202011332863 A CN202011332863 A CN 202011332863A CN 112454363 A CN112454363 A CN 112454363A
- Authority
- CN
- China
- Prior art keywords
- robot
- path
- user
- pointer
- virtual robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003466 welding Methods 0.000 title claims abstract description 16
- 239000012636 effector Substances 0.000 claims description 6
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 3
- 229910052782 aluminium Inorganic materials 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
Abstract
本发明公开了一种用于焊接操作的AR辅助机器人的控制方法，属于焊接机器人领域。本发明包括：1、利用无线手持式指针供用户定义机器人工作区中的路径和任务；2、用户定义关键路径；3、AR场景里设置虚拟机器人，设置虚拟机器人覆盖在工作空间中的真实机器人上，实时显示计划中的特定任务机器人的运动参数；沿路径指向虚拟机器人手臂，虚拟机器人手臂跟随手持指针，并使用逆运动学求解器计算虚拟机器人手臂的链接的相应姿态。本发明克服现有技术中焊接领域AR辅助技术应用仍有不足的现状，具有AR用户界面和手持指针进行交互，用户可以在工作单元内自由移动，以真正的定义机器人跟随三维点和路径，可以快速和直观地定义机器人路径。
Description
技术领域
本发明涉及焊接机器人技术领域，更具体地说，涉及一种用于焊接操作的AR辅助机器人的控制方法。
背景技术
机器人由于其多功能性和可重复性，在高混合低批量制造中非常重要的执行制造任务。然而，由于编程繁琐，机器人并没有得到广泛的应用。操作工缺乏技能是阻碍机器人广泛应用的一个重要因素，机器人编程和再编程执行不同任务的必备技能造成中型企业(SME)的高成本。用在焊接领域，要求每个用户定义通过在工件上选择一条边来确定机器人手臂的焊接路径进行焊接。对于每个用户定义的任务，都会模拟机器人运动并通过AR界面进行增强，以便用户可以可视化编程的任务。目前行业内针对该领域仍缺乏有效的控制方法。
经检索，中国专利申请号：2017105600119，发明创造名称为：一种基于视觉辅助定位的机器人自标定方法，该申请案首先建立D-H法与MD-H法相结合的机器人运动学模型，其次建立机器人末端位置误差模型，然后建立基于平面约束的机器人连杆参数误差模型，通过双目视觉获取约束平面在左右相机中的图像并提取单幅图像中的目标点信息，通过立体匹配定位约束平面在机器人基坐标系下的三维位置信息，将该位置信息输入给机器人控制系统，驱动机器人对约束平面进行测量，最终将测量得到的数据代入平面约束误差模型，辨识出机器人真实的几何连杆参数，修正后重复测量约束平面并辨识，直到达到精度要求，具有高效率。该申请案并不涉及焊接领域AR辅助技术。
发明内容
1.发明要解决的技术问题
本发明的目的在于克服现有技术中焊接领域AR辅助技术应用仍有不足的现状，拟提供一种用于焊接操作的AR辅助机器人的控制方法，具有AR用户界面和手持指针进行交互，用户可以在工作单元内自由移动，以真正的定义机器人跟随三维点和路径，可以快速和直观地定义机器人路径。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的一种用于焊接操作的AR辅助机器人的控制方法，包括以下步骤：
S101、利用无线手持式指针供用户定义机器人工作区中的路径和任务；
S102、用户定义关键路径，通孔路径从机器人的起始位置到第一个用户定义的路径以及用户定义的路径之间的路径通过系统自动生成；
S103、AR场景里设置虚拟机器人，设置虚拟机器人覆盖在工作空间中的真实机器人上，实时显示计划中的特定任务机器人的运动参数；沿路径指向虚拟机器人手臂，虚拟机器人手臂跟随手持指针，并使用逆运动学求解器计算虚拟机器人手臂的链接的相应姿态；虚拟机器人不会通过不可到达的路径跟随手持式指针。
更进一步地，步骤S101中具体指：通过将无线鼠标连接到类似于机器人末端执行器的铝棒，红外反射标记附着在手持式指示器上，使运动捕捉系统可以对其进行跟踪。
更进一步地，步骤S102中具体包括：用户按下手持设备上的按钮指针并沿着所需路径移动指针，点在使用系统添加沿该路径的规则间隔以形成路径；该点基于指针在其上移动时的每个姿势沿路径指向；较小的间隔长度将导致更大的间隔系统沿路径放置的点数，间隔长度是可以设置的参数由用户根据应用程序的要求手动进行。
3.有益效果
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
(1)本发明的一种用于焊接操作的AR辅助机器人的控制方法，旨在简化和加速机器人任务编程，并增强用户交互，从而使机器人编程过程尽可能直观，利用AR将用户界面投影到实际工作空间中，允许用户直接与工作空间进行交互，AR场景由覆盖实体的图形增强组成工作区，并有助于用户可视化正在进行的任务计划、任务指标和机器人运动。
附图说明
图1为本发明中AR辅助机器人系统的体系结构示意图。
具体实施方式
为进一步了解本发明的内容，结合附图对本发明作详细描述。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
下面结合实施例对本发明作进一步的描述。
实施例1
本实施例应用了一种增强现实AR辅助机器人编程系统ARRPS，提供比传统技术更快、更直观的机器人编程。ARRPS是设计为允许具有少量机器人编程知识的用户为串行机器人编程任务。系统将串行工业机器人的工作单元转换为AR环境。具有AR用户界面和手持指针进行交互，用户可以在工作单元内自由移动，以真正的定义机器人跟随三维点和路径。传感器数据和算法用于机器人运动规划、碰撞检测和计划验证。本实施例所提出的方法可以快速和直观的定义机器人路径和完成任务编程，以及允许用户只关注任务的定义。本实施例中的AR辅助机器人系统的实现，是提出了在机器人编程中提高用户性能的具体方法，突出显示使用此系统。
具体地，本实施例的一种用于焊接操作的AR辅助机器人的控制方法，具体实现过程包括以下步骤：
S101、利用无线手持式指针供用户定义机器人工作区中的路径和任务；
通过将无线鼠标连接到类似于机器人末端执行器的铝棒，红外反射标记附着在手持式指示器上，使运动捕捉系统可以对其进行跟踪。
S102、用户定义关键路径，通孔路径从机器人的起始位置到第一个用户定义的路径以及用户定义的路径之间的路径通过系统自动生成；
用户可以按下手持设备上的按钮指针并沿着所需路径移动指针，点在使用系统添加沿该路径的规则间隔以形成路径；该点基于指针在其上移动时的每个姿势沿路径指向；较小的间隔长度将导致更大的间隔系统沿路径放置的点数，间隔长度是可以设置的参数，由用户根据应用程序的要求手动进行。
应用基于视觉的工作空间重构方法，生成完整的机器人运动计划，以执行所有准确、快速、安全地完成任务。自动生成应用参数需要特定的机器人任务计划算法和专家数据库来插入系统。
ARRPS系统集成了HMD和手持式指针，用于机器人运动计划；它由运动跟踪和环境重建技术组成。HMD已连接到执行ARRPS软件的笔记本电脑或PC。ARRPS软件的功能是在HMD上渲染和显示AR场景，并通过手持式指针在工作区中跟踪用户交互。该系统包括机器人运动计划提供计算逆运动学函数的模块机器人，为机器人定义生成无碰撞运动计划路径。
S103、AR场景里设置虚拟机器人，设置虚拟机器人覆盖在工作空间中的真实机器人上，实时显示计划中的特定任务机器人的运动参数；沿路径指向虚拟机器人手臂，虚拟机器人手臂跟随手持指针，并使用逆运动学求解器计算虚拟机器人手臂的链接的相应姿态；虚拟机器人不会通过不可到达的路径跟随手持式指针。使用KDL生成所有可能的机器人关节配置中，选择与机器人当前姿势最相似的关节计算角度并立即将其应用于虚拟机器人。计算并渲染虚拟机器人手臂的可操作性指标到虚拟末端执行器。
AR辅助机器人编程系统的体系结构具体如图1所示。
本实施例中使用光学运动捕捉系统Optitrack通过手持式指针跟踪用户输入。使用Kinect2传感器进行重建和跟踪。Kinect2传感器连接到机器人运动计划模块。机器人运动计划模块使用Kinect2中的点云数据生成无碰撞的机器人运动计划。HMD和Kinect2上的摄像头是通过基准获得在ARRPS软件中实现的标记跟踪算法以及机器人运动计划模块。
标记Optitrack坐标系已注册到机器人坐标系。末端执行器相对于机器人的坐标系可以直接从机器人控制器获取，将虚拟机器人的末端执行器移动到四个角，可以获得从机器人到基准标记的转换。机器人运动计划模块的输入是任务用户通过AR接口定义的参数，模块根据这些参数生成相应的机器人运动，在虚拟机器人上模拟并在真实机器人上执行。
OMPL提供基于采样的运动计划算法无碰撞运动计划。通过将OMPL与运动计划集成来达到目的，ARRPS允许用户为机器人提供目标点，而无需必须手动确保到达目标点的路径是无碰撞。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (3)
1.一种用于焊接操作的AR辅助机器人的控制方法，其特征在于：包括以下步骤：
S101、利用无线手持式指针供用户定义机器人工作区中的路径和任务；
S102、用户定义关键路径，通孔路径从机器人的起始位置到第一个用户定义的路径以及用户定义的路径之间的路径通过系统自动生成；
S103、AR场景里设置虚拟机器人，设置虚拟机器人覆盖在工作空间中的真实机器人上，实时显示计划中的特定任务机器人的运动参数；沿路径指向虚拟机器人手臂，虚拟机器人手臂跟随手持指针，并使用逆运动学求解器计算虚拟机器人手臂的链接的相应姿态；虚拟机器人不会通过不可到达的路径跟随手持式指针。
2.根据权利要求1所述的一种用于焊接操作的AR辅助机器人的控制方法，其特征在于：步骤S101中具体指：通过将无线鼠标连接到类似于机器人末端执行器的铝棒，红外反射标记附着在手持式指示器上，使运动捕捉系统可以对其进行跟踪。
3.根据权利要求1所述的一种用于焊接操作的AR辅助机器人的控制方法，其特征在于：步骤S102中具体包括：用户按下手持设备上的按钮指针并沿着所需路径移动指针，点在使用系统添加沿该路径的规则间隔以形成路径；该点基于指针在其上移动时的每个姿势沿路径指向；较小的间隔长度将导致更大的间隔系统沿路径放置的点数，间隔长度是可以设置的参数由用户根据应用程序的要求手动进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011332863.0A CN112454363A (zh) | 2020-11-25 | 2020-11-25 | 一种用于焊接操作的ar辅助机器人的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011332863.0A CN112454363A (zh) | 2020-11-25 | 2020-11-25 | 一种用于焊接操作的ar辅助机器人的控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112454363A true CN112454363A (zh) | 2021-03-09 |
Family
ID=74798953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011332863.0A Pending CN112454363A (zh) | 2020-11-25 | 2020-11-25 | 一种用于焊接操作的ar辅助机器人的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112454363A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023242147A1 (de) * | 2022-06-14 | 2023-12-21 | Fronius International Gmbh | Schweissschulungsanordnung zur durchführung eines virtuellen handschweissvorganges |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程系统及方法 |
| CN108161882A (zh) * | 2017-12-08 | 2018-06-15 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
| CN108481323A (zh) * | 2018-03-14 | 2018-09-04 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程系统及方法 |
| US20190160662A1 (en) * | 2017-11-24 | 2019-05-30 | Fanuc Corporation | Teaching device for performing robot teaching operations and teaching method |
| CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
| CN110405775A (zh) * | 2019-05-07 | 2019-11-05 | 中国地质大学（武汉） | 一种基于增强现实技术的机器人示教系统及方法 |
-
2020
- 2020-11-25 CN CN202011332863.0A patent/CN112454363A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程系统及方法 |
| US20190160662A1 (en) * | 2017-11-24 | 2019-05-30 | Fanuc Corporation | Teaching device for performing robot teaching operations and teaching method |
| CN108161882A (zh) * | 2017-12-08 | 2018-06-15 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
| CN108481323A (zh) * | 2018-03-14 | 2018-09-04 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程系统及方法 |
| CN110405775A (zh) * | 2019-05-07 | 2019-11-05 | 中国地质大学（武汉） | 一种基于增强现实技术的机器人示教系统及方法 |
| CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 何汉武: "《增强现实交互方法与实现》", 31 December 2018, 华中科技大学出版社 * |
| 司占军: "《数字出版》", 31 July 2020, 中国轻工业出版社 * |
| 张燕翔: "《新媒体科普概论》", 31 May 2020, 中国科学技术出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023242147A1 (de) * | 2022-06-14 | 2023-12-21 | Fronius International Gmbh | Schweissschulungsanordnung zur durchführung eines virtuellen handschweissvorganges |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
| US11440179B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
| CN112122840B (zh) | 一种基于机器人焊接的视觉定位焊接系统及焊接方法 | |
| US11724388B2 (en) | Robot controller and display device using augmented reality and mixed reality | |
| EP1629366B1 (en) | Single camera system for gesture-based input and target indication | |
| Zaeh et al. | Interactive laser-projection for programming industrial robots | |
| US20030120391A1 (en) | Robot operation teaching method and apparatus | |
| KR102001214B1 (ko) | 가상 현실 기반 양팔로봇 교시 장치 및 방법 | |
| CN111459274B (zh) | 一种基于5g+ ar的针对非结构化环境的遥操作方法 | |
| US11833697B2 (en) | Method of programming an industrial robot | |
| CN113664835B (zh) | 机器人自动手眼标定方法与系统 | |
| Ong et al. | AR-assisted robot welding programming | |
| Fang et al. | Robot path and end-effector orientation planning using augmented reality | |
| CN114474041A (zh) | 一种基于协作机器人的焊接自动化智能引导方法及系统 | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| CN112454363A (zh) | 一种用于焊接操作的ar辅助机器人的控制方法 | |
| CN112958974A (zh) | 一种基于三维视觉的可交互自动化焊接系统 | |
| JP7190552B1 (ja) | ロボット教示システム | |
| WO2023102647A1 (en) | Method for automated 3d part localization and adjustment of robot end-effectors | |
| JP6343930B2 (ja) | ロボットシステム、ロボット制御装置、及びロボット制御方法 | |
| CN117600697B (zh) | 一种基于末端偏移量的焊接定位控制方法及相关装置 | |
| CN115284297B (zh) | 工件定位方法、机器人及机器人作业方法 | |
| CN114800574B (zh) | 一种基于双三维相机的机器人自动化焊接系统及方法 | |
| Wang et al. | Augmented reality-based accurate teaching system and method for industrial robots | |
| US20220226982A1 (en) | Method Of Creating Control Program For Robot, System Executing Processing Of Creating Control Program For Robot, And Non-Transitory Computer-Readable Storage Medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210309 |
|
| RJ01 | Rejection of invention patent application after publication |