CN112936261B - 一种基于增强现实技术的工业机器人现场仿真系统与方法 - Google Patents

一种基于增强现实技术的工业机器人现场仿真系统与方法 Download PDF

Info

Publication number
CN112936261B
CN112936261B CN202110109324.9A CN202110109324A CN112936261B CN 112936261 B CN112936261 B CN 112936261B CN 202110109324 A CN202110109324 A CN 202110109324A CN 112936261 B CN112936261 B CN 112936261B
Authority
CN
China
Prior art keywords
robot
virtual
augmented reality
reality glasses
industrial robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110109324.9A
Other languages
English (en)
Other versions
CN112936261A (zh
Inventor
胡俊山
王忠康
郗凯卓
田威
廖文和
李波
石翰斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110109324.9A priority Critical patent/CN112936261B/zh
Publication of CN112936261A publication Critical patent/CN112936261A/zh
Application granted granted Critical
Publication of CN112936261B publication Critical patent/CN112936261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种基于增强现实技术的工业机器人现场仿真系统与方法，系统包括实体工业机器人、二维码、Hololens增强现实眼镜和控制器；所述控制器控制Hololens增强现实眼镜识别二维码，在Hololens增强现实眼镜中实现虚拟机器人与实体机器人位姿重合；Hololens增强现实眼镜根据控制器命令驱动实体工业机器人移动，从而获取其移动区域环境信息并进行碰撞检测。本发明节省不必要的时间与财力，对工业现场加工任务仿真具有极强的指导意义。

Description

一种基于增强现实技术的工业机器人现场仿真系统与方法
技术领域
本发明属于工业机器人技术领域，具体涉及一种基于增强现实技术的工业机器人现场仿真系统与方法。
背景技术
工业机器人是集机械、电子、控制、计算机、传感器与人工智能等多种先进技术于一体的自动化装备，广泛应用于柔性制造系统，自动化工厂，智能工厂等重点发展领域。在机器人编程系统中，离线编程是其主流编程方法，即根据计算机图形学，为机器人与其工作环境建立起理想的几何模型，在离线时操控图形并规划轨迹。最后，利用三维图形动画仿真编程结果，检验编程结果是否正确，然后将获得的代码传到机器人控制柜，进而实现操控机器人的运动。
然而，由于离线编程是在理想的环境下进行的，并且大部分离线编程系统只针对加工点进行了规划并生成NC代码，而弱化了对周围环境的碰撞干涉感知，导致在实际加工情况下，理想环境下生成的NC代码会使机器人与周围环境中的工装等发生干涉碰撞，无法直接应用与机器人控制系统，必须根据工作现场实际情况进行仿真与一定程度的修改。
传统的工作现场仿真方法包括实际运行NC代码，必要时急停，以及通过Delmia软件在理想环境下进行仿真，这些仿真方法有极大可能损坏工件与工装，或者仿真后也不能百分百的保证NC代码的安全性，因此传统的仿真方法无法有效的修正NC代码错误，并减少工业现场由于干涉导致的工件，工装或机器人的损坏情况；
增强现实(Augmented Reality,简称AR)是指透过摄像机影像的位置及角度计算，并加上图像分析技术，使得虚拟世界叠加在真实世界之上，允许用户在真实世界中对虚拟世界进行交互的技术，增强现实能够在真实世界对虚拟物体进行操作的这一特点，能够弥补传统离线编程仿真方法的短板。由于增强现实本身处于现实世界，所以能够真实的反应工业现场实际特点。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于增强现实技术的工业机器人现场仿真系统与方法，能够在真实的环境中对离线编程生成的NC代码进行仿真分析，通过三维跟踪注册、同时定位与地图构建以及碰撞检测算法，真实的对工业机器人进行仿真，有效保证NC代码的安全性与可行性。
为实现上述技术目的，本发明采取的技术方案为：
一种基于增强现实技术的工业机器人现场仿真系统，包括实体工业机器人、二维码、Hololens增强现实眼镜和控制器；
所述控制器控制Hololens增强现实眼镜识别二维码，在Hololens增强现实眼镜中实现虚拟机器人与实体机器人位姿重合；
Hololens增强现实眼镜根据控制器命令驱动实体工业机器人移动，从而获取其移动区域环境信息并进行碰撞检测。
为优化上述技术方案，采取的具体措施还包括：
上述的Hololens增强现实眼镜包括基于标志物的三维跟踪注册模块，将二维码信息输入基于标志物的三维跟踪注册模块，利用二维码信息与实体机器人位姿的现实粘贴关系，将虚拟机器人位姿与实体工业机器人位姿重合，并显示在增强现实眼镜中。
上述的Hololens增强现实眼镜通过眼镜自带的SLAM算法对眼镜周围环境进行实时感知，并在虚拟空间内生成点云地图，实现真实环境到虚拟点云的转变。
上述的Hololens增强现实眼镜包括虚拟机器人模型上带有虚拟二维码。
上述的控制器编辑与存储NC代码，并通过有线连接或者TCP/IP无线连接或者借助第三方媒介的方式与Hololens增强现实眼镜通信。
上述的Hololens增强现实眼镜包括NC代码解析模块，将控制器的NC代码文件转换为特定的用于驱动虚拟机器人各关节运动的命令，实现虚拟机器人按照NC代码规定的运动，实现仿真功能。
上述的二维码为QR码制二维码。
上述的控制器为笔记本电脑、手机或微控制器。
一种基于增强现实技术的工业机器人现场仿真方法，所述方法包括：
a)在实体工业机器人基座或与机器人刚性固连的工装上粘贴二维码；
b)现场工人在控制器上编辑NC代码后，将NC代码传输至Hololens增强现实眼镜；
c)人工佩戴Hololens增强现实眼镜并在机器人加工区域走动，使得Hololens增强现实眼镜的相机能够捕获到周围环境并生成点云；
d)Hololens增强现实眼镜读取识别二维码获取实体工业机器人特征信息；
e)将步骤d)中获取的特征信息输入基于标志物的三维跟踪注册模块中，将二维码特征信息与虚拟机器人模型上的虚拟二维码做匹配，得到虚拟二维码与真实二维码之间的转换矩阵，将转换矩阵应用到虚拟机器人，实现虚拟机器人与实体工业机器人位姿完全重合；
f)Hololens增强现实眼镜通过NC代码解析模块将NC代码转换为驱动虚拟机器人的命令语言；
g)根据驱动虚拟机器人的命令语言，驱动虚拟机器人运动；
h)在虚拟机器人运动期间，将步骤c)中生成的环境点云与虚拟机器人不间断地做碰撞检测，即：
将虚拟机器人与虚拟空间内的机器人周围环境点云不间断地做碰撞检测，利用虚拟与虚拟之间的碰撞检测，实现真实环境与虚拟机器人之间的虚实碰撞检测；
i)步骤h)中若发生碰撞，虚拟机器人的碰撞区域与周围环境点云的被撞区域出现警告标志与颜色改变，提醒工人导入的NC代码与工业现场环境有干涉，需要重新修改；
j)步骤h)中若不发生碰撞，虚拟机器人将NC代码的所有命令执行完毕后，系统通过文本方式告知工人，代入的NC代码实际仿真没有问题，可以直接应用于实际。
本发明具有以下有益效果：
本发明系统与方法可以有效降低工业现场工人的NC代码调试时间，修正NC代码的错误，弥补传统离线编程过程中由于理想环境导致的干涉问题，减少工业现场由于干涉导致的工件，工装或机器人的损坏，节省不必要的时间与财力，对工业现场加工任务仿真具有极强的指导意义。
附图说明
图1为本发明中系统构成图；
图2为本发明中方法流程图；
1、Hololens增强现实眼镜，2、控制器，3、无线连接，4、二维码，5、障碍物，6、虚拟机器人，7、实体工业机器人。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1，本发明的一种基于增强现实技术的工业机器人现场仿真系统，包括实体工业机器人7、二维码4、Hololens增强现实眼镜1和控制器2；
所述控制器2控制Hololens增强现实眼镜1识别二维码4，在Hololens增强现实眼镜1中实现虚拟机器人6与实体机器人位姿重合；
Hololens增强现实眼镜1根据控制器2命令驱动实体工业机器人7移动，从而获取其移动区域环境信息并进行碰撞检测。
图1中障碍物5为机器人加工过程需要避免干涉的物体。
实施例中，所述Hololens增强现实眼镜1包括基于标志物的三维跟踪注册模块，将二维码4信息输入基于标志物的三维跟踪注册模块，利用二维码4信息与实体机器人位姿的现实粘贴关系，将虚拟机器人6位姿与实体工业机器人7位姿重合，并显示在增强现实眼镜中。
实施例中，所述Hololens增强现实眼镜1通过眼镜自带的SLAM算法对眼镜周围环境进行实时感知，并在虚拟空间内生成点云地图，实现真实环境到虚拟点云的转变。
实施例中，所述Hololens增强现实眼镜1包括虚拟机器人6模型上带有虚拟二维码。
实施例中，所述控制器2编辑与存储NC代码，并通过有线连接或者TCP/IP无线连接或者借助第三方媒介的方式与Hololens增强现实眼镜1通信。
实施例中，所述Hololens增强现实眼镜1包括NC代码解析模块，将控制器2的NC代码文件转换为特定的用于驱动虚拟机器人6各关节运动的命令，实现虚拟机器人6按照NC代码规定的速度，位置等关键要素运动，实现仿真功能。
实施例中，所述二维码4为QR码制二维码。
实施例中，所述控制器2为笔记本电脑、手机或微控制器2。
参见图2，本发明的一种基于增强现实技术的工业机器人现场仿真方法，所述方法包括：
a)在实体工业机器人7基座或与机器人刚性固连的工装上粘贴二维码4；
b)现场工人在控制器2上编辑NC代码后，将NC代码传输至Hololens增强现实眼镜1；
c)人工佩戴Hololens增强现实眼镜1并在机器人加工区域走动，使得Hololens增强现实眼镜1的相机能够捕获到周围环境并生成点云；
d)Hololens增强现实眼镜1读取识别二维码4获取实体工业机器人7特征信息；
e)将步骤d)中获取的特征信息输入基于标志物的三维跟踪注册模块中，将二维码特征信息与虚拟机器人模型上的虚拟二维码做匹配，得到虚拟二维码与真实二维码之间的转换矩阵，将转换矩阵应用到虚拟机器人，实现虚拟机器人6与实体工业机器人7位姿完全重合；
f)Hololens增强现实眼镜1通过NC代码解析模块将NC代码转换为驱动虚拟机器人6的命令语言；
g)根据驱动虚拟机器人6的命令语言，驱动虚拟机器人6运动；
h)在虚拟机器人6运动期间，将步骤c)中生成的环境点云与虚拟机器人6不间断地做碰撞检测，即：
将虚拟机器人6与虚拟空间内的机器人周围环境点云不间断地做碰撞检测，利用虚拟与虚拟之间的碰撞检测，实现真实环境与虚拟机器人6之间的虚实碰撞检测；
i)步骤h)中若发生碰撞，虚拟机器人6的碰撞区域与周围环境点云的被撞区域出现警告标志与颜色改变，提醒工人导入的NC代码与工业现场环境有干涉，需要重新修改；
j)步骤h)中若不发生碰撞，虚拟机器人6将NC代码的所有命令执行完毕后，系统通过文本方式告知工人，代入的NC代码实际仿真没有问题，可以直接应用于实际。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种基于增强现实技术的工业机器人现场仿真系统的工业机器人现场仿真方法，其特征在于，所述工业机器人现场仿真系统包括实体工业机器人、二维码、Hololens增强现实眼镜和控制器；
所述控制器控制Hololens增强现实眼镜识别二维码，在Hololens增强现实眼镜中实现虚拟机器人与实体机器人位姿重合；
Hololens增强现实眼镜根据控制器命令驱动虚拟机器人运动，从而获取其移动区域环境信息并进行碰撞检测；
所述工业机器人现场仿真方法包括以下步骤：
a)在实体工业机器人基座或与实体工业机器人刚性固连的工装上粘贴二维码；
b)现场工人在控制器上编辑NC代码后，将NC代码传输至Hololens增强现实眼镜；
c)人工佩戴Hololens增强现实眼镜并在机器人加工区域走动，使得Hololens增强现实眼镜的相机能够捕获到周围环境并生成点云；
d)Hololens增强现实眼镜读取识别二维码获取实体工业机器人特征信息；
e)将步骤d)中获取的特征信息输入基于标志物的三维跟踪注册模块中，将二维码特征信息与虚拟机器人模型上的虚拟二维码做匹配，得到虚拟二维码与真实二维码之间的转换矩阵，将转换矩阵应用到虚拟机器人，实现虚拟机器人与实体工业机器人位姿完全重合；
f)Hololens增强现实眼镜通过NC代码解析模块将NC代码转换为驱动虚拟机器人的命令语言；
g)根据驱动虚拟机器人的命令语言，驱动虚拟机器人运动；
h)在虚拟机器人运动期间，将步骤c)中生成的环境点云与虚拟机器人不间断地做碰撞检测，即：
将虚拟机器人与虚拟空间内的机器人周围环境点云不间断地做碰撞检测，利用虚拟机器人与虚拟空间内的机器人周围环境点云之间的碰撞检测，实现真实环境与虚拟机器人之间的虚实碰撞检测；
i)步骤h)中若发生碰撞，虚拟机器人的碰撞区域与周围环境点云的被撞区域出现警告标志与颜色改变，提醒工人导入的NC代码与工业现场环境有干涉，需要重新修改；
j)步骤h)中若不发生碰撞，虚拟机器人将NC代码的所有命令执行完毕后，系统通过文本方式告知工人，代入的NC代码实际仿真没有问题，可以直接应用于实际。
2.根据权利要求1所述的工业机器人现场仿真方法，其特征在于，所述Hololens增强现实眼镜包括基于标志物的三维跟踪注册模块，将二维码信息输入基于标志物的三维跟踪注册模块，利用二维码信息与实体工业机器人位姿的现实粘贴关系，将虚拟机器人位姿与实体工业机器人位姿重合，并显示在增强现实眼镜中。
3.根据权利要求1所述的工业机器人现场仿真方法，其特征在于，所述Hololens增强现实眼镜通过眼镜自带的SLAM算法对眼镜周围环境进行实时感知，并在虚拟空间内生成点云地图，实现真实环境到虚拟点云的转变。
4.根据权利要求1所述的工业机器人现场仿真方法，其特征在于，所述Hololens增强现实眼镜包括虚拟机器人模型上带有虚拟二维码。
5.根据权利要求1所述的工业机器人现场仿真方法，其特征在于，所述控制器编辑与存储NC代码，并通过有线连接或者TCP/IP无线连接或者借助第三方媒介的方式与Hololens增强现实眼镜通信。
6.根据权利要求5所述的工业机器人现场仿真方法，其特征在于，所述Hololens增强现实眼镜包括NC代码解析模块，将控制器的NC代码文件转换为特定的用于驱动虚拟机器人各关节运动的命令，实现虚拟机器人按照NC代码规定的运动，实现仿真功能。
7.根据权利要求1所述的工业机器人现场仿真方法，其特征在于，所述二维码为QR码制二维码。
8.根据权利要求1所述的工业机器人现场仿真方法，其特征在于，所述控制器为笔记本电脑、手机或微控制器。
CN202110109324.9A 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人现场仿真系统与方法 Active CN112936261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110109324.9A CN112936261B (zh) 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人现场仿真系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110109324.9A CN112936261B (zh) 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人现场仿真系统与方法

Publications (2)

Publication Number Publication Date
CN112936261A CN112936261A (zh) 2021-06-11
CN112936261B true CN112936261B (zh) 2022-07-08

Family

ID=76237626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110109324.9A Active CN112936261B (zh) 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人现场仿真系统与方法

Country Status (1)

Country Link
CN (1) CN112936261B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949914A (zh) * 2021-08-19 2022-01-18 广州博冠信息科技有限公司 直播互动方法、装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577159A (zh) * 2017-10-31 2018-01-12 塔普翊海（上海）智能科技有限公司 扩增实境仿真系统
CN108161904A (zh) * 2018-01-09 2018-06-15 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
CN108629799A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN109558870A (zh) * 2018-11-30 2019-04-02 歌尔科技有限公司 一种可穿戴设备及障碍物提示方法
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN111300416A (zh) * 2020-03-10 2020-06-19 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统
WO2020126240A1 (de) * 2018-12-19 2020-06-25 Endress+Hauser SE+Co. KG Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629799A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN107577159A (zh) * 2017-10-31 2018-01-12 塔普翊海（上海）智能科技有限公司 扩增实境仿真系统
CN108161904A (zh) * 2018-01-09 2018-06-15 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN109558870A (zh) * 2018-11-30 2019-04-02 歌尔科技有限公司 一种可穿戴设备及障碍物提示方法
WO2020126240A1 (de) * 2018-12-19 2020-06-25 Endress+Hauser SE+Co. KG Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
CN111300416A (zh) * 2020-03-10 2020-06-19 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统

Also Published As

Publication number Publication date
CN112936261A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Heimann et al. Industrial robot programming methods: A scoping review
Neto et al. CAD-based off-line robot programming
GB2584608A (en) Robot motion optimization system and method
CN111267073A (zh) 一种基于增强现实技术的工业机器人示教系统及方法
Shahzad et al. A vision-based path planning and object tracking framework for 6-DOF robotic manipulator
CN112936261B (zh) 一种基于增强现实技术的工业机器人现场仿真系统与方法
Wassermann et al. Intuitive robot programming through environment perception, augmented reality simulation and automated program verification
Rückert et al. Augmented Reality for teaching collaborative robots based on a physical simulation
ABE et al. Digital construction
Teke et al. Real-time and robust collaborative robot motion control with Microsoft Kinect® v2
Sbnchez et al. Robot-arm pick and place behavior programming system using visual perception
Liang et al. Fast dataset collection approach for articulated equipment pose estimation
Scheuermann et al. Mobile augmented reality based annotation system: A cyber-physical human system
Shen et al. Safe assembly motion-A novel approach for applying human-robot co-operation in hybrid assembly systems
Zhou et al. A cooperative shared control scheme based on intention recognition for flexible assembly manufacturing
Li et al. A new teaching system for arc welding robots with auxiliary path point generation module
KR20210075722A (ko) 제조 공정 현장에서 ar 공정 플랫폼 제공방법 및 시스템
Jakhotiya et al. Integrating digital twin and computer vision system for efficient pick-and-place operation using Tecnomatix Process Simulate
US11897145B1 (en) Part modeling for path generation to guide robotic end effector
CN112917457A (zh) 一种基于增强现实技术的工业机器人快速精准示教系统及方法
Deng et al. Simulation System of Underwater Manipulator Based on Gazebo
Zhijiang et al. Virtual robot simulation and monitoring system based on Java3D
Landa-Hurtado et al. Kinect-based trajectory teaching for industrial robots
Spławski et al. Motion planning of the cooperative robot with visual markers
Liang et al. Reality Capture Technologies (LiDAR, RGB-D, Vision)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant