CN113126568A - 一种基于增强现实技术的工业机器人操作和演示系统 - Google Patents

一种基于增强现实技术的工业机器人操作和演示系统 Download PDF

Info

Publication number
CN113126568A
CN113126568A CN202110260084.2A CN202110260084A CN113126568A CN 113126568 A CN113126568 A CN 113126568A CN 202110260084 A CN202110260084 A CN 202110260084A CN 113126568 A CN113126568 A CN 113126568A
Authority
CN
China
Prior art keywords
robot
motion
unit
augmented reality
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110260084.2A
Other languages
English (en)
Other versions
CN113126568B (zh
Inventor
武涵
黄欣然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qianyu Intelligent Technology Co ltd
Original Assignee
Shanghai Qianyu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qianyu Intelligent Technology Co ltd filed Critical Shanghai Qianyu Intelligent Technology Co ltd
Priority to CN202110260084.2A priority Critical patent/CN113126568B/zh
Publication of CN113126568A publication Critical patent/CN113126568A/zh
Application granted granted Critical
Publication of CN113126568B publication Critical patent/CN113126568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4142Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by the use of a microprocessor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/34Director, elements to supervisory
    • G05B2219/34013Servocontroller
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提供一种基于增强现实技术的工业机器人操作和演示系统,包括增强现实设备和控制系统,控制系统和增强现实设备通过无线通信单元连接;控制系统中包括指令输入单元、指令读取单元、操作模拟单元、和指令处理输出单元,增强现实设备包括机器人数模处理单元、指令接收单元、指令处理单元、机器人运动单元和显示单元。本发明采用增强现实技术,将机器人以虚拟数字影像的方式呈现在现实空间内,极大地降低了使用机器人的试错成本、展示时运输成本、操作练习时的设备成本和危险性。

Description

一种基于增强现实技术的工业机器人操作和演示系统
技术领域
本公开涉及智能制造技术领域,尤其涉及一种基于增强现实技术的工业机器人操作和演示系统。
背景技术
随着社会需求的增长和工业制造业的技术发展,传统制造业向着数字化的智能制造的转变已成全球大趋势。但是目前的机器人操作和演示还存在很多不便之处。首先是成本,工业机器人体积和重量都很大,对于设备的采购、运输及维修的巨额成本使得机器人教学难以推广。
其次是安全问题,虽然机器人已经设计有一些安全系统和设备来保护使用者,但是庞大的体积、力量和速度,对于新手操作还是有一定危险性,如编程时考虑不周,遇到奇点失控,和周围设备物理碰撞导致零件损坏飞溅等,都会造成意外。另外,传统的机器人操作和演示也会采用电脑模拟器,但是使用键盘鼠标和显示器,不管是从视觉上还是操作方式上,都与实际机器人操作有很大区别,因此还存在效率低且效果不佳的问题。
发明内容
有鉴于此,本公开实施例提供一种基于增强现实技术的工业机器人操作和演示系统,该系统利用增强现实技术优化现有工业机器人操作和应用流程,用数字模拟替代原本制造生产过程中的高成本和高危险部分,实现数字模拟和实际使用的无缝连接,模拟结果可以直接应用于实际,或与实际操作协同使用。
为了实现上述目的,本发明提供如下技术方案:
一种基于增强现实技术的工业机器人操作和演示系统,包括增强现实设备和控制系统,所述控制系统和增强现实设备通过无线通信单元连接;所述控制系统中包括指令输入单元、指令读取单元、操作模拟单元、和指令处理输出单元,所述增强现实设备包括机器人数模处理单元、指令接收单元、指令处理单元、机器人运动单元和显示单元;
所述指令输入单元用于导入机器人操作和演示指令;所述指令读取单元用于编译出所述机器人操作和演示指令中的程序信息,所述操作模拟单元用于将编译出的程序信息进行整合后通过机器人运动算法进行运算,所述指令处理输出单元用于将经过运算后的指令信号转化成传输信号后输出至所述增强现实设备;
所述机器人数模处理单元用于根据机器人实物建立数字模型,再对数字模型进行优化得到虚拟机器人模型;所述指令接收单元用于接收所述控制系统发出的指令信号,所述指令处理单元用于读取该指令信号,并运行机器人运动算法和路径规划算法进行计算,再将计算结果输入至机器人运动单元,所述机器人运动单元根据输入结果在所述虚拟机器人模型上做出运动变化,并在所述显示单元上进行显示。
进一步地,所述机器人运动算法采用六轴机械臂逆运动算法,所述六轴机械臂逆运动算法包括如下步骤:
(2)设定运动参数:设定数模机械臂六轴旋转点分别为J1,J2,J3,J4,J5,J6,且该六个点处于同一平面上,J1沿Y轴旋转,J2,J3,J5沿Z轴旋转,J4,J6沿X轴旋转;
假设J1,J2,J3,J4,J5,J6均在相连旋转轴的运动坐标系上,设定垂直于J1旋转轴的平面上,J1和J2间的距离为L12;设定垂直于J2的旋转轴的平面上,J2和J3的距离为L23;设定J3与J4之间距离为L34;设定垂直于J3旋转轴,J3和J5的距离为L35;设定垂直于J5旋转轴,J5和J6的距离为L56;
设定机械臂末端姿态点;
(4)设定机械臂末端姿态点的空间位置坐标Pxyz及空间概念角度坐标Rxyz;
(5)设定J1’、J2’、J3’、J4’、J5’、J6’为J1,J2,J3,J4,J5,J6的模拟位置点;J1’的空间位置坐标为已知量P1xyz,与空间坐标原点重合,由Pxyz和Rxyz得到J6’的旋转空间角度坐标R6xyz=Rxyz,J6’的空间位置坐标为P6xyz=Pxyz;再由R6xyz,根据步骤(1)中旋转点之间的距离进行平移处理,依次得到R1xyz、R2xyz、R3xyz、R5xyz和R4xyz。
进一步地,所述指令输入单元中包括程序输入单元和姿态控制按钮,通过所述程序输入单元设置运动模式,通过所述姿态控制按钮来控制虚拟机器人运动。
进一步地,所述指令读取单元编译所述机器人操作和演示指令中的程序信息的过程包括:将指令分离出点名称、运动模式、运动速度,再去通过名称从点库里找到相应运动点,并将这些信息发送至所述所述操作模拟单元。
进一步地,所述控制系统还包括存储单元,用于将包括机器人运动程序、机器人模型、机器人运动参数进行存储。
进一步地,所述增强现实设备还包括反馈单元,所述反馈单元用于将所述虚拟机器人模型的运动结果通过所述无线通信单元反馈至所述控制系统。
进一步地,所述反馈单元包括运动效果的视觉反馈、程序是否运行结束、干涉反馈、奇异点反馈和程序错误反馈。
进一步地,所述机器人数模处理单元对数字模型进行优化包括:根据不同的色彩和材质对模型进行切割、模型格式的转换和数模结构切面优化。
进一步地,所述路径规划算法包括PTP、LIN、CIRC、样条曲线的运动模式下的路径规划。
进一步地,还包括物理机器人和机器人控制柜,所述机器人控制柜与所述控制系统连接,通过所述控制系统编译导出虚拟机器人运行文件,导入所述机器人控制柜来控制所述物理机器人进行与虚拟机器人模拟结果相同的运动。
本发明提供的一种基于增强现实技术的工业机器人操作和演示系统,其有益效果在于:本发明采用增强现实技术,将机器人以虚拟数字影像的方式呈现在现实空间内,极大地降低了使用机器人的试错成本、展示时运输成本、操作练习时的设备成本和危险性。将头显设备和手持设备相结合使用,并采用真实机器人运动算法,使得操作方式和效果更接近实际,学员可以快速上手操作真实的机器人,或者可以将虚拟编程结果导出,直接使用在真实机器人上实现相同的运动效果。各操作设备间通过网络连接,实现多点控制,实现一台设备监控多台设备的功能,可满足多种使用场景,提高工作效率。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明的工业机器人操作和演示系统一种实施例中物理设备连接结构示意图;
图2为本发明的工业机器人操作和演示系统一种实施例中控制端运行逻辑结构示意图;
图3为本发明的工业机器人操作和演示系统一种实施例中显示端运行逻辑结构示意图;
图4为本发明的工业机器人操作和演示系统一种实施例中数模处理单元运行逻辑结构示意图;
图5为本发明的工业机器人操作和演示系统一种实施例中系统运行逻辑结构示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种基于增强现实技术的工业机器人操作和演示系统,其特征在于,包括增强现实设备和控制系统,所述控制系统和增强现实设备通过无线通信单元连接;所述控制系统中包括指令输入单元、指令读取单元、操作模拟单元、和指令处理输出单元,所述增强现实设备包括机器人数模处理单元、指令接收单元、指令处理单元、机器人运动单元和显示单元;
所述指令输入单元用于导入机器人操作和演示指令;所述指令读取单元用于编译出所述机器人操作和演示指令中的程序信息,所述操作模拟单元用于将编译出的程序信息进行整合后通过机器人运动算法进行运算,所述指令处理输出单元用于将经过运算后的指令信号转化成传输信号后输出至所述增强现实设备;
所述机器人数模处理单元用于根据机器人实物建立数字模型,再对数字模型进行优化得到虚拟机器人模型;所述指令接收单元用于接收所述控制系统发出的指令信号,所述指令处理单元用于读取该指令信号,并运行机器人运动算法和路径规划算法进行计算,再将计算结果输入至机器人运动单元,所述机器人运动单元根据输入结果在所述虚拟机器人模型上做出运动变化,并在所述显示单元上进行显示。
在一种优选的实施方式中,该工业机器人操作和演示系统包括增强现实设备,计算机,移动设备,操作模拟单元,机器人数学模型,运动控制算法。该系统分为两个部分,显示端和控制端,利用增强现实在现实世界投射出一个三维数字模型,然后使用另一台设备进行操作控制,相应运动会实时反馈在数字模型中,两者之间通过网络进行数据传输。
增强现实设备包括所有可以投射3D虚拟影像的设备,如AR眼镜,VR头戴设备,全息投影仪等,使人可以肉眼看到一个立体的数字模型。也可以通过设备上自带的相机、红外相机、激光雷达、手势识别等功能,对显示的数字模型进行操作,如摆放位置位置,光影效果等。
计算机可以用来代替显示端和控制端,或成为过渡端,更快捷的在移动设备中导入数字模型和编辑设置软件,或是帮助运动计算和数据传输。也成为多台设备的总控制端,对多台设备进行监察,远程控制,数据采集存储。
移动设备主要作为控制端,使用中会显示所控型号机器人的相应示教器。使用者可在设备上编程,并发出控制指令,经过运动算法处理后的指令会通过网络传输给显示端,让机器人模型做出运动反馈,实现实时操作。移动设备也可存储和导出工作文件,如阶段性存档和机器人语言文件,以方便持续工作和与实际使用相连。
操作模拟单元兼容多系统平台使用,包括了机器人数字模型及其相应示教器,性能参数(包括机器人本体和夹具),机器人运动算法(包括正运动学模型和逆运动学模型),路径规划单元,姿态示教单元,程序编写单元,空间定位单元,通信单元,编译单元,存储单元。
机器人数学模型包括了多种机器人的三维数字模型和设备参数。所有数字模型均采用算法优化,从而保证在显示端能够高质量稳定运行和顺畅运动。设备参数则包括机器人自由度,DOF节点,臂长,运动限位,电机性能等所有会影响到运动控制的、实际机器人上的真实物理参数,在使用时会置入到相应的运动算法中进行计算。
其中,上述的机器人运动算法采用六轴机械臂逆运动算法,所述六轴机械臂逆运动算法包括如下步骤:
1、设定运动参数
(1)设定数模机械臂六轴旋转点分别为J1,J2,J3,J4,J5,J6,且这六个点处于同一平面上,J1沿Y轴旋转,J2,J3,J5沿Z轴旋转,J4,J6沿X轴旋转。
(2)假设J1,J2,J3,J4,J5,J6均在相连旋转轴的运动坐标系上,设定垂直于J1旋转轴的平面上,J1和J2间的距离为L12;设定垂直于J2的旋转轴的平面上,J2和J3的距离为L23;设定J3与J4之间距离为L34;设定垂直于J3旋转轴,J3和J5的距离为L35;设定垂直于J5旋转轴,J5和J6的距离为L56。
(3)设定机械臂末端姿态点为Target。
(4)L12,L23,L35,L34,L56为已知量。
2、设定Target的空间位置坐标Pxyz及空概念角度坐标Rxyz。
3、开始逆运动计算
设定J1’,J2’,J3’,J4’,J5’,J6’为J1,J2,J3,J4,J5,J6的模拟位置点,用于记录六个轴的理论位置,辅助计算。最终计算结果中,只将各轴空间角度坐标赋予给数模。
(1)J1’的空间位置坐标为已知量P1xyz,与空间坐标原点重合
(2)由Pxyz和Rxyz得到J6的旋转空间角度坐标R6xyz=Rxyz,J6’的空间位置坐标为P6xyz=Pxyz。
(3)沿着R6xyz的x轴反方向,平移L56的距离,得到J5’的位置坐标P5xyz。
(4)过J1作与J1的Y轴所垂直的面P1,将J5’投影到P1上为点P1J5,作向量J1P1J5。将J1’以Y轴为旋转轴,J1’的X轴与向量J1P1J5重合,得到J1的旋转空间角度坐标R1xyz。
(5)在R1xyz的X轴平移L12的距离,得到J2’的位置坐标P2xyz。
(6)虽然当前J3空间位置坐标位置,但我们知道在运动过程中,若J2,J3,J5不共线,连接J2J3,J3J5,J2J5,得△J2J3J5。由于已知P2xyz和P5xyz,可得J2与J5的距离L25。因此△J2J3J5三边长度为L23,L35,L25,以J3向J2J5作垂线,可通过三角函数得到∠J3J2J5
(7)计算J2的X轴与向量J2J5之间的夹角∠J5J2X2,根据情况与∠J3J2J5进行加减运算即可得到J2旋转空间角度坐标R2xyz。
(8)沿着R2xyz的x轴平移L23的距离,可以得到J3’的空间位置坐标P3xyz,J3’的x轴与向量J3J5重合,得到J3的旋转空间角度坐标R3xyz。
(9)沿着R3xyz的x轴平移L34的距离,得到J4’的空间位置坐标P4xyz。
(10)沿着R3xyz的x轴平移L35的距离,得到J5’的空间位置坐标P5xyz
(11)若J3,J5,J6不共线,连接J3J5,J5J6,J6J3,得△J3J5J6。作这个三角形所在平面的垂线向量Prep5,其方向可在三角形所在平面的任意一侧,会在J3,J5,J6共线时切换为与当前方向的反方向。
(12)将J5’的Z轴与向量prep5重合,将J5’的X轴与向量J5J6重合,得到J5的旋转空间角度坐标R5xyz。
(13)将J4’以X轴为旋转轴,J4’的Z轴与R5xyz的Z轴重合,得到J4的旋转空间角度坐标R4xyz。
4、将R1xyz,R2xyz,R3xyz,R4xyz,R5xyz,R6xyz赋予数模的各个旋转轴。
该算法采用几何推导运算,在机械臂运动关节之间架构起了几何关联性,相比起常用的线性代数运算的表述更直观,方便机器人相关领域工作者观察机器人逆运动过程中各关节和末端姿态点之间的关系和变化方式。尤其在机械臂运动歧义点的判定上,开发者能够快速在机器人运动中通过对几何变化观察进出歧义点时机器人的关节运动状态,了解当前机器人模型运动的歧义点,并在歧义点位置做特定算法处理。若用于教学领域,该方法可以帮助学员理解机器人逆运动代数算法和理论,帮助他们更好的了解机器人,并操控机器人。
接下来,结合附图1-5对本发明的系统作进一步说明。
参阅图1,可作为控制端的设备有计算机1和移动设备3,可作为显示端的设备有计算机1和虚拟成像设备4。控制端和显示端通过路由器2建立无线局域网连接来双向传输数据信号。机器人运动控制模拟结果落实到实际物理机器人6上,是通过控制端计算机1或移动设备3通过编译导出物理机器人运行文件,导入物理机器人控制柜5来控制物理机器人6进行与模拟结果相同的运动。
所述移动设备3包括手机、平板电脑等。所述虚拟成像设备4包括VR眼镜、AR眼镜、MR眼镜、全息投影设备等。
图2展示了控制端的运行逻辑,控制端是是录入在计算机1和移动设备3中的程序,可以根据不同操作系统安装该平台适用的控制端版本。控制端会自适应屏幕尺寸进行全屏显示,并首先显示文件浏览和导入单元。
通过将可执行文件从设备中导入运行程序中,程序会从可执行文件中编译出机器人型号、机器人运行程序文本、机器人模型、机器人运动参数等数据,并在控制端设备上显示示教器控制界面。
用户可以通过程序输入单元和姿态控制按钮给机器人进行运动编程。程序输入单元有两种形式,一种是直接手动键盘输入,还有一种是通过插入指令、设置运动模式(PTP/LIN/CIRC/样条曲线)、通过姿态控制按钮来控制机器人运动、设定运动点(姿态、名称)、确定运动速度、确定指令来形成运动程序。
姿态控制按钮对于机器人的运动控制收运动参数设置的影响。运动参数设置包括速度、运动模式(轴运动、基坐标运动、全局运动、工具运动)、夹具参数等。姿态控制按钮可以激活运动控制指令控制机器人模型运动,所有操作会通过内置机器人运动算法和指令信号处理单元形成控制信号,并传输给无线通信单元以传输至显示端。
在完成机器人指令输入后可以运行指令查看机器人运动效果,运行机器人指令时会通过程序读取单元将指令分离出点名称、运动模式、运动速度,再去通过名称从点库里找到相应运动点,整合这些信息通过机器人运动算法输出运动指令,再通过指令信号处理单元将指令转化成传输信号,通过无线通信单元发送给显示端。
在结束机器人操作并退出控制系统时,机器人运动程序、机器人模型、机器人运动参数等数据会通过编译单元编译并通过存储单元存放在该设备内存的某个地址下,存储单元包括三大部分,第一是机器人程序文本导出单元,第二是记录其他内容的数据串编译单元,第三是物理机器人控制柜的运行程序转换单元。
图3展示了显示端的运行逻辑,显示端即计算机1或虚拟成像设备4中的程序。通过空间定位单元可以启动虚拟成像设备4上的相机对所处环境进行扫描,将虚拟机器人模型固定在真实空间的某一位置上,同时将该机器人的运动参数置入算法中,准备接收运动指令。
显示端与控制端通过局域网相连后,通过无线通信单元可以接收来自显示端的指令信号,通过指令信号处理单元读取指令并运行机器人运动算法和路径规划,最终将计算结果输入机器人运动单元并在虚拟模型上做出运动变化。运动结果将会通过运动反馈单元通过无线通信单元反馈给控制端。
所述路径规划包括PTP、LIN、CIRC、样条曲线多种运动模式下的路径规划,会根据接收到的指令进行选择。
所述机器人算法包括正运动算法、逆运动算法、各自由度运行速度计算等。
所述运动反馈单元包括运动效果的视觉反馈、程序是否运行结束、干涉反馈、奇异点反馈、程序错误反馈等。
图4展示了系统中数模处理的过程。首先是有一个实际物理模型,即某一型号的机器人实物。然后对其进行物理参数测量,包括尺寸、重量、运动臂距离、边界限制等,还有机器人内部元件的参数,如电机速度、扭矩、负载等。将以上物理参数录入软件,形成一个存储包,这个存储包最终会一起归入保存文件,之后每次打开这个模型开始运动控制编辑时,都会调用这些数据信息。在对其进行数字模型等比建立,可以用三维扫描仪录入模型,也可以是用三维建模软件建立,要保证比例与实际相符。然后对所建数字模型进行品质优化,包括根据不同的色彩和材质对模型进行结构切割和分层,方便之后的渲染;模型格式的转换,让模型符合程序运行格式要求;数模结构切面优化,去掉一些不必要的细节,减少模型结构切面,缩小文件尺寸,保证之后更顺畅的显示。经过以上优化后,输出最终数模,从显示效果、文件尺寸上来评估数模是否满足优化要求,若不满足要求则继续优化,若满足则为其贴上材质肌理贴图并渲染。首先要从五力模型上记录材质肌理,包括色彩记录,照片记录,然后对制成材质肌理贴图并进行优化,如合并相近颜色,适当降低贴图分辨率等,将优化后的材质贴图赋予给优化后的模型,再次通过显示效果、文件尺寸来判断是否满足运行要求,若不满足,则继续优化材质贴图。若满足,则对模型录入模型型号、结构参数、几何参数、状态参数、边界条件,合并为一个文件,并转换成特定文件格式。之后程序导入后会从该文件编译出操作所需内容。
图5展示的是程序对机器人程序的读取过程。控制端的读取单元会将当前所选程序根据空格、换行或特殊符号等来拆解程序从中提取所需内容、内容包括运动点名称、运动模式、夹具状态和运动速度。可以根据名称去运动点存储库中查找相应的点,这些点都记录了该位置状态下机器人各关节姿态、末端姿态等数值,结合运动模式和夹具状态可以一起进入路径规划算法,包括各关节运动速度,PTP/LIN/CIRC/样条曲线路径形状等,结果结合运动速度形成运动指令通过无线通信单元发送至显示端。显示端通过图3所示流程运行,当数模完成运动后,通过无线通信单元发送指令给控制端,控制端选择下一条程序,继续读取过程。
本发明可应用于例如以下三种实例:
1、机器人操作培训
在一对一教学中,场内配备一个路由器2,学员可配备一台移动设备3和一台虚拟成像设备4,为教师准备一台计算机1。学员通过在移动设备上操作和观看虚拟投影来练习。示教器内容和虚拟投影都会同步显示在教师的计算机上,教师通过计算机远程控制示教器或是在示教器和虚拟影像上进行标注,来指导学生。
在集体教学中,场内可配备一个路由器2,每位学员配备一台移动设备3和虚拟成像设备4,通过在移动设备3上操作并观看虚拟成像设备4中的立体影像来练习。教师可以使用计算机1通过局域网连接到每个控制端,用屏幕共享的方式来做操作示范。在学员练习时,教师可以在每个连接上的控制端切换,以查看每位学员的操作情况和其机器人所处姿态,进行快速指导,不用一个个走到学员身边指导。
在培训考核中,用一台计算机1作为总控制端,每位学员配备一台移动设备3和虚拟成像设备4。学员的操作过程会被系统记录下来,如操作时间、错误率等,可以上传至总控制端进行汇总,方便统计分析。在模拟操作后,可以将学员的操作结果导出放入真实的机器人控制柜中,让真实机器人进行运动,并由教师评估操作结果是否符合要求。
2、机器人公司推销
在去其他公司推销自家机器人产品时,可以不用真的把机器人搬过去,而是利用本发明,只需要一台移动设备3和虚拟成像设备4,连接网络后即可让客户尝试操作自家机器人,以更直观的介绍产品和功能。甚至可以和客户去工厂实地,在真实生产环境中投射机器人影像,然后模拟操作,真实模拟机器人的实际使用效果,让客户更直观地了解公司产品。
在展会上,可以使用一台移动设备3和虚拟成像设备4让一位操作员演示机器人操作运动,或是让参观者体验机器人操作。由于是模拟影像,因此相比起真实操作机器人,可以保证安全,适合在展览上使用。旁边可以放一个计算机同步控制端和显示端的内容,并投射到一个大屏幕上,吸引更多人。
在售后服务中,机器人公司可以通过计算机1远程屏幕共享查看客户的控制端和显示端,协助指导客户操作或维修机器人。
3、工程师产品研发工具
在产线设计时,工程师可以将备选机器人的数模通过虚拟成像设备4投射在实际工厂中,并用控制端模拟操作,查看该机器人在实际生产线上的模拟使用效果。方便工程师根据实际情况和需求选购机器人。
在生产线调试中,调试机器人难免会遇到路径干扰,物理碰撞,机器人失控等问题,工程师可以使用该发明先用模拟系统模拟操作一次,可以是使用移动设备3和虚拟成像设备4来虚拟操作,也可以是直接在大部分人更熟悉的计算机1中进行操作,然后再用虚拟成像设备4来更直观的显示机器人运动结果。然后再将编程结果放入真实机器人控制柜运行,再进行微调即可,减少了试错成本并提高安全性。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于增强现实技术的工业机器人操作和演示系统,其特征在于,包括增强现实设备和控制系统,所述控制系统和增强现实设备通过无线通信单元连接;所述控制系统中包括指令输入单元、指令读取单元、操作模拟单元、和指令处理输出单元,所述增强现实设备包括机器人数模处理单元、指令接收单元、指令处理单元、机器人运动单元和显示单元;
所述指令输入单元用于导入机器人操作和演示指令;所述指令读取单元用于编译出所述机器人操作和演示指令中的程序信息,所述操作模拟单元用于将编译出的程序信息进行整合后通过机器人运动算法进行运算,所述指令处理输出单元用于将经过运算后的指令信号转化成传输信号后输出至所述增强现实设备;
所述机器人数模处理单元用于根据机器人实物建立数字模型,再对数字模型进行优化得到虚拟机器人模型;所述指令接收单元用于接收所述控制系统发出的指令信号,所述指令处理单元用于读取该指令信号,并运行机器人运动算法和路径规划算法进行计算,再将计算结果输入至机器人运动单元,所述机器人运动单元根据输入结果在所述虚拟机器人模型上做出运动变化,并在所述显示单元上进行显示。
2.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述机器人运动算法采用六轴机械臂逆运动算法,所述六轴机械臂逆运动算法包括如下步骤:
(1)设定运动参数:设定数模机械臂六轴旋转点分别为J1,J2,J3,J4,J5,J6,且该六个点处于同一平面上,J1沿Y轴旋转,J2,J3,J5沿Z轴旋转,J4,J6沿X轴旋转;
假设J1,J2,J3,J4,J5,J6均在相连旋转轴的运动坐标系上,设定垂直于J1旋转轴的平面上,J1和J2间的距离为L12;设定垂直于J2的旋转轴的平面上,J2和J3的距离为L23;设定J3与J4之间距离为L34;设定垂直于J3旋转轴,J3和J5的距离为L35;设定垂直于J5旋转轴,J5和J6的距离为L56;
设定机械臂末端姿态点;
(2)设定机械臂末端姿态点的空间位置坐标Pxyz及空间概念角度坐标Rxyz;
(3)设定J1’、J2’、J3’、J4’、J5’、J6’为J1,J2,J3,J4,J5,J6的模拟位置点;J1’的空间位置坐标为已知量P1xyz,与空间坐标原点重合,由Pxyz和Rxyz得到J6’的旋转空间角度坐标R6xyz=Rxyz,J6’的空间位置坐标为P6xyz=Pxyz;再由R6xyz,根据步骤(1)中旋转点之间的距离进行平移处理,依次得到R1xyz、R2xyz、R3xyz、R5xyz和R4xyz。
3.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述指令输入单元中包括程序输入单元和姿态控制按钮,通过所述程序输入单元设置运动模式,通过所述姿态控制按钮来控制虚拟机器人运动。
4.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述指令读取单元编译所述机器人操作和演示指令中的程序信息的过程包括:将指令分离出点名称、运动模式、运动速度,再去通过名称从点库里找到相应运动点,并将这些信息发送至所述所述操作模拟单元。
5.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述控制系统还包括存储单元,用于将包括机器人运动程序、机器人模型、机器人运动参数进行存储。
6.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述增强现实设备还包括反馈单元,所述反馈单元用于将所述虚拟机器人模型的运动结果通过所述无线通信单元反馈至所述控制系统。
7.根据权利要求6所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述反馈单元包括运动效果的视觉反馈、程序是否运行结束、干涉反馈、奇异点反馈和程序错误反馈。
8.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述机器人数模处理单元对数字模型进行优化包括:根据不同的色彩和材质对模型进行切割、模型格式的转换和数模结构切面优化。
9.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,所述路径规划算法包括PTP、LIN、CIRC、样条曲线的运动模式下的路径规划。
10.根据权利要求1所述的基于增强现实技术的工业机器人操作和演示系统,其特征在于,还包括物理机器人和机器人控制柜,所述机器人控制柜与所述控制系统连接,通过所述控制系统编译导出虚拟机器人运行文件,导入所述机器人控制柜来控制所述物理机器人进行与虚拟机器人模拟结果相同的运动。
CN202110260084.2A 2021-03-10 2021-03-10 一种基于增强现实技术的工业机器人操作和演示系统 Active CN113126568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110260084.2A CN113126568B (zh) 2021-03-10 2021-03-10 一种基于增强现实技术的工业机器人操作和演示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110260084.2A CN113126568B (zh) 2021-03-10 2021-03-10 一种基于增强现实技术的工业机器人操作和演示系统

Publications (2)

Publication Number Publication Date
CN113126568A true CN113126568A (zh) 2021-07-16
CN113126568B CN113126568B (zh) 2022-08-09

Family

ID=76772863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110260084.2A Active CN113126568B (zh) 2021-03-10 2021-03-10 一种基于增强现实技术的工业机器人操作和演示系统

Country Status (1)

Country Link
CN (1) CN113126568B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481288A (zh) * 2013-08-27 2014-01-01 浙江工业大学 一种5关节机器人末端工具位姿控制方法
CN102243620B (zh) * 2011-06-02 2014-04-09 安凯 六关节机械臂逆运动学问题的快速求解方法
CN104552300A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种基于示教机器人的离线编程示教装置及方法
EP3059738A1 (en) * 2013-10-18 2016-08-24 CGNPC Inspection Technology Co., Ltd. Intelligent testing method of nondestructive robot testing based on virtual reality technology
CN106777736A (zh) * 2016-12-27 2017-05-31 浙江大学 用于绳驱动冗余机械臂运动学模型的仿真平台及仿真方法
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程系统及方法
CN107351058A (zh) * 2017-06-08 2017-11-17 华南理工大学 基于增强现实的机器人示教方法
CN107856014A (zh) * 2017-11-08 2018-03-30 浙江工业大学 基于手势识别的机械臂位姿控制方法
CN108161904A (zh) * 2018-01-09 2018-06-15 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
CN108673509A (zh) * 2018-06-15 2018-10-19 东北大学 一种六自由度手腕偏置型串联机械臂的运动控制方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
CN110815189A (zh) * 2019-11-20 2020-02-21 福州大学 基于混合现实的机器人快速示教系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243620B (zh) * 2011-06-02 2014-04-09 安凯 六关节机械臂逆运动学问题的快速求解方法
CN103481288A (zh) * 2013-08-27 2014-01-01 浙江工业大学 一种5关节机器人末端工具位姿控制方法
EP3059738A1 (en) * 2013-10-18 2016-08-24 CGNPC Inspection Technology Co., Ltd. Intelligent testing method of nondestructive robot testing based on virtual reality technology
CN104552300A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种基于示教机器人的离线编程示教装置及方法
CN106777736A (zh) * 2016-12-27 2017-05-31 浙江大学 用于绳驱动冗余机械臂运动学模型的仿真平台及仿真方法
CN107351058A (zh) * 2017-06-08 2017-11-17 华南理工大学 基于增强现实的机器人示教方法
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程系统及方法
CN107856014A (zh) * 2017-11-08 2018-03-30 浙江工业大学 基于手势识别的机械臂位姿控制方法
CN108161904A (zh) * 2018-01-09 2018-06-15 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
CN108673509A (zh) * 2018-06-15 2018-10-19 东北大学 一种六自由度手腕偏置型串联机械臂的运动控制方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
CN110815189A (zh) * 2019-11-20 2020-02-21 福州大学 基于混合现实的机器人快速示教系统及方法

Also Published As

Publication number Publication date
CN113126568B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Ostanin et al. Interactive robot programing using mixed reality
Weyrich et al. An interactive environment for virtual manufacturing: the virtual workbench
CN107901039B (zh) 基于Python的桌面级机器人离线编程仿真系统
Nee et al. Augmented reality applications in design and manufacturing
Mateo et al. Hammer: An Android based application for end-user industrial robot programming
CN107193371A (zh) 一种基于虚拟现实的实时人机交互系统及方法
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN104002296A (zh) 机器人模拟器、机器人示教装置以及机器人示教方法
JP2008544341A (ja) 3dシミュレーションを生成するためのシステム及び方法
CN206326605U (zh) 一种基于机器视觉的智能示教系统
US20170197308A1 (en) Teaching data generating device and teaching data-generating method for work robot
CN111390908A (zh) 一种基于网页的机械臂虚拟拖动方法
CN107577159A (zh) 扩增实境仿真系统
CN201892840U (zh) 一种基于虚拟现实技术的喷涂工业机器人综合控制系统
Minoufekr et al. Modelling of CNC Machine Tools for Augmented Reality Assistance Applications using Microsoft Hololens.
Jan et al. Smartphone based control architecture of teaching pendant for industrial manipulators
CN113126568B (zh) 一种基于增强现实技术的工业机器人操作和演示系统
Blankemeyer et al. Intuitive assembly support system using augmented reality
CN107424207A (zh) 一种基于数据融合的虚拟维修仿真方法及装置
Arnarson et al. The application of virtual reality in programming of a manufacturing cell
CN107738256A (zh) 一种手把手仿人示教机器人编程系统
Guan et al. A novel robot teaching system based on augmented reality
Li et al. An effective construction method of modular manipulator 3D virtual simulation platform
Tripicchio et al. A 6-DOF haptic manipulation system to verify assembly procedures on CAD models
Sanchez et al. Representation of Robots in Matlab

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant