CN116833999A - 一种机器人远程控制系统和方法 - Google Patents
一种机器人远程控制系统和方法 Download PDFInfo
- Publication number
- CN116833999A CN116833999A CN202310632687.XA CN202310632687A CN116833999A CN 116833999 A CN116833999 A CN 116833999A CN 202310632687 A CN202310632687 A CN 202310632687A CN 116833999 A CN116833999 A CN 116833999A
- Authority
- CN
- China
- Prior art keywords
- robot
- simulation
- module
- coordinates
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004088 simulation Methods 0.000 claims abstract description 170
- 230000033001 locomotion Effects 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 claims description 40
- 238000013461 design Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000026058 directional locomotion Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 229920000136 polysorbate Polymers 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明涉及机器人控制领域,为一种机器人远程控制系统和方法,该系统包括:信息采集模块,用于采集机器人的运行数据;仿真场景模块,用于构建现场设备的仿真3D环境,对现场机器人进行实时运动仿真;仿真定位模块,用于获取目标定位点的示教点坐标;仿真路线规划模块,用于生成路线轨迹点坐标,机器人运动模块,将示教点坐标、路线轨迹点坐标逆解为机器人关节坐标;仿真碰撞检测模块,用于根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真;控制模块,用于生成轨迹路径控制指令控制机器人运行。本发明可以获取到场景中的任意一点的位置坐标,快速进行目标点定位,可以解决移动到目标点过程中的避障问题,保障远程控制机器人移动准确安全。
Description
技术领域
本发明涉及机器人控制领域,特别涉及一种机器人远程控制系统和方法。
背景技术
工业机器人已经被普遍应用在各行各业以代替人的操作,随着生产环境和生产要求的急剧变化,人们对工业机器人示教控制过程的要求越来越高。在面对生产环境较为恶劣的情况,一套远程控制系统,能够在远程就能对机器人进行控制和维修,哪怕在恶劣环境也能够及时支援;在面对机器人示教、远程调程序等操作问题时,远程控制系统能使得企业人员不需要前往客户工厂,就能进行示教、调试活动,大大降低外勤派遣的成本,提高服务质量。
传统工业机器人运行大多通过示教盒进行编程,按照机器人获取到的示教点进行点位的移动。这种示教点定位的方式,需要人一点点移动机器人进行校对,通过人眼进行大致判断是否到达理想位置,在现场往往需要多次重复的操作,才能找到合适的示教点。在远程操作这种对机器人操作敏感,又缺乏视觉判断的情况下,这种定位方式非常危险且可行性差。即便存在视频监控,仿真等视觉观察的方式,也难以进行安全的定位。
机器人获取示教点后移动,也存在着路线移动过程是否有障碍的问题,机器人在示教点移动过程中,如何在路线移动过程进行避障成为机器人远程控制主要研究热点之一。当机器人获取到示教点,从当前位置移动到目标定位点过程中,如果直接移动过去,机器人运动路线上是否有障碍是未知的,很可能会发生碰撞;在远程控制中,哪怕获取了定位点,仍需要对机器人运动路线进行规划。机器人从初始位置移动到目标示教点,往往过程需要通过人视觉的方式观察,如果路径上有障碍物,则在初始位置和目标示教点中间增加多个点位,使得运动路径上避开障碍。存在一种基于速度向量场的无碰轨迹规划算法,使得机器人在三种向量场的共同作用下运动,避开障碍物。但该算法只适用于SCARA机器人,对于六轴等机器人则无法使用。
现有工业机器人远程控制系统,多是采用视觉的方法,在远程操作时只能通过使用摄像头观察现场环境。但是摄像头能呈现的视图效果属于2D视图,这对需要多方向操作机器人而言,难以进行各个方向上的操作。也存在少数远程控制系统,采用仿真作为依据,使得能够远程了解现场的立体环境。但机器人操作本就属于精细操作,需要依靠人对环境的判断来进行下一步操作,近距离的操作往往也需要较繁琐的操作,往往一次示教点的定位需要反复多次的操作。远程操作使得视觉受限制更多,操作难度更大,采用3D视觉也存在着机器人定位抓取困难的问题。
发明内容
为解决现有技术所存在的技术问题,本发明提供了一种机器人远程控制系统和方法,远程控制能够监控现场情况,可以获取到仿真场景中的任意一点的位置坐标,快速进行目标点定位,通过离线仿真状态下的路线规划和碰撞检测,可以解决移动到目标点过程中的避障问题,保障远程控制机器人移动时的安全。
本发明的第一个目的在于提供一种机器人远程控制系统。
本发明的第二个目的在于提供一种机器人远程控制方法。
本发明的第一个目的可以通过采取如下技术方案达到:
一种机器人远程控制系统,所述系统包括:信息采集模块、仿真场景模块、仿真定位模块、仿真路线规划模块、仿真碰撞检测模块、机器人运动模块和控制模块;
信息采集模块与机器人连接,信息采集模块用于采集机器人的实时运行数据,将机器人的运行数据实时发送给仿真场景模块;
仿真场景模块,用于构建现场设备的仿真3D环境,根据机器人的运行数据对现场机器人进行实时运动仿真;
仿真定位模块,用于通过仿真模块选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块。
仿真路线规划模块与机器人运动模块连接,仿真路线规划模块用于在仿真3D环境中生成路线轨迹点坐标发送给机器人运动模块;机器人运动模块将路径轨迹点坐标逆解成机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块;
仿真碰撞检测模块,用于根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点移动过程是否与障碍物发生碰撞;当机器人按路线轨迹点移动过程没有发生碰撞,则认为路线轨迹点正确,将正确的路线轨迹点节坐标发送给控制模块;
控制模块,用于根据目标定位点的示教点坐标和正确的路线轨迹点节坐标,生成轨迹路径控制指令并发送给机器人,远程控制机器人按正确的轨迹路径运行。
具体地,所述构建现场设备的仿真3D环境,包括:根据生产线的设备的3D设计图获取第一生产设备模型,通过3D扫描仪扫描实际生产线的设备和环境信息,根据实际生产线的设备和环境信息生成第二环境模型,根据第一生产设备模型和第二环境模型生成仿真3D环境。
具体地,所述根据第一生产设备模型和第二环境模型生成仿真3D环境,包括:分别将第一生产设备模型和第二环境模型导入3D Max软件,将第二环境模型作为主要模型,当第二环境模型中的部分模型出现模糊或错误时,使用第一模型的相应模型替换第二环境模型中的出现模糊或错误的模型,设置设备模型参数并生成最终仿真3D环境。
具体地,所述根据机器人的运行数据对现场机器人进行实时运动仿真,具体包括:仿真场景模块收到机器人的关节数据,在每一帧将将关节坐标赋值给各个模型轴心角度值,在两帧数据的动画插补,通过使用WebGL绘图协议的动画库模拟从机器人当前帧到下一帧关节坐标的运动;仿真场景模块在收到机器人的IO数据后,通过使用WebGL绘图协议的动画库模拟机器人末端工具进行工序操作。
具体地,所述通过仿真模块选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块,包括:通过WebGL绘图协议获取到仿真3D环境任意子模型相对于仿真3D环境的世界坐标,选取将移动的机器人基座模型作为目标点,将移动的机器人基座模型对于仿真3D环境的世界坐标发送给控制模块。
具体地,所述机器人的路线轨迹点包括多个移动目标点,将路线轨迹的路径分成多个线段;通过仿真场景模块选择路线轨迹点的移动目标点,将移动目标点坐标转换为相对于所选机器人基坐标的示教点坐标并传送给机器人运动模块;通过机器人运动模块将示教点坐标逆解移动目标点的机器人关节坐标,将移动目标点的机器人关节坐标发送给仿真场景模块。
本发明的第二个目的可以通过采取如下技术方案达到:
一种机器人远程控制方法,所述方法包括:
通过信息采集模块于采集机器人的实时运行数据,将机器人的运行数据实时发送给仿真场景模块;
通过仿真场景模块构建现场设备的仿真3D环境,根据机器人的运行数据对现场机器人进行实时运动仿真;
通过仿真定位模块在仿真3D环境中选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块;
通过仿真路线规划模块在仿真3D环境中生成路线轨迹点坐标发送给机器人运动模块,机器人运动模块将路径轨迹点坐标逆解成机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块;
通过仿真碰撞检测模块根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点移动过程是否与障碍物发生碰撞;当机器人按路线轨迹点移动过程没有发生碰撞,则认为路线轨迹点正确,将正确的路线轨迹点节坐标发送给控制模块;
通过控制模块根据目标定位点的示教点坐标和正确的路线轨迹点节坐标,生成轨迹路径控制指令并发送给机器人,远程控制机器人按正确的轨迹路径运行。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明提供了一种机器人远程控制系统和方法,通过仿真场景模块和仿真定位模块,可以获取到仿真场景中的任意一点的位置坐标,从而达到快速进行目标点定位。相比于现有技术中,只能通过摄像头实时画面和场景仿真进行多次的点位移动,所述仿真定位模块能够更准确直接的提供选取点位或者设备的位置坐标,避免了不论现实还是远程控制都能存在的需要多次移动进行示教点寻找和人眼视觉判断出现的失误问题,在远程操作中更合理的进行定位抓取操作。
2、通过路线规划模块和仿真碰撞检测模块,能够在远程操作机器人移动到指定位置时,进行运动路线规划,解决移动到目标点过程中的避障问题,其运动路线轨迹和路线的碰撞安全范围能够自行调整,保障远程控制移动时的安全问题,能够用于四轴、六轴等多种类型的工业机器人,不限于水平机器人。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例中的机器人远程控制系统的结构示意图;
图2是本发明实施例中的碰撞仿真碰撞检测模块的场景示意图;
图3是本发明实施例中的机器人远程控制方法的流程示意图;
图中标号为:1-矩形包围盒。
具体实施方式
下面将结合附图和实施例,对本发明技术方案做进一步详细描述,显然所描述的实施例是本发明一部分实施例,而不是全部的实施例,本发明的实施方式并不限于此。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
本发明提供了一种机器人远程控制系统,通过信息采集模块采集机器人的实时运行数据,将机器人的运行数据实时反馈给在线仿真场景模块;通过仿真建模模块利用3D扫描仪和3ds MAX软件进行对现场设备进行实时仿真建模得到现场仿真模型,现场仿真模型与现场设备比例一致,通过现场仿真模型仿真映射现场设备实时情况,远程监控现场情况,通过仿真定位模块选取示教点,将示教点坐标发给控制模块。利用仿真虚拟世界里示教点的透明性,解决现实示教点定位问题;通过仿真路线规划模块选择路线轨迹点,通过机器人运动模块将路线轨迹点坐标转换为相对于所选机器人基坐标的路线轨迹点坐标,仿真碰撞检测模块根据路线轨迹点坐标进行碰撞检测仿真,若路线正常则归为正确的路线轨迹点,将正确的路线轨迹点发送给机器人,通过仿真中轨迹点和机器人运行库,使得机器人能够根据操作人所选取轨迹点进行模拟和回退,从而形成正确的轨迹路径发送给机器人,将路线轨迹点指令发送给机器人,远程控制机器人按正确的轨迹路径运行。
如图1所示,本发明提供一种机器人远程控制系统,一种机器人远程控制系统,包括服务端和客户端,其特征在于,包括信息采集模块、仿真场景模块、仿真定位模块、仿真路线规划模块、仿真碰撞检测模块、机器人运动模块和控制模块;
信息采集模块与机器人连接,信息采集模块用于采集机器人的实时运行数据,将机器人的运行数据实时发送给仿真场景模块;
具体地,所述信息采集机器人的实时运行数据,包括通过IOT网关采集远程操作时现场机器人的关节数据、IO数据,将机器人的关节数据、IO数据反馈给所述仿真场景模块。机器人的关节数据是指机器人当前姿态的关节坐标,IO数据可以用于判断机器人动作的,比如夹取动作。
仿真场景模块,用于构建现场机器人的仿真3D环境,根据机器人的运行数据对现场机器人进行实时运动仿真,为仿真定位模块和路线规划模基于仿真场景模块提供的仿真环境。
具体地,构建现场机器人的仿真3D环境,包括:根据生产线的设备的3D设计图获取第一生产设备模型,通过3D扫描仪扫描实际生产线的设备和环境信息,根据实际生产线的设备和环境信息生成第二环境模型,根据第一生产设备模型和第二环境模型生成仿真3D环境。
具体地,根据生产线的设备的3D设计图获取第一生产设备模型,工业生产线现场设备搭建前,机械组需要将生产线的所有设备3D设计图进行运行方案的模拟验证,将验证成功的3D设计图导出作为第一模型。生产线的设备主要是包括机器人、机床、夹具、生产工件、硬件设备等生产设备。实际生产线最终生产前,会因设备的实际尺寸、安装过程位置、现场程序调试等原因进行调整,导致第一模型与现实不符。
通过3D扫描仪扫描实际生产线的设备和环境信息,根据实际生产线的设备和环境信息生成第二环境模型:在实际生产线确认调整完毕后,进行3D扫描仪的校准和处理被扫描设备的表面,一般高精度的3D扫描仪能扫描出工业生产线的设备,对于有光泽、深色或半透明相对难扫描的物体,需要用哑光白色显影剂喷在模型上,扫描后可用水擦拭掉。处理完毕后,可对物体进行扫描,3D扫描仪自动进行点云拼接并直接生成第二模型。对于需要更详细的设备内部细节或模型细节,可以对其单独扫描生成单独备用模型。3D扫描仪整体扫描的时候,会把扫描实际生产线的设备,扫描地面等环境,环境并不影响生产线的仿真。
具体地,根据第一生产设备模型和第二环境模型生成仿真3D环境,包括:分别将第一生产设备模型和第二环境模型导入3D Max软件,将第二环境模型作为主要模型,当第二环境模型中的部分模型出现模糊或错误时,使用第一模型的相应模型替换第二环境模型中的出现模糊或错误的模型,设置设备模型参数后,最终生成仿真3D环境。
第二模型是通过3D扫描仪生成,因误差在1mm内可忽略此误差,将其作为主要使用的模型,如果某些模型部位出现较为模糊或错误,可将单独备用模型或者从所述第一模型替换到该位置,通过3DS Max软件对模型中的关节位置,夹具等关键模型修改层级关系和参数接口,进行模型材质、纹理的二次修改,建立能够响应实体工业机器人数据的相应模型,最终生成仿真3D环境。
本实施中,构建仿真3D环境通过WebGL绘图协议一种3D绘图协议实现,利用WebGL绘图协议现有封装好的模型导入库,将第一模型加载进去,WebGL绘图协议使用矩阵变换将3D图形转换到2D屏幕上,它可以将3D坐标系中的点转换到2D屏幕坐标系中,以便在屏幕上显示3D图形,最终生成一个3D环境,整个3D环境包括生产线模型和3D扫描仪扫描范围内的环境模型。
根据机器人的运行数据对现场机器人进行实时运动仿真,具体包括:
仿真场景模块收到机器人的关节数据,在每一帧将将关节坐标赋值给各个模型轴心角度值,在两帧数据的动画插补,通过使用WebGL绘图协议的动画库模拟从机器人当前帧到下一帧关节坐标的运动;仿真场景模块在收到机器人的IO数据后,通过使用WebGL绘图协议的动画库模拟机器人末端工具进行工序操作,工序操作更换、抓放、搬运、打磨等工序,最终实现在线仿真。
本实施例中,实现机器人的仿真,仿真场景模块接收到信息采集模块采集的机器人的关节数据后,在每一帧将关节坐标赋值给各个模型轴心角度值,通过使用WebGL绘图协议的tween()模型动画在两帧数据的动画插补,完成从当前帧到下一帧关节坐标的运动。tween()模型动画接收3个参数,第一个是当前模型的位置或角度,第二个参数是下一帧要移动的位置或角度,第三个参数是完成这个动画所需要的时间,即实现一个从当前位置或角度移动到下一个位置或角度的动画,期间每一帧的移动过程,会自动按照直线距离或下一角度进行动画插补。
本实施例中,可以用WebGL绘图协议的add()封装好的添加子模型库,将需要夹取、更换的模型给添加到另一模型中,比如给机器人末端更换末端工具、机器人夹取和放置工件等。配合实时读取到的数据,最终实现整套生产线的仿真。还可以实现其他设备模型简单的移动仿真,比如机床门的开合、机床内部道具的移动、工件在传送带上的传送、工件夹具的夹具动作等可以用tween()动画库在收到关键IO信号时触发动画,实现物体模型的夹取、更换。
仿真定位模块用于通过仿真模块选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块。示教点坐标是指机器人读取到的机器人末端工具相对于机器人基座的坐标点。
仿真定位模块利用仿真3D环境中任意点坐标的透明性,在仿真场景中任意一点的坐标是已知的,以及仿真与现实比例一致,能够选取任意的点位,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块,提供给控制模块示教,使得机器人快速获取示教点进行定位抓取。
具体地,仿真3D环境中获取目标定位点坐标并发送给机器人运动模块,包括:
通过WebGL绘图协议获取到仿真3D环境任意子模型相对于仿真3D环境的世界坐标,选取将移动的机器人基座模型作为目标点,将移动的机器人基座模型对于仿真3D环境的世界坐标发送给机器人运动模块。可以选取任意模型作为目标点,也可通过仿真场景模块创建目标点,并通过拖拽和输入的方式进行位置的移动。
仿真路线规划模块,用于在仿真3D环境中生成路线轨迹点坐标发送给机器人运动模块,机器人运动模块将将路线轨迹点坐标逆解为机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块,仿真路线规划模块与机器人运动模块连接。
路线规划模块利用仿真环境中任意点坐标的透明性,选取示教点后,通过机器人运动模块逆解出关节坐标发送个客户端进行仿真,通过在所述碰撞仿真碰撞检测模块进行碰撞检测,得到正确的轨迹点,最终将正确的轨迹点发送个机器人。
具体地,仿真路线规划模块将机器人的路线轨迹点包括多个移动目标点,将路线轨迹的路径分成多个线段,躲避直线路线轨迹路径上的障碍物。仿真场景模块选择路线轨迹点的移动目标点,将移动目标点坐标转换为相对于所选机器人基坐标的示教点坐标并传送给机器人运动模块;通过机器人运动模块将示教点坐标逆解移动目标点的机器人关节坐标,将移动目标点的机器人关节坐标发送给仿真场景模块。
选取一个移动目标点后,将移动目标点的坐标发送给机器人运动模块,通过机器人运动模块逆解出机器人的关节坐标,通过在所述仿真碰撞检测模块进行碰撞检测仿真,通过碰撞仿真碰撞检测模块看是否发生碰撞,如果碰撞则提示并回退到上一个路线重新选择,最终将正确的轨迹点发送个机器人。
离线仿真原理是假设想运动到某个点或者轨迹线,需要把这些点逆解成关节坐标,并非是直接将目标点位直接发送给机器人,而是通过离线仿真和所述的碰撞仿真碰撞检测模块检测是否发生碰撞。
所述机器人运动模块,用于将仿真路线规划模块的点坐标和路径轨迹点逆解成机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块,仿真场景模块根据机器人关节坐标根据进行离线仿真。
仿真碰撞检测模块,用于根据机器人基坐标的路线轨迹点坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点坐标移动过程是否发生碰撞;当机器人按路线轨迹点坐标移动过程没有发生碰撞,则认为路线轨迹点视为正确,将正确的路线轨迹点的坐标发送给发给控制模块。仿真场景模块根据成关节位置进行离线仿真,通过碰撞仿真碰撞检测模块进行碰撞检测离线仿真,当机器人按路线轨迹点坐标移动过程没有发生碰撞,则认为路线轨迹点视为正确,当当机器人按路线轨迹点坐标移动过程有发生碰撞,则重新选择一个路线目标点;最终将正确的路线轨迹点发送控制模块。
根据机器人基坐标的路线轨迹点坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点坐标移动过程是否发生碰撞,具体包括;
通过OBB有向包围盒的方法进行碰撞检测,通过利用碰撞检测库将需要进行碰撞检测的机器人模型关节处和障碍物模型分别生成一个包围盒,得到机器人模型包围盒和障碍物模型包围盒,将机器人关节的坐标实时赋值给机器人模型盒,包围盒可以是立方体或球体,包围盒的范围区域包围需要碰撞检测的范围区域,通过实时渲染使得包围盒跟随机器人模型做方向性运动,通过监听包器人模型包围盒和障碍物模型包围盒之间是否发生接触来判断两个包围盒之间是否碰撞,检测仿真检测机器人按路线轨迹点坐标移动过程是否与障碍物发生碰撞。
如图2所示,在机器人需要进行碰撞检测的关节处,套上恰好包围住的矩形包围盒1。具体的,在仿真中利用开源的Enable.JS碰撞检测库将需要进行碰撞的关节生成这些矩形包围盒,当两个盒子发生解除时,能够检测到发生碰撞。通过将机器人关节的坐标和位置实时赋值给盒子,使得机器人在运动的时候盒子能够紧密跟随。
开源的Enable.JS碰撞检测库包括Existing()方法和collision()方法,Existing()方法和collision()方法均可直接调用。其中existing()的作用是创建碰撞体,可用于创建立方体和凸面体碰撞物;collision()的作用是监听物体碰撞,用于检测物体的碰撞,该碰撞的位置和范围能够在客户端自由调整。在模型的外部通过existing()方法创建立方体碰撞体将其围起来,当模块发生碰撞时,collision()方法就能监听到物体发生碰撞,此时会将碰撞信息呈现在仿真界面。在线仿真中,超过安全检测范围时,会发送急停命令给服务端控制模块停止机器人。
控制模块,用于根据目标定位点的机器人关节坐标和正确的路线轨迹点的机器人关节坐标,生成轨迹路径控制指令并发送给机器人,远程控制机器人按正确的轨迹路径运行。目标点和路线轨迹确定后,通过控制模块产生控制命令,将目标点和移动指令发送给机器人,控制机器人朝目标点移动。
综上所述,本发明提供了一种机器人远程控制系统,通过3D仿真远程还原现场生产线的方法,在远程控制时对现场设备进行实时仿真,通过信息采集模块实时采集机器人轴坐标、现场设备IO数据,仿真场景模块根据机器人轴坐标、现场设备IO数据进行模拟仿真。利用3D扫描仪和3ds MAX软件进行建模,使得现场与模型比例一直,能够通过仿真映射现实;利用仿真虚拟世界里示教点的透明性,解决现实示教点定位问题;利用仿真碰撞检测的功能,和仿真中轨迹点和机器人运行库,使得机器人能够根据操作人所选取轨迹点进行模拟和回退,从何形成正确的轨迹路径发送给机器人,解决远程机器人运行路径规划问题。
实施例2:
如图3所示,基于上述的一种机器人远程控制系统,本实施例还提出一种机器人远程控制方法,一种机器人远程控制方法包括以下步骤:
通过信息采集模块于采集机器人的实时运行数据,将机器人的运行数据实时发送给仿真场景模块;
通过仿真场景模块构建现场设备的仿真3D环境,根据机器人的运行数据对现场机器人进行实时运动仿真;
通过仿真定位模块在仿真3D环境中选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块;
通过仿真路线规划模块在仿真3D环境中生成路线轨迹点坐标发送给机器人运动模块,机器人运动模块将路径轨迹点坐标逆解成机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块;
通过仿真碰撞检测模块根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点移动过程是否与障碍物发生碰撞;当机器人按路线轨迹点移动过程没有发生碰撞,则认为路线轨迹点正确,将正确的路线轨迹点节坐标发送给控制模块;
通过控制模块根据目标定位点的示教点坐标和正确的路线轨迹点节坐标,生成轨迹路径控制指令并发送给机器人,远程控制机器人按正确的轨迹路径运行。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种机器人远程控制系统,其特征在于,包括信息采集模块、仿真场景模块、仿真定位模块、仿真路线规划模块、仿真碰撞检测模块、机器人运动模块和控制模块;
信息采集模块与机器人连接,信息采集模块用于采集机器人的实时运行数据,将机器人的运行数据实时发送给仿真场景模块;
仿真场景模块,用于构建现场设备的仿真3D环境,根据机器人的运行数据对现场机器人进行实时运动仿真;
仿真定位模块,用于通过仿真模块选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块;
仿真路线规划模块与机器人运动模块连接,仿真路线规划模块用于在仿真3D环境中生成路线轨迹点坐标发送给机器人运动模块;机器人运动模块将路径轨迹点坐标逆解成机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块;
仿真碰撞检测模块,用于根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点移动过程是否与障碍物发生碰撞;当机器人按路线轨迹点移动过程没有发生碰撞,则认为路线轨迹点正确,将正确的路线轨迹点节坐标发送给控制模块;
控制模块,用于根据目标定位点的示教点坐标和正确的路线轨迹点节坐标,生成轨迹路径控制指令并发送给机器人,远程控制机器人按正确的轨迹路径运行。
2.根据权利要求1所述的一种机器人远程控制系统,其特征在于,所述采集机器人的实时运行数据,包括通过IOT网关采集现场机器人的关节数据、IO数据。
3.根据权利要求2所述的一种机器人远程控制系统,其特征在于,所述构建现场设备的仿真3D环境,包括:根据生产线的设备的3D设计图获取第一生产设备模型,通过3D扫描仪扫描实际生产线的设备和环境信息,根据实际生产线的设备和环境信息生成第二环境模型,根据第一生产设备模型和第二环境模型生成仿真3D环境。
4.根据权利要求3所述的一种机器人远程控制系统,其特征在于,所述根据第一生产设备模型和第二环境模型生成仿真3D环境,包括:分别将第一生产设备模型和第二环境模型导入3D Max软件,将第二环境模型作为主要模型,当第二环境模型中的部分模型出现模糊或错误时,使用第一模型的相应模型替换第二环境模型中的出现模糊或错误的模型,设置设备模型参数并生成最终仿真3D环境。
5.根据权利要求3所述的一种机器人远程控制系统,其特征在于,所述根据机器人的运行数据对现场机器人进行实时运动仿真,具体包括:仿真场景模块收到机器人的关节数据,在每一帧将将关节坐标赋值给各个模型轴心角度值,在两帧数据的动画插补,通过使用WebGL绘图协议的动画库模拟从机器人当前帧到下一帧关节坐标的运动;仿真场景模块在收到机器人的IO数据后,通过使用WebGL绘图协议的动画库模拟机器人末端工具进行工序操作。
6.根据权利要求1所述的一种机器人远程控制系统,其特征在于,所述通过仿真模块选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块,包括:通过WebGL绘图协议获取到仿真3D环境任意子模型相对于仿真3D环境的世界坐标,选取将移动的机器人基座模型作为目标点,将移动的机器人基座模型对于仿真3D环境的世界坐标发送给控制模块。
7.根据权利要求1所述的一种机器人远程控制系统,其特征在于,所述机器人的路线轨迹点包括多个移动目标点,将路线轨迹的路径分成多个线段;通过仿真场景模块选择路线轨迹点的移动目标点,将移动目标点坐标转换为相对于所选机器人基坐标的示教点坐标并传送给机器人运动模块;通过机器人运动模块将示教点坐标逆解移动目标点的机器人关节坐标,将移动目标点的机器人关节坐标发送给仿真场景模块。
8.根据权利要求7所述的一种机器人远程控制系统,其特征在于,所述根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点移动过程是否与障碍物发生碰撞,具体包括;
通过OBB有向包围盒的方法进行碰撞检测,通过利用碰撞检测库将需要进行碰撞检测的机器人模型关节处和障碍物模型分别生成一个包围盒,得到机器人模型包围盒和障碍物模型包围盒,将机器人关节的坐标实时赋值给机器人模型包围盒,通过实时渲染使得机器人模型包围盒跟随机器人模型做方向性运动,通过监听机器人模型包围盒和障碍物模型包围盒之间是否发生接触来判断两个包围盒之间是否碰撞,检测仿真检测机器人按路线轨迹点坐标移动过程是否与障碍物发生碰撞。
9.根据权利要求8所述的一种机器人远程控制系统,其特征在于,所述碰撞检测库为Enable.JS碰撞检测库。
10.一种机器人远程控制方法,基于权利要求1-9所述的任意一项所述的一种机器人远程控制系统实现,其特征在于,包括以下步骤:
通过信息采集模块于采集机器人的实时运行数据,将机器人的运行数据实时发送给仿真场景模块;
通过仿真场景模块构建现场设备的仿真3D环境,根据机器人的运行数据对现场机器人进行实时运动仿真;
通过仿真定位模块在仿真3D环境中选择目标定位点,将目标定位点坐标转换为相对于所选机器人基坐标的示教点坐标,将示教点坐标发给控制模块;
通过仿真路线规划模块在仿真3D环境中生成路线轨迹点坐标发送给机器人运动模块,机器人运动模块将路径轨迹点坐标逆解成机器人关节坐标,将机器人关节坐标发送给仿真碰撞检测模块;
通过仿真碰撞检测模块根据路线轨迹点的机器人关节坐标进行碰撞检测离线仿真,仿真检测机器人按路线轨迹点移动过程是否与障碍物发生碰撞;当机器人按路线轨迹点移动过程没有发生碰撞,则认为路线轨迹点正确,将正确的路线轨迹点节坐标发送给控制模块;
通过控制模块根据目标定位点的示教点坐标和正确的路线轨迹点节坐标,生成轨迹路径控制指令并发送给机器人,远程控制机器人按正确的轨迹路径运行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310632687.XA CN116833999A (zh) | 2023-05-31 | 2023-05-31 | 一种机器人远程控制系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310632687.XA CN116833999A (zh) | 2023-05-31 | 2023-05-31 | 一种机器人远程控制系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116833999A true CN116833999A (zh) | 2023-10-03 |
Family
ID=88158995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310632687.XA Pending CN116833999A (zh) | 2023-05-31 | 2023-05-31 | 一种机器人远程控制系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116833999A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118097564A (zh) * | 2024-04-19 | 2024-05-28 | 南京国电南自轨道交通工程有限公司 | 一种基于虚拟现实技术的地铁场景图像样本仿真构建方法 |
-
2023
- 2023-05-31 CN CN202310632687.XA patent/CN116833999A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118097564A (zh) * | 2024-04-19 | 2024-05-28 | 南京国电南自轨道交通工程有限公司 | 一种基于虚拟现实技术的地铁场景图像样本仿真构建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108286949B (zh) | 一种可移动式三维检测机器人系统 | |
US10046459B2 (en) | Three-dimensional visual servoing for robot positioning | |
CN104385282A (zh) | 一种视觉智能数控系统及其视觉计测方法 | |
CN110682291B (zh) | 一种基于vr的机器人遥操作系统及其遥操作方法 | |
Aracil et al. | Telerobotic system for live-power line maintenance: ROBTET | |
Melchiorre et al. | Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach | |
CN116833999A (zh) | 一种机器人远程控制系统和方法 | |
CN107257946B (zh) | 用于虚拟调试的系统 | |
CN114407015A (zh) | 一种基于数字孪生的遥操作机器人在线示教系统及方法 | |
CN114775724A (zh) | 一种基于数字孪生的井控应急抢险远程协同作业方法 | |
JP7138856B2 (ja) | 俯瞰映像提示システム | |
Yang et al. | Visual servoing control of baxter robot arms with obstacle avoidance using kinematic redundancy | |
Pachidis et al. | Vision-based path generation method for a robot-based arc welding system | |
Rastogi et al. | Telerobotic control with stereoscopic augmented reality | |
Borangiu et al. | Robot arms with 3D vision capabilities | |
Fetzner et al. | A 3D representation of obstacles in the robots reachable area considering occlusions | |
Rachmielowski et al. | Performance evaluation of monocular predictive display | |
Shen et al. | Safe assembly motion-A novel approach for applying human-robot co-operation in hybrid assembly systems | |
JPH11338532A (ja) | 教示装置 | |
Filaretov et al. | Human machine interface based on virtual reality for programming industrial robots | |
Sukumar et al. | Augmented reality-based tele-robotic system architecture for on-site construction | |
Berti et al. | Human-robot interaction and tracking using low cost 3d vision systems | |
Kidiraliev et al. | Using optical sensors for industrial robot-human interactions in a Gazebo environment | |
Hu et al. | Performance of predictive display teleoperation under different delays with different degree of freedoms | |
Bingol et al. | The development of an intelligent drilling robot system based on Robot Operating System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |