CN110732601A - 基于视觉检测的机械手辅助上下料和避障检测系统及方法 - Google Patents
基于视觉检测的机械手辅助上下料和避障检测系统及方法 Download PDFInfo
- Publication number
- CN110732601A CN110732601A CN201910931647.9A CN201910931647A CN110732601A CN 110732601 A CN110732601 A CN 110732601A CN 201910931647 A CN201910931647 A CN 201910931647A CN 110732601 A CN110732601 A CN 110732601A
- Authority
- CN
- China
- Prior art keywords
- manipulator
- feeding
- obstacle
- wireless communication
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000007599 discharging Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 44
- 239000000463 material Substances 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 52
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D43/00—Feeding, positioning or storing devices combined with, or arranged in, or specially adapted for use in connection with, apparatus for working or processing sheet metal, metal tubes or metal profiles; Associations therewith of cutting devices
- B21D43/02—Advancing work in relation to the stroke of the die or tool
- B21D43/04—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work
- B21D43/10—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work by grippers
- B21D43/11—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work by grippers for feeding sheet or strip material
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21C—MANUFACTURE OF METAL SHEETS, WIRE, RODS, TUBES OR PROFILES, OTHERWISE THAN BY ROLLING; AUXILIARY OPERATIONS USED IN CONNECTION WITH METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL
- B21C51/00—Measuring, gauging, indicating, counting, or marking devices specially adapted for use in the production or manipulation of material in accordance with subclasses B21B - B21F
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D43/00—Feeding, positioning or storing devices combined with, or arranged in, or specially adapted for use in connection with, apparatus for working or processing sheet metal, metal tubes or metal profiles; Associations therewith of cutting devices
- B21D43/02—Advancing work in relation to the stroke of the die or tool
- B21D43/04—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work
- B21D43/10—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work by grippers
- B21D43/105—Manipulators, i.e. mechanical arms carrying a gripper element having several degrees of freedom
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本发明公开了基于视觉检测的机械手辅助上下料和避障检测系统及方法，包括送料系统，视觉检测装置和控制终端；送料系统为上料和下料一组机械手，上料机械手负责将物料送至压力机，下料机械手负责将折弯的板料从压力机下取出并码放在指定位置；视觉检测装置包括升降台、视觉传感器、数据处理单元，该装置主要负责对工作台的环境进行视觉扫描，经数据处理单元处理将信号传输给控制终端；所述控制终端包括控制台和显示器，通过无线收发模块与视觉检测装置相连，可以将视觉传感器检测到的图像直观显示出来，同时将控制指令传输给上料和下料机械手，帮助其及时识别障碍物以完成上料和下料作业，具备远程终端操控功能。
Description
技术领域
本发明涉及机械手智能折弯作业领域，特别涉及基于视觉检测的机械手辅助上下料和避障检测系统及方法。
背景技术
在金属板材成形领域，板材的安全上料问题一直是一个避不开的话题，早期的板材成形制造领域，都是依靠人工将板材搬运到压力机或者压力机的上料口完成板材的上料，但是对于这种大型机器而言，近距离的接触会对工作人员造成巨大的威胁，稍有不慎就会操作人员产生人身伤害，随着技术的发展，工业机器人开始代替人们从事这些安全风险较大的工作，早期的机械手在代替人们上料的过程中不能像人类这样多感官协调工作，因而存在会与板材或周围环境碰撞的隐患，甚至造成人身伤害事故，随着现代传感器技术的发展，机械手的灵活性问题可以有更好的解决思路。
发明内容
为了克服现有技术中的不足，本发明提供基于视觉检测的机械手辅助上下料和避障检测系统及方法，解决现有技术中通过人工进行上下料及避障所产生的安全问题。
为了达到上述发明目的，解决其技术问题所采用的技术方案如下：
本发明公开了基于视觉检测的机械手辅助上下料和避障检测系统，包括送料系统、视觉检测装置和控制终端，其中：
所述送料系统包括上料机械手控制柜、上料机械手、下料机械手控制柜、下料机械手和第一无线通讯装置，其中：
所述上料机械手控制柜设置在工作区内，用于通过控制所述上料机械手从而实现对待加工板材的搬运；
所述上料机械手设置在所述上料机械手控制柜的上方，并与所述上料机械手控制柜固定连接，用于将位于工作区内的待加工板材传送至压力机；
所述下料机械手控制柜设置在工作区内，用于通过控制所述下料机械手从而实现对加工后板材的码放；
所述下料机械手设置在所述下料机械手控制柜的上方，并与所述下料机械手控制柜固定连接，用于将折弯的加工后板材从压力机下取出并码放到工作区内的指定位置；
所述上料机械手和下料机械手的末端均安装有距离传感器，用于检测所述上料机械手和/或下料机械手与工作区内的障碍物之间的距离；
所述第一无线通讯装置分别内置于所述上料机械手控制柜和下料机械手控制柜中，用以接收所述控制终端传送的第一控制指令、第二控制指令和/或第三控制指令；
所述视觉检测装置包括视觉传感器、升降台、数据处理单元以及第二无线通讯装置，其中：
所述升降台设置于工作区内，用于带动所述视觉传感器进行上升或下降；
所述视觉传感器设置于所述升降台的顶部，并位于所述上料机械手和下料机械手相对的一侧，用于对工作区内的环境进行视觉扫描得到原始环境图像/视频；
所述数据处理单元内置于所述升降台内部，并与所述视觉传感器、第二无线通讯装置电性连接，用于对所述视觉传感器检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；
所述第二无线通讯装置内置于所述升降台内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端；
所述控制终端包括控制台和第三无线通讯装置，其中：
所述控制台设置于工作区外，用于当检测到工作区内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材与压力机上料口的相对位置从而形成第一控制指令或快递确定加工后板材与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；
所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手和/或下料机械手从而完成避障。
进一步的，所述控制终端还包括显示器，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器检测到的原始环境图像/视频。
进一步的，所述控制终端还包括报警器，所述报警器与所述控制台相连，用于当检测到工作区内存在移动障碍物且障碍物的移动速度过快已经不足以让系统重新规划移动路径时触发报警器进行报警。
优选的，所述视觉传感器为双目视觉相机，用于通过对工作区环境图像/视频的采集与后处理，剔除图像/视频中的干扰杂质，再通过数据处理单元对图像/视频的填充分割、边缘提取得到精准的障碍物位置与形状信息，进而通过数据处理单元实现地图重建，实现机械手的避障与导航。
优选的，所述第一无线通讯装置、第二无线通讯装置和第三无线通讯装置均为信号收发器。
本发明还公开了基于视觉检测的机械手辅助上下料及避障检测方法，利用上述所述基于视觉检测的机械手辅助上下料及避障检测系统进行上下料及避障，具体包括以下步骤：
步骤1：根据工作区环境给上下料机械手预设基本移动路径；
步骤2：激活视觉检测装置使其处于工作模式；
步骤3：当移动路径中不存在未知障碍物时，视觉传感器辅助机械手进行板材的精准上下料；当移动路径中存在未知障碍物时，视觉传感器采集障碍物空间及速度信息并制定新的路径；
步骤4：当路径规划成功时，视觉传感器辅助机械手进行板材的精准上下料；当路径规划不成功且与障碍物存在碰撞风险时，报警系统报警，同时放弃原路径并调用机械手末端的距离传感器进行单纯避障；
步骤5：单纯避障成功后重新规划路径，视觉传感器辅助机械手进行板材的精准上下料。
进一步的，步骤2中，在上下料机械手吸附板材移动的过程中，视觉传感器全程监控整个工作区。
进一步的，步骤3中，移动路径中不存在未知障碍物时，当待加工板材即将送至压力机工作区范围时，视觉传感器会扫描压力机工作区的图像/视频信息，经过数据处理单元的处理，快速确定待加工板材与压力机上料口的相对位置，并通过第二无线通讯装置将经过数据处理单元处理后得到的图像/视频信息传送到控制台，由控制台形成第一控制指令，第一控制指令通过第三无线通讯装置传送给上料机械手从而使得机械手更加精准的完成上料过程。
进一步的，步骤3中，移动路径中存在未知障碍物时，根据视觉传感器检测到的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测划定所预测的该轨迹以及周围的一部分空间范围为危险区域。
进一步的，步骤4中，针对移动障碍物的移动速度设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发报警系统。
本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
本发明基于视觉检测的机械手辅助上下料和避障检测系统，将视觉检测整合进来，用于工作区全场的环境障碍物扫描以及辅助机械手的精准送料，利用无线通讯实现系统间的联系与控制，方便操作人员在安全区域内远程通过控制终端实时观测设备运行状态，并保有对设备的紧急控制权。该系统有效克服了现有技术中通过人工进行上下料及避障的安全性问题，具有安全性高、智能化程度高、结构简单、操作方便、适应性好等特点，易于市场推广应用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1是本发明基于视觉检测的机械手辅助上下料和避障检测系统中机械手辅助安全上料系统工作场景图；
图2是本发明基于视觉检测的机械手辅助上下料和避障检测系统中上下料机械手结构示意图；
图3是本发明基于视觉检测的机械手辅助上下料和避障检测系统中视觉检测装置的结构示意图；
图4是本发明基于视觉检测的机械手辅助上下料和避障检测方法的具体工作流程示意图。
【主要符号说明】
1-压力机；
2-上料机械手控制柜；
3-上料机械手；
4-下料机械手控制柜；
5-下料机械手；
6-工作区；
7-视觉检测装置；
71-视觉传感器；
72-升降台；
8-加工后板材；
9-待加工板材；
10-控制终端。
具体实施方式
以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例一
如图1-3所示，本发明公开了基于视觉检测的机械手辅助上下料和避障检测系统，包括送料系统(未图示)、视觉检测装置7和控制终端10，其中：
所述送料系统包括上料机械手控制柜2、上料机械手3、下料机械手控制柜4、下料机械手5和第一无线通讯装置(未图示)，其中：
所述上料机械手控制柜2设置在工作区6内，用于通过控制所述上料机械手3从而实现对待加工板材9的搬运；
所述上料机械手3设置在所述上料机械手控制柜2的上方，并与所述上料机械手控制柜2固定连接，用于将位于工作区6内的待加工板材9传送至压力机1；9
所述下料机械手控制柜4设置在工作区6内，用于通过控制所述下料机械手5从而实现对加工后板材8的码放；
所述下料机械手5设置在所述下料机械手控制柜4的上方，并与所述下料机械手控制柜4固定连接，用于将折弯的加工后板材8从压力机1下取出并码放到工作区6内的指定位置；
所述上料机械手3和下料机械手5的末端均安装有距离传感器(未图示)，用于检测所述上料机械手3和/或下料机械手5与工作区6内的障碍物之间的距离；
所述第一无线通讯装置分别内置于所述上料机械手控制柜2和下料机械手控制柜4中，用以接收所述控制终端10传送的第一控制指令、第二控制指令和/或第三控制指令；
所述视觉检测装置7包括视觉传感器71、升降台72、数据处理单元(未图示)以及第二无线通讯装置(未图示)，如图3，其中：
所述升降台72设置于工作区6内，用于带动所述视觉传感器71进行上升或下降；
所述视觉传感器71设置于所述升降台72的顶部，并位于所述上料机械手3和下料机械手5相对的一侧，用于对工作区6内的环境进行视觉扫描得到原始环境图像/视频；本实施例中，所述视觉传感器71为双目视觉相机，用于通过对工作区6环境图像/视频的采集与后处理，剔除图像/视频中的干扰杂质，再通过数据处理单元对图像/视频的填充分割、边缘提取得到精准的障碍物位置与形状信息，进而通过数据处理单元实现地图重建，实现机械手的避障与导航。
所述数据处理单元内置于所述升降台72内部，并与所述视觉传感器71、第二无线通讯装置电性连接，用于对所述视觉传感器71检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；
所述第二无线通讯装置内置于所述升降台72内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端10无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端10；
所述控制终端10包括控制台(未图示)和第三无线通讯装置(未图示)，其中：
所述控制台设置于工作区6外，用于当检测到工作区6内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材9与压力机1上料口的相对位置从而形成第一控制指令或快递确定加工后板材8与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区6内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；
所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手3和/或下料机械手5从而完成避障。
进一步的，所述控制终端10还包括显示器(未图示)，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器71检测到的原始环境图像/视频。
进一步的，所述控制终端10还包括报警器(未图示)，所述报警器与所述控制台相连，用于当检测到工作区6内存在移动障碍物且障碍物的移动速度过快已经不足以让系统重新规划移动路径时触发报警器进行报警。
优选的，所述第一无线通讯装置、第二无线通讯装置和第三无线通讯装置均为信号收发器。
实施例二
如图4所示，本发明还公开了基于视觉检测的机械手辅助上下料及避障检测方法，利用上述所述基于视觉检测的机械手辅助上下料及避障检测系统进行上下料及避障，具体包括以下步骤：
步骤1：根据工作区环境给上下料机械手预设基本移动路径；
步骤2：激活视觉检测装置7使其处于工作模式；
步骤3：当移动路径中不存在未知障碍物时，视觉传感器71辅助机械手进行板材的精准上下料；当移动路径中存在未知障碍物时，视觉传感器71采集障碍物空间及速度信息并制定新的路径；
步骤4：当路径规划成功时，视觉传感器71辅助机械手进行板材的精准上下料；当路径规划不成功且与障碍物存在碰撞风险时，报警系统报警，同时放弃原路径并调用机械手末端的距离传感器进行单纯避障；
步骤5：单纯避障成功后重新规划路径，视觉传感器71辅助机械手进行板材的精准上下料。
进一步的，步骤2中，在上下料机械手吸附板材移动的过程中，视觉传感器71全程监控整个工作区6。
进一步的，步骤3中，移动路径中不存在未知障碍物时，当待加工板材9即将送至压力机1工作区6范围时，视觉传感器71会扫描压力机1工作区6的图像/视频信息，经过数据处理单元的处理，快速确定待加工板材9与压力机1上料口的相对位置，并通过第二无线通讯装置将经过数据处理单元处理后得到的图像/视频信息传送到控制台，由控制台形成第一控制指令，第一控制指令通过第三无线通讯装置传送给上料机械手3从而使得机械手更加精准的完成上料过程。
进一步的，步骤3中，移动路径中存在未知障碍物时，根据视觉传感器71检测到的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测划定所预测的该轨迹以及周围的一部分空间范围为危险区域。
进一步的，步骤4中，针对移动障碍物的移动速度设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发报警系统。
具体工作原理：
在正常的工作模式下，视觉传感器71也可以启动工作模式，事实上，在工作环境中已经明确了物料(板材)、目标以及静止障碍物的位置时，则可以确定上下料机械手大致的移动轨迹，在未遇到移动障碍物的条件下，上下料机械手按照预设的程序可以完成物料的搬运并将物料移动到压力机1的工作区6，当物料即将送至压力机1工作区6范围时，视觉传感器71会扫描压力机1工作区6的图像/视频信息，经过数据处理单元的处理，快速确定物料与压力机1上料口的相对位置，并通过无线信号传输将指令传送到上料机械手控制柜2，由控制柜向机械手传达指令，使得机械手更加精准的完成上料过程。
如果在板材搬运的过程中存在移动障碍物时，视觉传感器71则需要在辅助上料的基础上增加避障功能，在机械手吸附板材移动的过程中，视觉传感器71需要全程监控整个工作区6，当检测到工作区6内存在移动障碍物时，则需要根据视觉传感器71捕获的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测，划定所预测的该轨迹以及周围的一部分空间范围为危险区域，保证该系统有一定的容错空间。视觉传感器71将处理计算后的数据信息传递给控制台，控制台一方面迅速的给机械手修改移动轨迹以完成障碍物的躲避，另一方实时的将计算结果显示在显示器上。该系统针对移动障碍物的移动速度会设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发系统的报警系统，同时系统则将放弃原来的路径，单纯的进行障碍物躲避，此过程需要借助安装在机械臂末端的距离传感器获得与障碍物的距离信息，并设置一个极限安全距离，由控制器完成对机械手向着安全距离延长线的反方运动，两者距离越小，需要控制机械手移动避障的速度越快，类似于一种斥力效应，尽可能保证两者不会碰撞。
以上为整个机械手上料过程，下料的原理与此类似，为上料的逆过程，原理完全一致，此处不做赘述。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，包括送料系统、视觉检测装置和控制终端，其中：
所述送料系统包括上料机械手控制柜、上料机械手、下料机械手控制柜、下料机械手和第一无线通讯装置，其中：
所述上料机械手控制柜设置在工作区内，用于通过控制所述上料机械手从而实现对待加工板材的搬运；
所述上料机械手设置在所述上料机械手控制柜的上方，并与所述上料机械手控制柜固定连接，用于将位于工作区内的待加工板材传送至压力机；
所述下料机械手控制柜设置在工作区内，用于通过控制所述下料机械手从而实现对加工后板材的码放；
所述下料机械手设置在所述下料机械手控制柜的上方，并与所述下料机械手控制柜固定连接，用于将折弯的加工后板材从压力机下取出并码放到工作区内的指定位置；
所述上料机械手和下料机械手的末端均安装有距离传感器，用于检测所述上料机械手和/或下料机械手与工作区内的障碍物之间的距离；
所述第一无线通讯装置分别内置于所述上料机械手控制柜和下料机械手控制柜中，用以接收所述控制终端传送的第一控制指令、第二控制指令和/或第三控制指令；
所述视觉检测装置包括视觉传感器、升降台、数据处理单元以及第二无线通讯装置，其中：
所述升降台设置于工作区内，用于带动所述视觉传感器进行上升或下降；
所述视觉传感器设置于所述升降台的顶部，并位于所述上料机械手和下料机械手相对的一侧，用于对工作区内的环境进行视觉扫描得到原始环境图像/视频；
所述数据处理单元内置于所述升降台内部，并与所述视觉传感器、第二无线通讯装置电性连接，用于对所述视觉传感器检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；
所述第二无线通讯装置内置于所述升降台内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端；
所述控制终端包括控制台和第三无线通讯装置，其中：
所述控制台设置于工作区外，用于当检测到工作区内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材与压力机上料口的相对位置从而形成第一控制指令或快递确定加工后板材与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；
所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手和/或下料机械手从而完成避障。
2.根据权利要求1所述的基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，所述控制终端还包括显示器，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器检测到的原始环境图像/视频。
3.根据权利要求1所述的基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，所述控制终端还包括报警器，所述报警器与所述控制台相连，用于当检测到工作区内存在移动障碍物且障碍物的移动速度过快已经不足以让系统重新规划移动路径时触发报警器进行报警。
4.根据权利要求1所述的基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，所述视觉传感器为双目视觉相机，用于通过对工作区环境图像/视频的采集与后处理，剔除图像/视频中的干扰杂质，再通过数据处理单元对图像/视频的填充分割、边缘提取得到精准的障碍物位置与形状信息，进而通过数据处理单元实现地图重建，实现机械手的避障与导航。
5.根据权利要求1所述的基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，所述第一无线通讯装置、第二无线通讯装置和第三无线通讯装置均为信号收发器。
6.基于视觉检测的机械手辅助上下料及避障检测方法，其特征在于，利用权利要求1-5中任意一项所述基于视觉检测的机械手辅助上下料及避障检测系统进行上下料及避障，具体包括以下步骤：
步骤1：根据工作区环境给上下料机械手预设基本移动路径；
步骤2：激活视觉检测装置使其处于工作模式；
步骤3：当移动路径中不存在未知障碍物时，视觉传感器辅助机械手进行板材的精准上下料；当移动路径中存在未知障碍物时，视觉传感器采集障碍物空间及速度信息并制定新的路径；
步骤4：当路径规划成功时，视觉传感器辅助机械手进行板材的精准上下料；当路径规划不成功且与障碍物存在碰撞风险时，报警系统报警，同时放弃原路径并调用机械手末端的距离传感器进行单纯避障；
步骤5：单纯避障成功后重新规划路径，视觉传感器辅助机械手进行板材的精准上下料。
7.根据权利要求6所述的基于视觉检测的机械手辅助上下料和避障检测方法，其特征在于，步骤2中，在上下料机械手吸附板材移动的过程中，视觉传感器全程监控整个工作区。
8.根据权利要求6所述的基于视觉检测的机械手辅助上下料和避障检测方法，其特征在于，步骤3中，移动路径中不存在未知障碍物时，当待加工板材即将送至压力机工作区范围时，视觉传感器会扫描压力机工作区的图像/视频信息，经过数据处理单元的处理，快速确定待加工板材与压力机上料口的相对位置，并通过第二无线通讯装置将经过数据处理单元处理后得到的图像/视频信息传送到控制台，由控制台形成第一控制指令，第一控制指令通过第三无线通讯装置传送给上料机械手从而使得机械手更加精准的完成上料过程。
9.根据权利要求6所述的基于视觉检测的机械手辅助上下料和避障检测方法，其特征在于，步骤3中，移动路径中存在未知障碍物时，根据视觉传感器检测到的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测划定所预测的该轨迹以及周围的一部分空间范围为危险区域。
10.根据权利要求6所述的基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，步骤4中，针对移动障碍物的移动速度设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发报警系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910931647.9A CN110732601B (zh) | 2019-09-27 | 2019-09-27 | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910931647.9A CN110732601B (zh) | 2019-09-27 | 2019-09-27 | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110732601A true CN110732601A (zh) | 2020-01-31 |
| CN110732601B CN110732601B (zh) | 2024-05-14 |
Family
ID=69268247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910931647.9A Active CN110732601B (zh) | 2019-09-27 | 2019-09-27 | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110732601B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985675A (zh) * | 2020-06-01 | 2020-11-24 | 梅卡曼德（北京）机器人科技有限公司 | 托盘空间规划方法、码垛方法及其装置、及电子设备 |
| CN112140102A (zh) * | 2020-06-08 | 2020-12-29 | 深圳市越疆科技有限公司 | 一种工业机器人的避障方法、装置和系统 |
| CN112518980A (zh) * | 2020-11-27 | 2021-03-19 | 湖南华好智能装备有限责任公司 | 一种用于混凝土预制件的装配设备 |
| CN113062601A (zh) * | 2021-03-17 | 2021-07-02 | 同济大学 | 一种基于q学习的混凝土布料机器人轨迹规划方法 |
| CN113937036A (zh) * | 2021-10-15 | 2022-01-14 | 安徽耐科装备科技股份有限公司 | 一种上料检测装置以及自动封装系统 |
| CN116468351B (zh) * | 2023-06-16 | 2023-11-07 | 深圳市磅旗科技智能发展有限公司 | 一种基于大数据的智慧物流管理方法、系统以及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09267276A (ja) * | 1996-03-30 | 1997-10-14 | Technol Res Assoc Of Medical & Welfare Apparatus | 搬送ロボットシステム |
| CN102642331A (zh) * | 2012-04-25 | 2012-08-22 | 华南理工大学 | 压力机上下料机械手控制系统 |
| CN105107988A (zh) * | 2015-09-18 | 2015-12-02 | 芜湖日升重型机床有限公司 | 一种数控机床中上下料助力机械手 |
| CN205438622U (zh) * | 2016-03-04 | 2016-08-10 | 潮州市潮安区戈士兴机器设备有限公司 | 带保护功能的自动上下料机械手装置 |
| WO2018108098A1 (zh) * | 2016-12-14 | 2018-06-21 | 国网江苏省电力公司常州供电公司 | 一种基于多传感器信息融合的带电作业机器人自主作业方法 |
| CN108274469A (zh) * | 2018-04-23 | 2018-07-13 | 东北大学 | 基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法 |
| CN109015642A (zh) * | 2018-08-16 | 2018-12-18 | 苏州市运泰利自动化设备有限公司 | 上下料控制方法及系统 |
| CN109048926A (zh) * | 2018-10-24 | 2018-12-21 | 河北工业大学 | 一种基于立体视觉的机器人智能避障系统及方法 |
| CN210788964U (zh) * | 2019-09-27 | 2020-06-19 | 上海应用技术大学 | 一种基于视觉检测的机械手辅助上下料和避障检测系统 |
-
2019
- 2019-09-27 CN CN201910931647.9A patent/CN110732601B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09267276A (ja) * | 1996-03-30 | 1997-10-14 | Technol Res Assoc Of Medical & Welfare Apparatus | 搬送ロボットシステム |
| CN102642331A (zh) * | 2012-04-25 | 2012-08-22 | 华南理工大学 | 压力机上下料机械手控制系统 |
| CN105107988A (zh) * | 2015-09-18 | 2015-12-02 | 芜湖日升重型机床有限公司 | 一种数控机床中上下料助力机械手 |
| CN205438622U (zh) * | 2016-03-04 | 2016-08-10 | 潮州市潮安区戈士兴机器设备有限公司 | 带保护功能的自动上下料机械手装置 |
| WO2018108098A1 (zh) * | 2016-12-14 | 2018-06-21 | 国网江苏省电力公司常州供电公司 | 一种基于多传感器信息融合的带电作业机器人自主作业方法 |
| CN108274469A (zh) * | 2018-04-23 | 2018-07-13 | 东北大学 | 基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法 |
| CN109015642A (zh) * | 2018-08-16 | 2018-12-18 | 苏州市运泰利自动化设备有限公司 | 上下料控制方法及系统 |
| CN109048926A (zh) * | 2018-10-24 | 2018-12-21 | 河北工业大学 | 一种基于立体视觉的机器人智能避障系统及方法 |
| CN210788964U (zh) * | 2019-09-27 | 2020-06-19 | 上海应用技术大学 | 一种基于视觉检测的机械手辅助上下料和避障检测系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985675A (zh) * | 2020-06-01 | 2020-11-24 | 梅卡曼德（北京）机器人科技有限公司 | 托盘空间规划方法、码垛方法及其装置、及电子设备 |
| WO2021243924A1 (zh) * | 2020-06-01 | 2021-12-09 | 梅卡曼德（北京）机器人科技有限公司 | 托盘空间规划方法、码垛方法及其装置、及电子设备 |
| CN113902221A (zh) * | 2020-06-01 | 2022-01-07 | 梅卡曼德（北京）机器人科技有限公司 | 基于托盘空间规划结果的码垛方法、装置及电子设备 |
| US11797927B2 (en) | 2020-06-01 | 2023-10-24 | Mech-Mind Robotics Technologies Ltd. | Tray space planning method, palletizing method and apparatus thereof, and electronic device |
| CN111985675B (zh) * | 2020-06-01 | 2024-01-30 | 梅卡曼德（北京）机器人科技有限公司 | 托盘空间规划方法、码垛方法及其装置、及电子设备 |
| CN112140102A (zh) * | 2020-06-08 | 2020-12-29 | 深圳市越疆科技有限公司 | 一种工业机器人的避障方法、装置和系统 |
| CN112518980A (zh) * | 2020-11-27 | 2021-03-19 | 湖南华好智能装备有限责任公司 | 一种用于混凝土预制件的装配设备 |
| CN113062601A (zh) * | 2021-03-17 | 2021-07-02 | 同济大学 | 一种基于q学习的混凝土布料机器人轨迹规划方法 |
| CN113062601B (zh) * | 2021-03-17 | 2022-05-13 | 同济大学 | 一种基于q学习的混凝土布料机器人轨迹规划方法 |
| CN113937036A (zh) * | 2021-10-15 | 2022-01-14 | 安徽耐科装备科技股份有限公司 | 一种上料检测装置以及自动封装系统 |
| CN113937036B (zh) * | 2021-10-15 | 2022-05-31 | 安徽耐科装备科技股份有限公司 | 一种上料检测装置以及自动封装系统 |
| CN116468351B (zh) * | 2023-06-16 | 2023-11-07 | 深圳市磅旗科技智能发展有限公司 | 一种基于大数据的智慧物流管理方法、系统以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110732601B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110732601B (zh) | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 | |
| CN210788964U (zh) | 一种基于视觉检测的机械手辅助上下料和避障检测系统 | |
| JP7030518B2 (ja) | 産業用遠隔操作ロボットシステム | |
| CN103332597B (zh) | 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法 | |
| CN201809065U (zh) | 岸桥下集装箱装卸自动控制系统 | |
| CN110088035A (zh) | 起重机 | |
| CN111204662A (zh) | 用于识别状态参数的系统、吊装定位系统及吊装设备 | |
| CN101891117B (zh) | 岸桥下集装箱装卸自动控制系统 | |
| JP5380747B2 (ja) | 吊荷下方の監視システム及び監視方法 | |
| US20180288372A1 (en) | Apparatus and method for treating containers and packages with flying machine for monitoring | |
| CN116177396A (zh) | 塔机监控系统、方法和塔机 | |
| CN210466137U (zh) | 一种安全防爆巡检机器人 | |
| US11939197B2 (en) | Forklift-truck remote operation system | |
| CN209774652U (zh) | 一种协作机器人及加工系统 | |
| JP7119795B2 (ja) | フォークリフト用遠隔操作システム | |
| JP6995633B2 (ja) | 成形品取出システム | |
| CN203333172U (zh) | 一种基于主动视觉技术的起重机远程操作用监控设备 | |
| CN114229519B (zh) | 一种大型物料桶定位装置及定位方法 | |
| CN110712189B (zh) | 机器人 | |
| KR20140081177A (ko) | 갠트리 이송장치용 고효율 그립퍼 제어시스템 | |
| CN218754840U (zh) | 伸缩臂叉装车 | |
| JP4365246B2 (ja) | コンテナ昇降操作支援方法およびコンテナスプレッダ位置決め装置 | |
| EP3333113B1 (en) | A vehicle, and a method for a vehicle, including target marker on an overview image | |
| WO2019230483A1 (ja) | 産業車両用遠隔操作システム | |
| CN111006583A (zh) | 一种用于货场箱体2d视觉获取深度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |