CN111232347A - 一种基于双目视觉的管棒材拆捆方法 - Google Patents

一种基于双目视觉的管棒材拆捆方法 Download PDF

Info

Publication number
CN111232347A
CN111232347A CN201911164114.9A CN201911164114A CN111232347A CN 111232347 A CN111232347 A CN 111232347A CN 201911164114 A CN201911164114 A CN 201911164114A CN 111232347 A CN111232347 A CN 111232347A
Authority
CN
China
Prior art keywords
laser line
horizontal laser
robot
imaging device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911164114.9A
Other languages
English (en)
Other versions
CN111232347B (zh
Inventor
马立东
仝浩源
梁苏苏
马立峰
静大海
孟进礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haian Taiyuan University Of Science And Technology Research And Development Center For High-End Equipment And Rail Transit Technology
Taiyuan University of Science and Technology
Original Assignee
Haian Taiyuan University Of Science And Technology Research And Development Center For High-End Equipment And Rail Transit Technology
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haian Taiyuan University Of Science And Technology Research And Development Center For High-End Equipment And Rail Transit Technology, Taiyuan University of Science and Technology filed Critical Haian Taiyuan University Of Science And Technology Research And Development Center For High-End Equipment And Rail Transit Technology
Priority to CN201911164114.9A priority Critical patent/CN111232347B/zh
Publication of CN111232347A publication Critical patent/CN111232347A/zh
Application granted granted Critical
Publication of CN111232347B publication Critical patent/CN111232347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B69/00Unpacking of articles or materials, not otherwise provided for
    • B65B69/0033Unpacking of articles or materials, not otherwise provided for by cutting

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于双目视觉的管棒材拆捆方法方法包括如下方法步骤:上位机给机器人发送动作指令,使末端执行器的位移传感器发出的水平激光线打在管棒材表面;第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像,当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变;控制器控制机器人末端执行器摆动,直至棒材表面的水平激光线消失;第一影像装置、第二影像装置对畸变点重新拍照,并根据重新拍摄的图像计算出畸变点的坐标,并将计算结果反馈至控制器;控制器控制机械臂带动末端执行器下压完成绑丝剪切。本发明能够准确确定绑丝的位置,并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损伤。

Description

一种基于双目视觉的管棒材拆捆方法
技术领域
本发明涉及智能制造技术领域,特别涉及一种基于双目视觉的管棒 材拆捆方法。
背景技术
近年来,国内外对工业机器人技术的发展越来越重视。随着我国人 口结构的变化,劳动人口已经逐年下降到72%,劳动者工资成本急剧上 升,许多企业感觉到工荒和利润率下降,使用机器人降低生产成本成为 企业提升竞争力的必然选择。
钢铁工业是自动化程度较高的流程工业之一,特钢棒材精整过程由 矫直、拆捆与探伤等多个工序构成,存在诸多转运频繁、环境恶劣、劳 动繁重、安全风险大的作业过程,急需推动工业机器人的工程化应用, 进一步提升生产效率和产品质量。截止2017年,国内钢铁行业的机器人 密度为4台以下,远低于制造业的平均水平49台,距离发达国家200台以上的水平差距巨大。未来,我国钢铁行业的机器人密度将达到70台, 局部工序可达400台以上。以特钢棒材精整过程作为切入点,推动冶金 工业机器人的研发与工程化应用具有重要意义。
当前,在特钢棒材精整生产线上首先需要对管棒材进行拆捆和打捆 操作。打捆已经有现成的专机,而拆捆需要依赖人工操作,劳动强度大, 成本高。因此利用拆捆机器人系统,完成智能化自动拆捆具有十分重大 的研究意义。在当前的工业生产中,对于机械臂的使用多采用示教系统, 然而工业环境复杂多变,实际拆捆位置与理想位置可能存在很大误差, 特钢棒材精整区域转运频繁、危险及人工作业繁重。
因此,为了解决现有技术中的问题,需要一种基于双目视觉的管棒 材拆捆方法。
发明内容
本发明的目的在于提供一种基于双目视觉的管棒材拆捆方法,所述 方法包括如下方法步骤:
步骤一,通过上位机的人机界面发送拆捆作业请求,上位机判断当 前工位是否可用,
若工位可用,则将成捆管棒材调入可用工位,管棒材到位后由传感 器向上位机发送到位信号;
步骤二,上位机给机器人发送动作指令,使末端执行器的位移传感 器发出的水平激光线打在管棒材表面,机器人沿移动轨道移动;
步骤三:第一影像装置、第二影像装置拍摄管棒材以及水平激光线 的图像,通过双目视觉识别方法识别绑丝及棒材缝隙的位置,其中,
当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变, 则控制器控制机器人停止移动,同时,控制器控制机器人末端执行器摆 动,直至棒材表面的水平激光线消失,末端执行器停止摆动,
第一影像装置、第二影像装置对畸变点重新拍照,并根据重新拍摄 的图像计算出畸变点的坐标,并将计算结果反馈至控制器;
步骤四:控制器控制机械臂带动末端执行器下压完成绑丝剪切;
步骤五:上位机控制机器人沿移动移动轨道移动,重复步骤三和步 骤四,完成全部绑丝的剪切。
在一个较佳的实施例中,机器人在拆捆之前,对机器人进行手眼标 定。
在一个较佳的实施例中,第一影像装置、第二影像装置拍摄管棒材 以及水平激光线的图像,发送至上位机进行处理,包括:
预处理,对图像进行二值化处理,将图像上的像素点的灰度值设置 为0或255;
提取水平激光线区域,通过阈值分割的方法提取所述水平激光线区 域。
在一个较佳的实施例中,通过如下阈值分割的方法提取水平激光线 区域:
输入图像f(i,j),进行如下变换输出图像g(i,j):
Figure BDA0002286952420000031
其中T为阈值;
通过上述图像变换,对图像进行分割,提取水平激光线区域。
在一个较佳的实施例中,通过霍夫变换对所述水平激光线区域中的 几何形状分离,提取水平激光线。
在一个较佳的实施例中,上位机建立图像平面坐标系和双目视觉坐 标系,对图像平面坐标系与双目视觉坐标系进行三维空间坐标转换,
确定提取的水平激光线上的点在双目视觉坐标系中的三维坐标,通 过机器人工具坐标与双目视觉坐标转换,获取水平激光线上的点在机器 人工具坐标系中的三维坐标;
通过曲线拟合计算水平激光线的直线度。
在一个较佳的实施例中,当第一影像装置、第二影像装置拍摄的水 平激光线图像发生畸变,将拍摄的图像发送至上位机进行处理,包括:
通过三角形原理对发生畸变的位置进行信息提取,计算获取第一影 像装置和第二影像装置公共视场内畸变位置的三维尺寸,及其畸变内一 点的位置坐标。
在一个较佳的实施例中,将计算得到畸变点坐标(x,y,z)反馈至 控制器,控制器根据反馈得坐标的坐标z轴,控制末端执行器下压剪切 绑丝。
本发明上位机根据管棒材的拆捆请求可自动判断拆捆工位是否可 用,利用行车将管棒材吊入指定工位;机器人接受上位机信号,由双目 视觉引导机器人调整末端执行器位姿并使水平激光线水平打在管棒材表 面上;机器人沿移动导轨移动并根据工业相机和结构光协同合作来获取 绑丝缝隙位置,上位机通过机器人控制器调节末端执行器运动使金属锯 片到达绑丝位置并切割绑丝;上位机通过机器人控制器调整末端进给量 控制电机开始运转,金属锯片切割完绑丝后伺服电机停止运转,电磁铁 通电并将绑丝吸去,机器人将绑丝放到指定位置并开始下一次切割绑丝 作业;所述绑丝被全部放到指定位置后,机器人回到初始位置,等待上 位机移动指令,上位机等待下一个拆捆作业请求。本发明能够准确确定 绑丝的位置,并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损 伤。
本发明具有以下有益效果:
一、本发明克服了传统人工拆捆工作量大,劳动强度高的诸多弊端, 使用机器视觉引导机器人完成自动切割绑丝的任务,成本低、效率高。
二、本发明使用机器视觉引导,可解决传统机械臂示教自动化程度 低、当工业生产发生变化得重新示教、生产精度低的诸多问题。通过机 器视觉引导可实时完成切割任务,自动化程度高。
三、本发明使用相机和激光器的识别特征组合具有成本低,工作效 率高的优点。
四、将工业相机安装在机械臂末端,让其引导机器人完成自动切割 绑丝的任务。本发明能够全方位覆盖机器人的识别区域,并且能够识别 绑丝的深度。
应当理解,前述大体的描述和后续详尽的描述均为示例性说明和解 释,并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图,本发明更多的目的、功能和优点将通过本发明实 施方式的如下描述得以阐明,其中:
图1是本发明基于双目视觉的管棒材拆捆系统框图。
图2是本发明基于双目视觉的管棒材拆捆系统的结构示意图。
图3是本发明末端执行器的剖面视图。
图4是图3中的A-A视图。
图5是本发明一个实施例中第一影像识别装置与安装架的连接示意 图。
图6是图3的右侧视图。
图7是图4的B向视图。
图8是本发明一种基于双目视觉的管棒材拆捆方法的流程图。
图9是水平激光线打在管棒材上的示意图。
图10是本发明一种拆捆机器人末端执行器使用过程的示意图。
图11是图10中末端执行器工作区域的放大图。
具体实施方式
通过参考示范性实施例,本发明的目的和功能以及用于实现这些目 的和功能的方法将得以阐明。然而,本发明并不受限于以下所公开的示 范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是 帮助相关领域技术人员综合理解本发明的具体细节。在下文中,将参考 附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似 的部件,或者相同或类似的步骤。
为了使本发明得以清晰的说明,首先对本发明基于双目视觉的管棒 材拆捆系统进行说明,如图1所示本发明基于双目视觉的管棒材拆捆系 统框图,如图2所示本发明基于双目视觉的管棒材拆捆系统的结构示意 图,基于双目视觉的管棒材拆捆系统包括上位机100、机器人控制器200、 机器人600、移动轨道500、末端执行器400和双目视觉系统300。
移动轨道500,用于机器人600在移动轨道500上移动。机器人控制 器200,用于接收上位100的指令,并控制机器人600执行指令。机器人 600,在机器人控制器200控制下执行上位机100的指令。
双目视觉系统300包括第一影像装置和第二影像装置,安装在末端 执行器400,与位移传感器配合进行对绑丝进行定位。双目视觉系统300 直接与上位机通信,将采集的图像发送至上位机100进行图像处理。
上位机100,用于获取第一影像装置和第二影像装置拍摄的图像,并 对图像进行处理。
末端执行器400上安装第一影像装置、第二影像装置和位移传感器, 位移传感器用于在管棒材表面形成水平激光线,第一影像装置和第二影 像装置,用于拍摄管棒材、水平激光线的图像,以及水平激光线发生畸 变的图像(具体在下文中拆捆过程中详细说明)。
下面通过具体的实施例对本发明末端执行器的结构进行说明,如图3 所示本发明末端执行器的剖面视图,图4所示图3中的A-A视图,图5 所示本发明一个实施例中第一影像识别装置与安装架的连接示意图,图6 所示图3的右侧视图,图7所示图4的B向视图。结合图3至图7,根据 本发明的实施例,末端执行器,包括支架,在支架前端安装磁吸机构, 磁吸机构包括至少一根螺杆202,螺杆上套设压簧203,螺杆202一端固 定磁压头201,另一端穿过压簧座204,使磁压头201带动螺杆202运动 过程中压缩压簧203。在一些实施例中,压簧座204直接焊接与支架上, 在一些较佳的实施例中,压簧座204可以采用螺栓等方式可拆卸的固定 下支架上。在一些较佳的实施例中,磁压头可以采用永磁材料制成,在 另一些较佳的实施例中,磁压头采用电磁铁,通电产生磁性吸走剪切后 的绑丝。
支架上设有一用于连接机器人机械臂法兰盘106的连接板105,架体 通过定位销、螺栓等零件与机器人末端的法兰盘连接在一起,在剪切绑 丝时。架体向外延伸。
根据本发明的实施例,磁压头201通过螺栓固定于磁压头座206上, 在磁压头座206上开设通孔,螺杆202穿过通孔与磁压头座206固定。
根据本发明的实施例,螺杆202穿过压簧座204的一端具有卡块205, 压簧203回弹后,卡块205被压簧座卡住,防止螺杆202滑出压簧座204。 更进一步地,实施例中在压簧203外部套设铜套,用于保护压簧。
根据本发明的实施例,选用两根螺杆203,但不限于此,在一些实施 例中可以选用一根螺杆、或者多根螺杆。
支架上设有横向支撑板104,在支架后端安装驱动机构301,在驱动 机构301固定于横向支撑板104上,在磁吸机构与驱动机构之间的空间 103内安装剪切机构,驱动机构带动剪切机构剪切捆绑绑丝。
剪切机构包括金属锯片401,金属锯片401本体为一圆形锯片,金属 锯片401通过轴端轴套402安装于驱动轴303上,随驱动电轴旋转运动 完成剪切作业。驱动轴303的末端安装有轴端轴套402,用来防止金属锯 片401从驱动轴303上滑落。
在一些较佳的实施例中,磁吸机构与驱动机构之间的空间103为矩 形框体,矩形框体的第一侧面101上固定磁吸机构。矩形框体的第二侧 面102设置横向支撑板104。驱动机构301的驱动轴303穿过矩形框体的 第二侧面102,剪切机构的金属锯片401通过轴端轴套402安装于驱动轴 303上。
根据本发明的实施例,驱动机构301选用功率为0.75KW,转速为 1470r/min的电机,用于驱动剪切机构。驱动机构安装在电机座302上, 通过螺栓将电机座302固定于横向支撑板104上。
在一些实施例中,驱动电机选用全封闭、自扇冷三相鼠笼型一般用 途的电机。在满足功率要求的前提下具有高效、节能、启动力矩大、噪 音低、振动小、可靠性高等优点。
在一些实施例中,使用金属罩代替横向支撑板104,使电机置于金属 罩内,保护电机(驱动机构)。
根据本发明的实施例,支架一侧安装一检测机构,所检测机构包括 安装架500,在安装架上布置位置对称的第一影像识别装置501和第二影 像装置502,第一影像识别装置501与第二影像装置502中间布置一位移 传感器505。在一些实施例中,为了防止机器作业时损伤镜头,在有镜头 的相机另一端安装相机罩。
本实施例中,位移传感器采用激光传感器,一方面发射激光探测剪 切过程中需要剪切的绑丝程度,避免剪切过程中划伤管材或者棒材,另 一方面发出的水平激光线打在管棒材表面,对绑丝(钢丝绑绳)定位。 第一影像识别装置501和第二影像装置502选用工业数字相机水星MER 系列,镜头信号为V1214-MP。
根据本发明的实施例,在检测需要剪切的绑丝的位置时,第一影像 装置501的中心延长线、第二影像装置502的中心延长线与位移传感器 505的中心延长线汇聚于一点。即第一影像装置501的镜头视线方向、二 影像装置502的视线方向与位移传感器的激光三线汇聚于一点。根据本 发明的实施例,安装架500呈“L”型结构,第一影像识别装置501和第二影像装置502,通过连接结构布置于安装架上。
如图4和图5所示,实施例中示例性的以第一影像识别装置的安装 为例,连接结构包括连接杆5031,连接杆5031一端与第一影像识别装置 501固定,本实施例中采用焊接方式固定。连接杆另一端穿过安装架500 的第一连接板503,通过第一螺母5032和第二螺母5034固定,在第一螺 母5032与第二螺母5034之间安装锥形垫圈5035和球形垫圈5033,使连接杆能够带动第一影像装置501转动,调整第一影像装置501的中心延 长线、第二影像装置502的中心延长线和位移传感器505的中心延长线 汇聚于一点(图7中的o点)。
位移传感器505采用螺栓固定在安装架500的第一连接板503上, 位置处于第一影像识别装置501和第二影像装置502中间,本实施例中 使用M6*30螺钉、M6螺母、垫圈固定安装位移传感器505。对于第一影 像装置501、第二影像装置502和位移传感器505的安装,其末端的与金 属锯片401末端垂直方向和水平方向均具有一定的距离,以防止损伤第 一影像装置501、第二影像装置502和位移传感器505。
如图6所示,安装架500整体上通过第二连接板504固定支架上, 本实施例中采用螺栓的方式进行固定,在另一些实施例中,直接将第二 连接板504焊接在支架上。
如图8所示本发明基于双目视觉的管棒材拆捆方法的流程框图,根 据本发明的实施例,一种基于双目视觉的管棒材拆捆方法包括如下方法 步骤:
步骤S101、末端执行器安装相机和位移传感器。在末端执行器400 上安装第一影像装置、第二影像装置和位移传感器,并确保三者在同一 平面上。第一影像装置、第二影像装置和位移传感器安装在末端执行器 400的一侧,且第一影像装置、第二影像装置的识别区域为机械臂工作范 围。调整端执行器400姿态,使机器人端执行器400的Z方向垂直向下,机器人在拆捆之前,对机器人进行手眼标定,。
步骤S102,检查管棒材到位信息。
通过上位机100的人机界面向机器人控制器200发送拆捆作业请求, 上位机100判断当前工位是否可用。
若工位可用(溜床上的夹持装置空闲),则通过起重机将成捆管棒 材调入可用工位,管棒材到位后由溜床上的传感器向上位机100发送到 位信号。
步骤S103、上位机给机器人发送动作指令。
管棒材到位后,上位机100发送动作指令,夹持装置夹持管棒材。 同时末端执行器400安装的位移传感器505发出的水平激光线打在管棒 材表面,机器人600沿移动轨道500移动。
步骤S104、相机通过双目视觉识别方法识别绑丝和管棒材缝隙。
第一影像装置501、第二影像装置502拍摄管棒材以及水平激光线的 图像,如图9所示水平激光线打在管棒材上的示意图,位移传感器505 发出的水平激光线901打在管棒材902a表面,机器人600沿移动轨道500 移动寻找绑丝903。
根据本发明的实施例,双目视觉识别方法识别绑丝及棒材缝隙的位 置具体包括如下方法:
第一影像装置501、第二影像装置502拍摄图像发送至上位机100 处理,根据本发明的实施例,第一影像装置501、第二影像装置502拍摄 管棒材以及水平激光线的图像,发送至上位机进行处理,包括:
预处理,对图像进行二值化处理,将图像上的像素点的灰度值设置 为0或255。
提取水平激光线区域,通过阈值分割的方法提取所述水平激光线区 域。
根据本发明的实施例,通过如下阈值分割的方法提取水平激光线区 域:
输入图像f(i,j),进行如下变换输出图像g(i,j):
Figure BDA0002286952420000091
其中T为阈值;
通过上述图像变换,对图像进行分割,提取水平激光线区域。
通过霍夫变换对水平激光线区域中的几何形状分离(例如,直线, 圆等),提取水平激光线。
上位机建立图像平面坐标系和双目视觉坐标系,对图像平面坐标系 与双目视觉坐标系进行三维空间坐标转换,
确定提取的水平激光线上的点在双目视觉坐标系中的三维坐标,通 过机器人工具坐标与双目视觉坐标转换,获取水平激光线上的点在机器 人工具坐标系中的三维坐标;
通过曲线拟合计算水平激光线的直线度。
通过水平直线度检测调整末端执行器位姿,使位移传感器的水平激 光线水平打向管棒材(即水平激光线与管棒材的轴线平行),并确保第 一影像装置501、第二影像装置502识别区域无遮挡物。
当拍摄到的水平激光线901图像发生畸变,即在水平激光线901上 出现畸变点904,则上位机向机器人控制器200发送指令,机器人控制器 200控制机器人600停止移动,同时,机器人控制器200控制机器人600 的末端执行器400摆动。
机器人控制器控制机器人末端执行器400摆动(沿x轴方向移动) 寻找管棒材缝隙905。管棒材缝隙905的识别有两种判别方法:
1,图像中偏移水平激光线的两个点进行标记,激光线断开处为两个 标记点,当二者之间的距离超过一定的阈值时判定为管棒材缝隙。
2,若距离没有超过规定的阈值,那么由于水平激光线在移动过程中 光线会发生变化以及当其移动到辊缝中间位置时,水平激光线照射到两 个管棒材的凹陷处,激光线会出现消失的特征。
根据本发明的实施例,采用第2中方式寻找管棒材缝隙,当第一影 像装置501、第二影像装置502拍摄到的管棒材902a表面的水平激光线 901消失,末端执行器400停止摆动,此时认为,水平激光线901落入到 管棒材902a与管棒材902b之间的管棒材缝隙905中。
第一影像装置501、第二影像装置502对畸变点重新拍照,并根据重 新拍摄的图像计算出畸变点的坐标,并将计算结果反馈至控制器。
根据本发明的实施例,当第一影像装置501、第二影像装置502拍摄 的水平激光线发生畸变,将拍摄到的发生畸变点的图像发送至上位机进 行处理,包括:
通过三角形原理对发生畸变的位置进行信息提取,计算获取第一影 像装置和第二影像装置公共视场内畸变位置的三维尺寸,及其畸变内一 点的位置坐标。
将计算得到畸变点坐标(x,y,z)反馈至控制器。
步骤S105:机器人控制器控制机器人执行绑丝剪切。
根据本发明的的实施例,上位机将畸变点坐标(x,y,z)发送给机 器人控制器200,机器人控制器200根据的坐标z轴,控制机器人600的 机械臂带动末端执行器400下压完成绑丝剪切。
步骤S106:重复步骤S104至S105,完成全部绑丝切割。上位机100 向机器人控制器200发送指令,机器人控制器200控制机器人600沿移 动移动轨道移动,重复步骤S104和和步骤S105,完成全部绑丝的剪切。
下面对本发明绑丝的切割过程进行说明,如图10所示本发明一种拆 捆机器人末端执行器使用过程的示意图,图11所示图10中末端执行器 工作区域的放大图。
绑丝(钢丝绑绳)800捆绑的管棒材902运送至溜床上,管棒材到位 后,上位机100发送动作指令,夹持装置夹持管棒材通过夹持装置夹持。
第一影像装置501、第二影像装置502通过双目视觉识别方法识别绑 丝及绑丝缝隙位置。机器人最后一节机械臂带动末端执行器旋转摆动至 磁压头201正对绑丝903的位置,机械臂控制末端执行器下压(图11中 的c方向),磁压头201在压簧弹力的作用下压紧绑丝903,驱动机构带 动剪切机构的金属锯片401切断绑丝903。在剪切过程中,位移传感器505检测剪断深度,防止绑丝903剪断后,金属锯片损伤管棒材902。
夹持装置打开,管棒材902溜到溜床底部,剪切后磁压头201将剪 切下来的绑丝通过磁性吸走,机器人控制机械臂将绑丝防置到合适的地 方。在一些较佳的实施例中,磁压头201采用电磁铁,使得绑丝的吸走 和放置更加方便,例如,在磁压头201下压过程中,磁压头201通电产 生磁性,绑丝切断后吸走绑丝,机器人控制机械臂将绑丝运输的核实位 置时,磁压头201断电,绑丝与磁压头201分离,落入指定位置。
本发明上位机根据管棒材的拆捆请求可自动判断拆捆工位是否可 用,利用行车将管棒材吊入指定工位;机器人接受上位机信号,由双目 视觉引导机器人调整末端执行器位姿并使水平激光线水平打在管棒材表 面上;机器人沿移动导轨移动并根据工业相机和结构光协同合作来获取 绑丝缝隙位置,上位机通过机器人控制器调节末端执行器运动使金属锯 片到达绑丝位置并切割绑丝;上位机通过机器人控制器调整末端进给量 控制电机开始运转,金属锯片切割完绑丝后伺服电机停止运转,电磁铁 通电并将绑丝吸去,机器人将绑丝放到指定位置并开始下一次切割绑丝 作业;所述绑丝被全部放到指定位置后,机器人回到初始位置,等待上 位机移动指令,上位机等待下一个拆捆作业请求。本发明能够准确确定 绑丝的位置,并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损 伤。
结合这里披露的本发明的说明和实践,本发明的其他实施例对于本 领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性 的,本发明的真正范围和主旨均由权利要求所限定。

Claims (8)

1.一种基于双目视觉的管棒材拆捆方法,其特征在于,所述方法包括如下方法步骤:
步骤一,通过上位机的人机界面发送拆捆作业请求,上位机判断当前工位是否可用,
若工位可用,则将成捆管棒材调入可用工位,管棒材到位后由传感器向上位机发送到位信号;
步骤二,上位机给机器人发送动作指令,使末端执行器的位移传感器发出的水平激光线打在管棒材表面,机器人沿移动轨道移动;
步骤三:第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像,通过双目视觉识别方法识别绑丝及棒材缝隙的位置,其中,
当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变,则控制器控制机器人停止移动,同时,控制器控制机器人末端执行器摆动,直至棒材表面的水平激光线消失,末端执行器停止摆动,
第一影像装置、第二影像装置对畸变点重新拍照,并根据重新拍摄的图像计算出畸变点的坐标,并将计算结果反馈至控制器;
步骤四:控制器控制机械臂带动末端执行器下压完成绑丝剪切;
步骤五:上位机控制机器人沿移动移动轨道移动,重复步骤三和步骤四,完成全部绑丝的剪切。
2.根据权利要求1所述的管棒材拆捆方法,其特征在于,机器人在拆捆之前,对机器人进行手眼标定。
3.根据权利要求1所述的管棒材拆捆方法,其特征在于,第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像,发送至上位机进行处理,包括:
预处理,对图像进行二值化处理,将图像上的像素点的灰度值设置为0或255;
提取水平激光线区域,通过阈值分割的方法提取所述水平激光线区域。
4.根据权利要求3所述的管棒材拆捆方法,其特征在于,通过如下阈值分割的方法提取水平激光线区域:
输入图像f(i,j),进行如下变换输出图像g(i,j):
Figure FDA0002286952410000021
其中T为阈值;
通过上述图像变换,对图像进行分割,提取水平激光线区域。
5.根据权利要求3或4所述的管棒材拆捆方法,其特征在于,通过霍夫变换对所述水平激光线区域中的几何形状分离,提取水平激光线。
6.根据权利要求5所述的管棒材拆捆方法,其特征在于,上位机建立图像平面坐标系和双目视觉坐标系,对图像平面坐标系与双目视觉坐标系进行三维空间坐标转换,
确定提取的水平激光线上的点在双目视觉坐标系中的三维坐标,通过机器人工具坐标与双目视觉坐标转换,获取水平激光线上的点在机器人工具坐标系中的三维坐标;
通过曲线拟合计算水平激光线的直线度。
7.根据权利要求1所述的管棒材拆捆方法,其特征在于,当第一影像装置、第二影像装置拍摄的水平激光线图像发生畸变,将拍摄的图像发送至上位机进行处理,包括:
通过三角形原理对发生畸变的位置进行信息提取,计算获取第一影像装置和第二影像装置公共视场内畸变位置的三维尺寸,及其畸变内一点的位置坐标。
8.根据权利要求1或7所述的管棒材拆捆方法,其特征在于,将计算得到畸变点坐标(x,y,z)反馈至控制器,控制器根据反馈得到的的坐标z轴,控制末端执行器下压剪切绑丝。
CN201911164114.9A 2019-11-25 2019-11-25 一种基于双目视觉的管棒材拆捆方法 Active CN111232347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164114.9A CN111232347B (zh) 2019-11-25 2019-11-25 一种基于双目视觉的管棒材拆捆方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164114.9A CN111232347B (zh) 2019-11-25 2019-11-25 一种基于双目视觉的管棒材拆捆方法

Publications (2)

Publication Number Publication Date
CN111232347A true CN111232347A (zh) 2020-06-05
CN111232347B CN111232347B (zh) 2021-09-28

Family

ID=70866688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164114.9A Active CN111232347B (zh) 2019-11-25 2019-11-25 一种基于双目视觉的管棒材拆捆方法

Country Status (1)

Country Link
CN (1) CN111232347B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114939546A (zh) * 2022-04-27 2022-08-26 武汉飞恩微电子有限公司 一种传感器生产用故障监控和预警设备及其测试方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222224A (zh) * 2011-06-18 2011-10-19 山东大学 一种无色差立体标识字符图像采集方法
US8160748B2 (en) * 2008-02-26 2012-04-17 Automatic Handling International Method and apparatus for removing wires from a bale
CN103791835A (zh) * 2014-01-26 2014-05-14 扬州苏庆非标装备研发有限公司 条状光学玻璃截面轮廓及体积检测方法
CN104331894A (zh) * 2014-11-19 2015-02-04 山东省科学院自动化研究所 一种基于双目立体视觉的机器人拆垛方法
WO2015111031A2 (en) * 2014-01-27 2015-07-30 Texa S.P.A. Method and tool to determine a brake disk deterioration state
CN107042923A (zh) * 2017-04-26 2017-08-15 武汉斯蒂尔派科技有限公司 钢带拆捆装置及钢带拆捆系统
CN107764205A (zh) * 2017-11-06 2018-03-06 长安大学 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法
CN108817613A (zh) * 2018-06-11 2018-11-16 华南理工大学 一种弧焊机器人焊缝纠偏系统及方法
CN109598738A (zh) * 2018-11-12 2019-04-09 长安大学 一种线结构光中心线提取方法
CN109775068A (zh) * 2017-11-14 2019-05-21 上海宝信软件股份有限公司 全自动钢卷拆捆机器人及其控制方法
CN109896104A (zh) * 2019-03-11 2019-06-18 太原科技大学 一种拆捆机器人末端执行器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160748B2 (en) * 2008-02-26 2012-04-17 Automatic Handling International Method and apparatus for removing wires from a bale
CN102222224A (zh) * 2011-06-18 2011-10-19 山东大学 一种无色差立体标识字符图像采集方法
CN103791835A (zh) * 2014-01-26 2014-05-14 扬州苏庆非标装备研发有限公司 条状光学玻璃截面轮廓及体积检测方法
WO2015111031A2 (en) * 2014-01-27 2015-07-30 Texa S.P.A. Method and tool to determine a brake disk deterioration state
CN104331894A (zh) * 2014-11-19 2015-02-04 山东省科学院自动化研究所 一种基于双目立体视觉的机器人拆垛方法
CN107042923A (zh) * 2017-04-26 2017-08-15 武汉斯蒂尔派科技有限公司 钢带拆捆装置及钢带拆捆系统
CN107764205A (zh) * 2017-11-06 2018-03-06 长安大学 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法
CN109775068A (zh) * 2017-11-14 2019-05-21 上海宝信软件股份有限公司 全自动钢卷拆捆机器人及其控制方法
CN108817613A (zh) * 2018-06-11 2018-11-16 华南理工大学 一种弧焊机器人焊缝纠偏系统及方法
CN109598738A (zh) * 2018-11-12 2019-04-09 长安大学 一种线结构光中心线提取方法
CN109896104A (zh) * 2019-03-11 2019-06-18 太原科技大学 一种拆捆机器人末端执行器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨帆,王志陶,张华: "《精通图像处理经典算法:MATLAB版》", 28 February 2018, 北京航空航天大学出版社 *
杨帆: "《数字图像处理与分析》", 31 January 2019, 北京航空航天大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114939546A (zh) * 2022-04-27 2022-08-26 武汉飞恩微电子有限公司 一种传感器生产用故障监控和预警设备及其测试方法

Also Published As

Publication number Publication date
CN111232347B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN111232346B (zh) 一种基于双目视觉的管棒材拆捆系统
CN109702290B (zh) 基于视觉识别的钢板坡口切割方法
CN109896104B (zh) 一种拆捆机器人末端执行器
CN204842560U (zh) 一种机器人折弯系统
CN111232347B (zh) 一种基于双目视觉的管棒材拆捆方法
CN109278021A (zh) 一种用于抓取薄壁壳体类工件的机器人工具系统
CN102069231A (zh) 金属薄板剪板机
CN111398418B (zh) 一种在役叶片损伤检测机器人
CN110877151B (zh) 一种视觉导引发动机缸体拆垛检测机器人装备及其方法
CN113426909B (zh) 一种送料装置及自动化生产线
CN111992940B (zh) 一种焊接检测控制系统
CN209111064U (zh) 一种用于抓取薄壁壳体类工件的机器人工具系统
CN216633271U (zh) 格栅装配夹爪装置及其基于视觉检测的系统
CN215198340U (zh) 基于视觉的螺栓识别与机器人抓取装置
CN215358483U (zh) 轮毂双工位夹爪
CN210735408U (zh) 自动上料定位机构
CN210967458U (zh) 一种自动化视觉检测、激光焊接装置
CN211029248U (zh) 加工复杂球形曲面壳体的机械臂系统
CN111922159A (zh) 一种分歧管加工装置
CN108932444B (zh) 扫码装置
CN112304974A (zh) 一种使用人工智能检测复杂表面同轴类圆柱体产品缺陷的装置及方法
CN206631958U (zh) 光伏组件铝边框全自动检测装置
CN214718470U (zh) 一种基于机器视觉的智能分拣机器人
CN108284072B (zh) 一种基于机械视觉的连杆分类系统
CN220660094U (zh) 一种用于机加工车床的铁屑分拣装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant