CN114559348B - 基于工业机器人的无砟轨道板模具清理系统及清理方法 - Google Patents

基于工业机器人的无砟轨道板模具清理系统及清理方法 Download PDF

Info

Publication number
CN114559348B
CN114559348B CN202210038903.3A CN202210038903A CN114559348B CN 114559348 B CN114559348 B CN 114559348B CN 202210038903 A CN202210038903 A CN 202210038903A CN 114559348 B CN114559348 B CN 114559348B
Authority
CN
China
Prior art keywords
industrial robot
depth camera
cleaning
target area
upper computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210038903.3A
Other languages
English (en)
Other versions
CN114559348A (zh
Inventor
李淑娟
薛丁丹
任朋欣
马雪姣
王嘉宾
李承承
赵智渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202210038903.3A priority Critical patent/CN114559348B/zh
Publication of CN114559348A publication Critical patent/CN114559348A/zh
Application granted granted Critical
Publication of CN114559348B publication Critical patent/CN114559348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B27/00Other grinding machines or devices
    • B24B27/033Other grinding machines or devices for grinding a surface for cleaning purposes, e.g. for descaling or for grinding off flaws in the surface
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00Arrangements for automatic control of a series of individual steps in grinding a workpiece
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于视觉引导工业机器人的无砟轨道板模具清理系统,包括工业机器人,工业机器人通过夹持器固定有深度相机和电动打磨工具,工业机器人、深度相机、电动打磨工具均连接到上位机,本发明满足与目前的无砟轨道板生产的自动生产线的节拍要求,并能够代替人工提高清理效率,保证清理质量。本发明还公开了基于视觉引导工业机器人的无砟轨道板模具清理方法,利用深度相机采集模具型腔彩色图像及深度点云图像,利用计算机对采集的图像进行图像处理、水泥残渣目标识别定位,并对工业机器人自动轨迹规划引导工业机器人进行模具清理,本发明精确清理水泥残渣区域,具有精度高,一致性好,效率高等特点。

Description

基于工业机器人的无砟轨道板模具清理系统及清理方法
技术领域
本发明属于自动识别定位及自动清理技术领域,涉及基于视觉引导工业机器人的无砟轨道板模具清理系统,还涉及基于视觉引导工业机器人的无砟轨道板模具清理方法。
背景技术
随着高铁、地铁以及轨道交通技术的发展,对无砟轨道板的制造质量、精度要求也大大提高。先张法预应力混凝土无砟轨道板因为制造精度高,工艺过程清洁,同时自动化程度高,其应用越来越广泛。无砟轨道先张法预应力混凝土轨道板由混凝土等材料在预定的模具中浇筑而成,目前最常见的轨道板上有18或者16个混凝土承轨台,其尺寸约为6m×2.5m,重量为7~9吨。由于高铁或者地铁轨道安装在承轨台上,为了保证轨道运行的高速和平稳以及安全,铁道部对该无砟轨道板的生产过程中的承轨台的轮廓度以及整个轨道板的承轨台形成平面的平面度有高的要求。在无砟轨道板生产线上浇筑成型的无砟轨道板脱模之后,模具中会残留有水泥残渣,若不及时清理将会对下一批产品轮廓尺寸精度造成致命影响。因此在每次无砟轨道板浇筑成型脱模之后需要对模具进行清理。
目前无砟轨道板模具生产线主要通过人工手持电动打磨工具在轨道板脱模工序完成后对模具型腔内水泥残渣进行清理。当前模具清理方法主要存在以下问题:人力资源紧缺,人工清理效率低,不能应付大批量多生产线生产;工人劳动量大易疲劳,清理质量难以保证,且不能长时间工作,手持高速的电动打磨工具时易产生安全隐患。
发明内容
本发明的目的是提供基于视觉引导工业机器人的无砟轨道板模具清理系统,满足与目前的无砟轨道板生产的自动生产线的节拍要求,并能够代替人工提高清理效率,保证清理质量。
本发明的另一目的是提供基于视觉引导工业机器人的无砟轨道板模具清理方法,清理效率高。
本发明所采用的第一种技术方案是,基于视觉引导工业机器人的无砟轨道板模具清理系统,包括工业机器人,工业机器人通过夹持器固定有深度相机和电动打磨工具,工业机器人、深度相机、电动打磨工具均连接到上位机;
深度相机用于采集彩色图像,并将彩色图像传输到上位机;
上位机用于通过阈值分割对彩色图像进行预处理,得到图像分割结果,判断视野中是否包含水泥残渣目标区域,若不含水泥残渣目标区域则控制深度相机继续下一次采集图像,若含有水泥残渣目标区域,则规划清理路径,并通过控制工业机器人实现清理。
本发明第一种技术方案的特点还在于,
夹持器设置在工业机器人末端执行器上,夹持器包括与机器人固定连接的法兰盘,法兰盘上固定有与之垂直设置的主固定板,主固定板两侧分别设置有左固定板和右固定板,主固定板上通过螺柱螺母固定连接有环形卡箍,电动打磨工具固定在环形卡箍中,法兰盘上固定连接有延伸板,深度相机固定在延伸板上。
环形卡箍设置有三个,三个环形卡箍轴线共线设置。
本发明所采用的第二种技术方案是,基于视觉引导工业机器人的无砟轨道板模具清理方法,使用如权利要求1的基于视觉引导工业机器人的无砟轨道板模具清理系统进行清理,其特征在于,具体按照以下步骤实施:
步骤1,系统上电,计算机启动,与深度相机建立通信,同时启动工业机器人,同步工业机器人初始位姿到上位机;
步骤2,深度相机采集彩色图像并传输给上位机,上位机采用阈值分割对彩色图像进行预处理得到预处理图像,用形态学滤波器对预处理图像进行腐蚀操作消除无关区域,并进行膨胀操作增强水泥残渣目标区域,判断深度相机视野中是否包含水泥残渣目标区域,若不包含,则深度相机等待下一次采集彩色图像,若包含,则规划清理路径,并通过控制工业机器人实现清理。
本发明第二种技术方案的特点还在于,
规划清理路径,并通过控制工业机器人实现清理具体按照以下步骤实施:
在增强水泥残渣目标区域的图像中标记水泥残渣区域的边界像素点,从而提取目标区域的轮廓线,对目标区域轮廓拟合矩形,使得目标区域为矩形区域;
对矩形区域Z字形路径填充,读取目标轮廓内Z字形路径拐点像素坐标(u,v),以及深度相机获取的点云图像对应像素点的深度值Zc,通过相机内参矩阵将坐标(u,v)及对应像素点的深度值Zc变换为相机坐标系下的坐标(Xc,Yc,Zc);
通过ArUco二维码手眼标定得到的深度相机到电动打磨工具末端坐标点位姿变换矩阵Mce将坐标(Xc,Yc,Zc)统一为机器人基坐标系下的坐标(Xb,Yb,Zb);
上位机根据统一坐标系后的目标区域边缘的离散点坐标序列,采用RRT快速扩展随机树算法规划机器人工具坐标点的运动轨迹,上位机再实时将每一时刻的机器人位姿发送到机器人控制柜控制机器人运动,移动机器人末端电动打磨工具依次到达目标位置清理目标区域水泥残渣;
清理完成后工业机器人回到初始位姿。
本发明的有益效果是:
本发明基于视觉引导工业机器人的无砟轨道板模具清理系统,集成度高,是为高铁无砟轨道板生产线水泥浇筑工位专门设计的无砟轨道板模具水泥残渣检测及清理系统;能够实现水泥残渣自动检测,水泥残渣识别定位,工业机器人自动轨迹规划,检测结果的实时反馈以及机器人运动状态实时监控;代替了人工水泥残渣清理,提高无砟轨道板模具清理效率,降低生产过程中的安全隐患。
本发明基于视觉引导工业机器人的无砟轨道板模具清理方法,在浇筑成型的无砟轨道板从模具中脱模之后,利用深度相机采集模具型腔彩色图像及深度点云图像,利用计算机对采集的图像进行图像处理、水泥残渣目标识别定位,并对工业机器人自动轨迹规划引导工业机器人进行模具清理;在满足模具清理标准的前提下,做到最短时间内对多目标识别定位,同时根据目标位置信息自动规划轨迹,精确清理水泥残渣区域,具有精度高,一致性好,效率高等特点。
附图说明
图1是本发明基于视觉引导工业机器人的无砟轨道板模具清理系统的结构框图;
图2是本发明基于视觉引导工业机器人的无砟轨道板模具清理系统夹持器的结构示意图;
图3是本发明基于视觉引导工业机器人的无砟轨道板模具清理系统夹持器的局部结构示意图;
图4是无砟轨道板模具的俯视图;
图5是无砟轨道板承轨台局部模具示意图;
图6是本发明基于视觉引导工业机器人的无砟轨道板模具清理方法的流程图;
图7是视觉引导工业机器人手眼标定坐标系转换关系树示意图。
图中,1.法兰盘,2.左固定板,3.主固定板,4.右固定板,5.环形卡箍,6.深度相机,7.电动打磨工具。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于视觉引导工业机器人的无砟轨道板模具清理系统,如图1所示,包括工业机器人,工业机器人通过夹持器固定有深度相机6和电动打磨工具7,工业机器人的控制器与上位机连接,深度相机6与上位机连接,电动打磨工具7通过串口继电器开关与上位机连接;
深度相机6用于采集彩色图像,并将彩色图像传输到上位机;
上位机用于通过阈值分割对彩色图像进行预处理,得到图像分割结果,判断视野中是否包含水泥残渣目标区域,若不含水泥残渣目标区域则控制深度相机6继续下一次采集图像,若含有水泥残渣目标区域,则规划清理路径,并通过控制工业机器人实现清理。
上位机能够将深度相机6采集的彩色图像、深度点云图像及处理结果、工业机器人位姿等能够实时可视化呈现,能够实现对硬件系统的工作状态进行实时远程监控。
夹持器设置在工业机器人末端执行器上,如图2-3所示,夹持器包括与机器人固定连接的法兰盘1,法兰盘1上固定有与之垂直设置的主固定板3,主固定板3两侧分别设置有左固定板2和右固定板4,主固定板3上通过螺柱螺母固定连接有三个环形卡箍5,三个环形卡箍5轴线共线设置,电动打磨工具7固定在环形卡箍5中,法兰盘1上固定连接有延伸板,深度相机6固定在延伸板上,且深度相机6的摄像头与电动打磨工具7的打磨部朝向一致(一般竖直向下)。
本发明基于视觉引导工业机器人的无砟轨道板模具清理方法,使用本发明的基于视觉引导工业机器人的无砟轨道板模具清理系统进行清理,在如图4-5所示的浇筑成型的无砟轨道板从模具中脱模之后,工业机器人移动,安装在工业机器人末端的深度相机6至水平放置的模具正上方,如图6所示,具体按照以下步骤实施:
步骤1,系统上电,计算机启动,与深度相机6建立通信,同时启动工业机器人,同步工业机器人初始位姿到上位机;
步骤2,深度相机6采集彩色图像并传输给上位机,上位机采用阈值分割对彩色图像进行预处理得到预处理图像,用形态学滤波器对预处理图像进行腐蚀操作消除无关区域,并进行膨胀操作增强水泥残渣目标区域,判断深度相机6视野中是否包含水泥残渣目标区域,若不包含,则深度相机6等待下一次采集彩色图像,若包含,则规划清理路径,并通过控制工业机器人实现清理。
规划清理路径,并通过控制工业机器人实现清理具体按照以下步骤实施:
在增强水泥残渣目标区域的图像中标记水泥残渣区域的边界像素点,从而提取目标区域的轮廓线,对目标区域轮廓拟合矩形,使得目标区域为矩形区域;
对矩形区域Z字形路径填充,读取目标轮廓内Z字形路径拐点像素坐标(u,v),以及深度相机6获取的点云图像对应像素点的深度值Zc,通过相机内参矩阵将坐标(u,v)及对应像素点的深度值Zc变换为相机坐标系下的坐标(Xc,Yc,Zc);
如图7所示,通过ArUco二维码手眼标定得到的深度相机6到电动打磨工具末端坐标点位姿变换矩阵Mce将坐标(Xc,Yc,Zc)统一为机器人基坐标系下的坐标(Xb,Yb,Zb),电动打磨工具末端坐标点即为电动打磨工具加工工件的时候和工件最先接触的作用点;
上位机根据统一坐标系后的目标区域边缘的离散点坐标序列,采用RRT快速扩展随机树算法规划机器人工具坐标点的运动轨迹,上位机再实时将每一时刻的机器人位姿发送到机器人控制柜控制机器人运动,移动机器人末端电动打磨工具7依次到达目标位置清理目标区域的水泥残渣;
清理完成后工业机器人回到初始位姿。

Claims (1)

1.基于视觉引导工业机器人的无砟轨道板模具清理方法,使用基于视觉引导工业机器人的无砟轨道板模具清理系统进行清理,其特征在于,基于视觉引导工业机器人的无砟轨道板模具清理系统,包括工业机器人,所述工业机器人通过夹持器固定有深度相机和电动打磨工具,所述工业机器人、深度相机、电动打磨工具均连接到上位机;
所述深度相机用于采集彩色图像,并将彩色图像传输到上位机;
所述上位机用于通过阈值分割对彩色图像进行预处理,得到图像分割结果,判断深度相机视野中是否包含水泥残渣目标区域,若不含水泥残渣目标区域则控制深度相机继续下一次采集图像,若含有水泥残渣目标区域,则规划清理路径,并通过控制工业机器人实现清理;
所述夹持器设置在工业机器人末端执行器上,所述夹持器包括与工业机器人固定连接的法兰盘,所述法兰盘上固定有与之垂直设置的主固定板,所述主固定板两侧分别设置有左固定板和右固定板,所述主固定板上通过螺柱螺母固定连接有环形卡箍,所述电动打磨工具固定在环形卡箍中,所述法兰盘上固定连接有延伸板,所述深度相机固定在延伸板上;
所述环形卡箍设置有三个,三个所述环形卡箍轴线共线设置;
所述无砟轨道板模具清理方法具体按照以下步骤实施:
步骤1,系统上电,上位机启动,与深度相机建立通信,同时启动工业机器人,同步工业机器人初始位姿到上位机;
步骤2,深度相机采集彩色图像并传输给上位机,上位机采用阈值分割对彩色图像进行预处理得到预处理图像,用形态学滤波器对预处理图像进行腐蚀操作消除无关区域,并进行膨胀操作增强水泥残渣目标区域,判断深度相机视野中是否包含水泥残渣目标区域,若不包含,则深度相机等待下一次采集彩色图像,若包含,则规划清理路径,并通过控制工业机器人实现清理;
所述规划清理路径,并通过控制工业机器人实现清理具体按照以下步骤实施:
在增强水泥残渣目标区域的图像中标记水泥残渣区域的边界像素点,从而提取目标区域的轮廓线,对目标区域轮廓拟合矩形,使得目标区域为矩形区域;
对矩形区域Z字形路径填充,读取目标区域轮廓内Z字形路径拐点像素坐标(u,v),以及深度相机获取的点云图像对应像素点的深度值Zc,通过相机内参矩阵将坐标(u,v)及对应像素点的深度值Zc变换为相机坐标系下的拐点深度坐标(Xc,Yc,Zc);
通过ArUco二维码手眼标定得到的深度相机到电动打磨工具末端坐标点位姿变换矩阵Mce将拐点深度坐标(Xc,Yc,Zc)统一为工业机器人基坐标系下的坐标(Xb,Yb,Zb);
上位机根据统一坐标系后的目标区域边缘的离散点坐标序列,采用RRT快速扩展随机树算法规划工业机器人工具坐标点的运动轨迹,上位机再实时将每一时刻的工业机器人位姿发送到机器人控制柜控制工业机器人运动,移动工业机器人末端电动打磨工具依次到达目标位置清理目标区域水泥残渣;
清理完成后工业机器人回到初始位姿。
CN202210038903.3A 2022-01-13 2022-01-13 基于工业机器人的无砟轨道板模具清理系统及清理方法 Active CN114559348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210038903.3A CN114559348B (zh) 2022-01-13 2022-01-13 基于工业机器人的无砟轨道板模具清理系统及清理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210038903.3A CN114559348B (zh) 2022-01-13 2022-01-13 基于工业机器人的无砟轨道板模具清理系统及清理方法

Publications (2)

Publication Number Publication Date
CN114559348A CN114559348A (zh) 2022-05-31
CN114559348B true CN114559348B (zh) 2023-05-30

Family

ID=81712813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210038903.3A Active CN114559348B (zh) 2022-01-13 2022-01-13 基于工业机器人的无砟轨道板模具清理系统及清理方法

Country Status (1)

Country Link
CN (1) CN114559348B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106041946B (zh) * 2016-05-23 2017-02-22 广东工业大学 基于图像处理的机械人打磨生产方法及应用其的生产系统
CN110977767B (zh) * 2019-11-12 2021-07-02 长沙长泰机器人有限公司 一种铸件瑕疵分布检测方法以及铸件打磨方法
CN110962046B (zh) * 2019-11-25 2021-05-25 佛山缔乐视觉科技有限公司 五金件的缺陷识别方法、系统及存储介质
CN111421425B (zh) * 2020-03-11 2021-07-13 东北大学 一种基于工业视觉的金属表面修磨系统

Also Published As

Publication number Publication date
CN114559348A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN109671123B (zh) 一种基于单目视觉的鞋底喷胶设备及方法
CN208033202U (zh) 一种自动激光清洗装置
CN109702290B (zh) 基于视觉识别的钢板坡口切割方法
CN106041937A (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN110524697B (zh) 一种坐便器坯体自动喷釉系统及其定位方法
CN205553049U (zh) 注塑机注塑件全自动水口及整形加工机
CN112643207B (zh) 基于计算机视觉的激光自动除锈系统及方法
CN103970071B (zh) 铸件表面清理过程中加工路径的检测及纠正方法
CN111774775B (zh) 用于大型结构件龙门式机器人焊接的三维视觉系统及控制方法
CN114559348B (zh) 基于工业机器人的无砟轨道板模具清理系统及清理方法
CN118080205B (zh) 一种基于视觉的自动喷涂方法及系统
CN112907590B (zh) 一种基于金属锭打磨信息视觉识别的打磨方法及系统
CN107009029B (zh) 拉刀刀齿跨尺度表面形貌智能制备方法与装置
CN104148536B (zh) 一种双道餐叉自动生产系统
CN112355438A (zh) 一种用于集装箱波纹焊的机器人自动焊接工艺
CN109055930B (zh) 一种工件表面损伤的快速修复方法
CN109323667B (zh) 筒状工件内外型面激光扫描系统及方法
CN115684157B (zh) 基于机器视觉中心坐标法的热管打标识别定位方法及装置
CN201735929U (zh) 一种用于钢板切割机上的钢板轮廓扫描机构
CN209453857U (zh) 一种加气混凝土模具侧板的置换装置
CN206500494U (zh) 一种汽车冲压件生产用移动交替多工位冲压系统
CN108161457B (zh) 一种用于梯级加工的自动化铣边、去毛刺装置及方法
CN113009878A (zh) 一种基于单目视觉的运动工件姿态估计方法及装置
CN112391912A (zh) 基于视觉技术的路缘石铺装控制系统及方法
CN204074999U (zh) 双道餐叉自动生产设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant