CN112391912A - 基于视觉技术的路缘石铺装控制系统及方法 - Google Patents

基于视觉技术的路缘石铺装控制系统及方法 Download PDF

Info

Publication number
CN112391912A
CN112391912A CN201910757847.7A CN201910757847A CN112391912A CN 112391912 A CN112391912 A CN 112391912A CN 201910757847 A CN201910757847 A CN 201910757847A CN 112391912 A CN112391912 A CN 112391912A
Authority
CN
China
Prior art keywords
unit
curb
paving
module
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910757847.7A
Other languages
English (en)
Inventor
胡光忠
屈督清
袁柳
邓聪
刘娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN201910757847.7A priority Critical patent/CN112391912A/zh
Publication of CN112391912A publication Critical patent/CN112391912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/52—Apparatus for laying individual preformed surfacing elements, e.g. kerbstones
    • E01C19/522—Apparatus for laying the elements by rolling or unfolding, e.g. for temporary pavings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

本发明涉及自动控制技术领域，尤其是基于视觉技术的路缘石铺装控制系统及方法，包括视觉抓取模块以及铺装模块，视觉抓取模块包括图像采集单元、主控制单元以及抓取单元，所述图像采集单元、主控制单元以及抓取单元依次连接；所述铺装模块包括丝杠单元和夹持单元；图像采集单元对路况信息进行采集，并将采集信息传输给主控制单元对其进行识别匹配，同时主控制单元驱动抓取单元运动到指定位置抓取路缘石，并将路缘石运送到铺装模块；铺装模块的夹持单元夹紧路缘石的同时，丝杠单元驱动铺装模块不断下降，到达指定位置时夹持单元释放路缘石完成路缘石的铺装，实现路缘石铺装的自动化，解决了路缘石铺装效率低，人工成本高的问题。

Description

基于视觉技术的路缘石铺装控制系统及方法
技术领域
本发明涉及自动控制技术领域，尤其是一种基于视觉技术的路缘石铺装控制系统及方法。
背景技术
随着我国筑路行业的极速发展，现有的路缘石铺装方法已经不能满足目前需求，由于国内外对于路缘石铺装机械的研究较少，在国内外的筑路建设中，有提到枕木铺设设备，但由于其结构复杂，不适用于路缘石的铺装。还有单一的路缘石铺装机械设备，但都有其缺陷；现有的铺装方法主要是人工铺装。
人工铺装是采用提前预制的方法集中制作路缘石，然后再将预制好的路缘石分批运输到指定的的铺装地点，最后再由现场的工作人员进行人力铺装完成路缘石的铺装。这种完全由人工完成的铺装方法存在着费工费时，并且铺装速度慢以及铺装完成后的路缘石的强度不高以及色差很大等铺装不足。人工铺装主要存在两方面的弊端，一是路缘石具有一定的重量，工人在铺装过程中，会消耗大量的体力。二是在人工铺装时，工作效率低下，道路建设的工期延长进而影响交通出行，筑路建设受到一定限制。本发明旨在解决目前花岗岩路缘石铺装时存在的费时费力的问题、提高路缘石铺装的机械化、自动化程度。
发明内容
本发明所要解决的技术问题是提供一种基于视觉技术的路缘石铺装控制系统及方法，针对现有人工方案以实现铺装过程的全自动控制。
本发明所采用的技术方案是：提供一种基于视觉技术的路缘石铺装控制系统，包括视觉抓取模块以及铺装模块，所述视觉抓取模块包括图像采集单元、主控制单元以及抓取单元，所述图像采集单元、主控制单元以及抓取单元依次连接；所述铺装模块包括丝杠单元和夹持单元；所述图像采集单元用于采集路况信息以及路缘石信息，所述主控制单元用于接收图像采集单元的采集信息以及控制抓取单元的动作；所述抓取单元用于抓取路缘石并运输至铺装模块；所述丝杠单元用于驱动铺装模块的升降运动，所述夹持单元用于路缘石的夹紧或释放。
发明人指出，目前市场上还没有基于视觉技术实现花岗岩类路缘石的铺装，在国内外的筑路建设中，有提到枕木铺设设备，但由于其结构复杂，不适用于路缘石的铺装。还有单一的路缘石铺装机械设备，但都有其缺陷。还属于尚未开发的阶段，本申请基于单目视觉的路缘石铺装系统，用相机代替人眼对路缘石识别定位，用抓取单元抓取路缘石，用铺装单元对路缘石进行铺装，改变传统的路缘石铺装方式，以自动化铺装代替人工铺装，从而提高铺装效率。可以为道路建设中的附属设施建设提供极大的方便，节省了劳动力以及工作时间，有利于实现路缘石的高效率铺装，通过将机器视觉技术与路缘石的铺装紧密联系在一起，实现路缘石铺装的机械化、自动化，解决了路缘石铺装效率低的问题。
进一步地，所述铺装模块还包括PLC控制器，用于控制铺装模块沿滑轨的运动、升降以及释放路缘石的动作。
更进一步地，所述PLC控制器控制铺装模块上的滑轨运动到路缘石施工引线上方。
进一步地，所述铺装模块上方安装有限位开关，当限位开关碰到施工引线时铺装模块停止运动。
更进一步地，当所述铺装模块停止运动，夹持单元连杆上方的电磁铁得电产生磁力，连杆向电磁铁方向靠拢，夹持单元释放路缘石。
本发明还提供一种路缘石铺装控制系统的控制方法，包括以下步骤：
S1：图像采集单元对路况信息进行采集，并将采集信息传输给主控制单元；
S2：主控制单元通过内置识别定位对采集信息进行识别匹配，同时将定位得到的像素坐标转换为抓取单元坐标系下的坐标；
S3：主控制单元驱动抓取单元运动到坐标位置抓取路缘石，并将路缘石运送到铺装模块；
S4：铺装模块的夹持单元夹紧路缘石的同时，丝杠单元驱动铺装模块不断下降，到达指定位置时夹持单元释放路缘石完成路缘石的铺装。
进一步地，步骤S1中图像采集单元通过USB驱动/串口通信传输给主控制单元。
进一步地，步骤S2所述主控制单元的识别定位基于形状的模板匹配对路缘石进行匹配识别。
采用本方案的有益效果是通过工业相机与主控制单元的通信对路况的信息采集与识别，由于被识别的物体为规则的几何图形，故利用主控制单元中Halcon的基于形状的模板匹配对路缘石匹配识别。在Halcon软件中创建多个模板，当末端的工业相机把需要识别的路缘石传输给主控制单元后，Halcon便以此模板识别路缘石。结合主控制单元模板进行匹配，实现更为准确的路缘石铺装，极大改善整体铺装路面的状况。
进一步地，步骤S2所述转换坐标通过主控制单元的MFC窗口插件传送给抓取单元，使其运动到指定位置抓取路缘石。
采用本方案的优势是识别完成之后，为了让抓取单元准确抓取路缘石，实现对路缘石的准确定位并得到坐标信息。并且在定位之前进行手眼标定，求得像素坐标和机械手坐标系的转换关系。求得此转换关系后即可将像素坐标转换成实际坐标。由此控制其运动到指定位置抓取路缘石。
进一步地，所述铺装模块上方设置工业相机，用于采集铺装模块的中心坐标，并通过USB传输给主控制单元的MFC窗口插件。
本发明的有益效果是：基于单目视觉的路缘石铺装系统可以为道路建设中的附属设施建设提供极大的方便，节省了劳动力以及工作时间，有利于实现路缘石的高效率铺装，通过将机器视觉技术与路缘石的铺装紧密联系在一起，能够持续不间断的铺装路缘石，这样能够有效地提高工作效率，实现路缘石铺装的自动化、自动化，解决了路缘石铺装效率低，人工成本高的问题。
附图说明
图1是本发明基于视觉技术的路缘石铺装控制系统的示意图；
图2是本发明基于视觉技术的路缘石铺装控制系统的夹持单元的结构图；
附图标记：1-工控机，2-气动吸盘，3-串口通信，4-机械手，5-回转台，6-滑块，7-导轨，8-液压缸，9-工业相机，10-铺装模块，11-USB驱动，12-工业相机，13-路缘石，14-采集路况用的工业相机，101-拉簧，102-夹紧连杆，103-电磁铁，104-托块。
具体实施方式
下面结合附图对本发明进一步说明。
如图1所示，本发明提供一种基于视觉技术的路缘石铺装控制系统，包括视觉抓取模块以及铺装模块，所述视觉抓取模块包括图像采集单元、主控制单元以及抓取单元，所述图像采集单元、主控制单元以及抓取单元依次连接；所述铺装模块包括丝杠单元和夹持单元；所述图像采集单元用于采集路况信息以及路缘石信息，所述主控制单元用于接收图像采集单元的采集信息以及控制抓取单元的动作；所述抓取单元用于抓取路缘石并运输至铺装模块；所述丝杠单元用于驱动铺装模块的升降运动，所述夹持单元用于路缘石的夹紧或释放。
另外本发明还提供一种用于路缘石铺装控制系统的控制方法，由图像采集单元对路况信息进行采集，并将采集信息传输给主控制单元；主控制单元通过内置识别定位对采集信息进行识别匹配，同时将定位得到的像素坐标转换为抓取单元坐标系下的坐标；根据坐标信息主控制单元驱动抓取单元运动到指定位置抓取路缘石，并将路缘石运送到铺装模块；铺装模块的夹持单元夹紧路缘石的同时，丝杠单元驱动铺装模块不断下降，到达指定位置时夹持单元释放路缘石完成路缘石的铺装。
主要由视觉抓取模块以及铺装模块实现，视觉抓取模块：硬件部分由机械手(抓取单元)、工业相机(图像采集单元)、机械手末端执行机构即气动吸盘、工控机(主控制单元)、机械手的控制器等组成。视觉抓取模块软件部分为MFC联合Halcon混编窗口、该窗口与机械手自带的运动插件实现通信。路缘石的轮廓为近似矩形体结构，长、宽、厚分别为75cm×35cm×12.5cm，其材质为花岗岩，密度为2790-3070kg/m3，一块花岗岩路缘石的重量为91.55-100.73kg。针对以上技术参数用型号为ABB的机械臂，负载110kg，工作范围2.4m，机械手配有IRC5控制器。本发明采用公司生产的分辨率为5MP的Aca2500-14um工业相机，配有Basler Lens C125-1620-5M F2.0镜头。PC作为工控机，PC机通过USB连接相机采集路缘石的图像，Halcon对获取得到的图像进行识别定位，获取路缘石的位姿信息。PC机与机械手控制器实现串口通信，PC机把获取到的路缘石的位姿信息通过MFC窗口上的插件传送给机械手控制器，控制器再控制机械手运动。
路缘石铺装模块：铺装模块包括丝杠单元和夹持单元，丝杠单元为两个竖直方向的丝杠螺母机构，夹持单元如图2所示，用一根拉簧实现夹持机构的复位功能；PLC控制器控制电机驱动丝杠螺母机构实现铺装模块的上下移动，夹持机构对路缘石进行夹紧或释放。
基于视觉技术的路缘石铺装控制系统具体工作流程如下：
整个控制系统放置在工程车上作业，工程车末端放置有采集路况信息的工业相机，工业相机通过软触发的方式对道路两边的路况进行采集，可以是动态或者静态。根据反馈的路况信息选择需要铺装的路缘石，沥青路用路缘石或水泥地用路缘石。此判断步骤通过工业相机内置模块实现，根据选择结果并以数字信号的形式通过USB传输给工控机。由工控机的识别定位软件对需要的路缘石进行识别。由于被识别的物体为规则的几何图形，故在Halcon中用基于形状的模板匹配对路缘石匹配识别。在Halcon软件中创建多个模板，当末端的工业相机把需要识别的路缘石传输给工控机后，Halcon便以此模板识别路缘石。在识别完成之后，为了让机械手准确抓取路缘石，需要对路缘石定位。定位之前的准备步骤就是手眼标定，手眼标定的目的就是求得像素坐标和机械手坐标系的转换关系。求得此转换关系后即可将像素坐标转换成实际坐标。然后将此坐标通过MFC窗口上的插件传送给机械手的控制器，控制器驱动机械手的末端执行器即气动吸盘运动到指定位置抓取路缘石。铺装模块放置在滑轨系统上，滑轨系统由液压缸进行驱动。在铺装模块上方放置一个工业相机采集铺装模块的中心坐标，此坐标为第一次机械手抓取路缘石后运动的终点坐标，此坐标通过USB传输给工控机的MFC窗口中控制机械手运动的插件。机械手第一次抓取路缘石后运动的终点位置为之前工业相机采集的铺装模块的初始点。由于铺装时，铺装模块每完成一块路缘石的铺装后会自动向前进给一个路缘石的工位，故此后机械手运动点的终点坐标也自动在铺装模块进给方向加一段。在铺装路缘石之前先用PLC控制铺装模块上的滑轨系统运动到路缘石施工引线上方，在铺装模块上方安装一个限位开关，当限位开关碰到引线时停止运动。铺装模块沿滑轨的运动、升降以及释放路缘石的动作均由PLC控制。在释放路缘石之前，铺装模块托块上面的路缘石由夹持机构夹紧，铺装时先让丝杠机构驱动整个装置下降。当铺装模块下降到接近地面时，停止下降。此时夹持机构连杆上方的电磁铁得电产生磁力，连杆向电磁铁方向靠拢，夹持机构松开释放路缘石完成路缘石的铺装。铺装完成后铺装模块上升，然后向前进给一个工位，准备接收下一块路缘石，然后依次重复的铺装。

Claims (10)

1.基于视觉技术的路缘石铺装控制系统，其特征在于，包括视觉抓取模块以及铺装模块，所述视觉抓取模块包括图像采集单元、主控制单元以及抓取单元，所述图像采集单元、主控制单元以及抓取单元依次连接；所述铺装模块包括丝杠单元和夹持单元；所述图像采集单元用于采集路况信息以及路缘石信息，所述主控制单元用于接收图像采集单元的采集信息以及控制抓取单元的动作；所述抓取单元用于抓取路缘石并运输至铺装模块；所述丝杠单元用于驱动铺装模块的升降运动，所述夹持单元用于路缘石的夹紧或释放。
2.如权利要求1所述的基于视觉技术的路缘石铺装控制系统，其特征在于：所述铺装模块还包括PLC控制器，用于控制铺装模块沿滑轨的运动、升降以及释放路缘石的动作。
3.如权利要求2所述的基于视觉技术的路缘石铺装控制系统，其特征在于：所述PLC控制器控制铺装模块上的滑轨运动到路缘石施工引线上方。
4.如权利要求3所述的基于视觉技术的路缘石铺装控制系统，其特征在于：所述铺装模块上方安装有限位开关，当限位开关碰到施工引线时铺装模块停止运动。
5.如权利要求4所述的基于视觉技术的路缘石铺装控制系统，其特征在于：当所述铺装模块停止运动，夹持单元连杆上方的电磁铁得电产生磁力，连杆向电磁铁方向靠拢，夹持单元释放路缘石。
6.包含如权利要求1所述的路缘石铺装控制系统的控制方法，其特征在于，包括以下步骤：
S1：图像采集单元对路况信息进行采集，并将采集信息传输给主控制单元；
S2：主控制单元通过内置识别定位对采集信息进行识别匹配，同时将定位得到的像素坐标转换为抓取单元坐标系下的坐标；
S3：主控制单元驱动抓取单元运动到坐标位置抓取路缘石，并将路缘石运送到铺装模块；
S4：铺装模块的夹持单元夹紧路缘石的同时，丝杠单元驱动铺装模块不断下降，到达指定位置时夹持单元释放路缘石完成路缘石的铺装。
7.如权利要求6所述的基于视觉技术的路缘石铺装控制系统，其特征在于：步骤S1所述图像采集单元通过USB驱动/串口通信传输给主控制单元。
8.如权利要求6所述的基于视觉技术的路缘石铺装控制系统，其特征在于：步骤S2所述主控制单元的识别定位基于形状的模板匹配对路缘石进行匹配识别。
9.如权利要求6所述的基于视觉技术的路缘石铺装控制系统，其特征在于：步骤S2所述转换坐标通过主控制单元的MFC窗口插件传送给抓取单元，使其运动到指定位置抓取路缘石。
10.如权利要求6所述的基于视觉技术的路缘石铺装控制系统，其特征在于：所述铺装模块上方设置工业相机，用于采集铺装模块的中心坐标，并通过USB传输给主控制单元的MFC窗口插件。
CN201910757847.7A 2019-08-16 2019-08-16 基于视觉技术的路缘石铺装控制系统及方法 Pending CN112391912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910757847.7A CN112391912A (zh) 2019-08-16 2019-08-16 基于视觉技术的路缘石铺装控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910757847.7A CN112391912A (zh) 2019-08-16 2019-08-16 基于视觉技术的路缘石铺装控制系统及方法

Publications (1)

Publication Number Publication Date
CN112391912A true CN112391912A (zh) 2021-02-23

Family

ID=74601989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910757847.7A Pending CN112391912A (zh) 2019-08-16 2019-08-16 基于视觉技术的路缘石铺装控制系统及方法

Country Status (1)

Country Link
CN (1) CN112391912A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3109723A1 (de) * 1981-03-13 1982-09-23 Rudolf N. 8034 Germering Aumiller Beton-pflastereinheiten-schnellverlegeverfahren
CN107414832A (zh) * 2017-08-08 2017-12-01 华南理工大学 一种基于机器视觉的移动机械臂抓取控制系统及方法
CN109531570A (zh) * 2018-12-10 2019-03-29 浙江树人学院 基于视觉传感器的机械臂抓取方法
CN109537416A (zh) * 2018-12-18 2019-03-29 四川理工学院 一种路缘石铺装机
CN109719734A (zh) * 2019-03-12 2019-05-07 湖南大学 一种机器人视觉引导的手机闪光灯组装系统及组装方法
CN109986551A (zh) * 2017-12-31 2019-07-09 广州智信科技有限公司 抓取系统及抓取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3109723A1 (de) * 1981-03-13 1982-09-23 Rudolf N. 8034 Germering Aumiller Beton-pflastereinheiten-schnellverlegeverfahren
CN107414832A (zh) * 2017-08-08 2017-12-01 华南理工大学 一种基于机器视觉的移动机械臂抓取控制系统及方法
CN109986551A (zh) * 2017-12-31 2019-07-09 广州智信科技有限公司 抓取系统及抓取方法
CN109531570A (zh) * 2018-12-10 2019-03-29 浙江树人学院 基于视觉传感器的机械臂抓取方法
CN109537416A (zh) * 2018-12-18 2019-03-29 四川理工学院 一种路缘石铺装机
CN109719734A (zh) * 2019-03-12 2019-05-07 湖南大学 一种机器人视觉引导的手机闪光灯组装系统及组装方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨坤怡等: "《制造技术实验教程》", 30 September 2006, 成都：西南交通大学出版社 *

Similar Documents

Publication Publication Date Title
CN105822044B (zh) 一种贴砖装置
CN102717382B (zh) 多机械手同步抱抓机构
CN105082158B (zh) 一种基于图像识别的抓取与放置压缩机的方法
CN112012057B (zh) 一种无砟轨道钢轨铺设过程的智能控制方法
CN203767638U (zh) 物料包码垛机左右抓手组件间距自动调节装置
CN111300405B (zh) 一种移动平台的视觉识别定位装置及方法
CN109537416B (zh) 一种路缘石铺装机
CN110374313A (zh) 一种铺地瓷砖智能机器人
CN103738725A (zh) 一种led球泡灯快速换向装置及应用所述装置进行换向的方法
CN112391912A (zh) 基于视觉技术的路缘石铺装控制系统及方法
CN108381580A (zh) 一种电池模组夹持手爪及具有其的电池模组装配机器人
CN111335118A (zh) 装配式道路的自动控制系统、自动铺设方法及预制路面板
CN208449603U (zh) 一种基于机械手的选矿摇床自动巡检执行装置
CN110700592A (zh) 悬挂式混凝土振捣装置及方法
CN104889997A (zh) 一种固态酿造翻曲高精度定位的机械手控制系统及方法
CN211761534U (zh) 一种三轴桁架机械手系统和一种三轴桁架机械手控制系统
CN102583051B (zh) 汽车玻璃送件装置
CN212083253U (zh) 一种机械臂式轨枕裂纹检测系统
CN112428386B (zh) 一种智能振捣台车
CN114525918A (zh) 一种墙面用瓷砖自动铺贴设备及其铺贴方法
CN209922328U (zh) 一种瓶子排式对位机
CN210561513U (zh) Crtsⅲ型板式无砟轨道板自动智能精调施工装置
CN108265989B (zh) 一种建筑工地施工机器
CN205254481U (zh) 一种自动化usb产品拔出设备
CN116784184A (zh) 一种柔性双孢菇自动采摘系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination