CN115464652A - 一种基于机器视觉的钢筋绑扎方法及系统 - Google Patents

一种基于机器视觉的钢筋绑扎方法及系统 Download PDF

Info

Publication number
CN115464652A
CN115464652A CN202211160460.1A CN202211160460A CN115464652A CN 115464652 A CN115464652 A CN 115464652A CN 202211160460 A CN202211160460 A CN 202211160460A CN 115464652 A CN115464652 A CN 115464652A
Authority
CN
China
Prior art keywords
steel bar
binding
intersection
reinforcement
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211160460.1A
Other languages
English (en)
Other versions
CN115464652B (zh
Inventor
张伟民
熊凌轩
杨宇航
徐毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Haribit Intelligent Technology Co ltd
Original Assignee
Beijing Haribit Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haribit Intelligent Technology Co ltd filed Critical Beijing Haribit Intelligent Technology Co ltd
Priority to CN202211160460.1A priority Critical patent/CN115464652B/zh
Publication of CN115464652A publication Critical patent/CN115464652A/zh
Application granted granted Critical
Publication of CN115464652B publication Critical patent/CN115464652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器视觉的钢筋绑扎方法及系统。该方法包括根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；根据所述图像信息确定钢筋交叉点的像素坐标；对钢筋交叉点进行排序，确定钢筋绑扎规划路线；根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述图像信息确定钢筋交叉点的像素坐标的步骤，直至完成所有拍摄点的钢筋绑扎的任务。本发明能够避免钢筋交叉点重复绑扎、漏绑的问题，并且能够提高钢筋绑扎效率。

Description

一种基于机器视觉的钢筋绑扎方法及系统
技术领域
本发明涉及钢筋绑扎工序领域，特别是涉及一种基于机器视觉的钢筋绑扎方法及系统。
背景技术
目前中国国内建筑行业中的钢筋绑扎工序属于典型的劳动密集型产业，行业普遍采用人工捆扎的方式。这种传统的劳动方式存在劳动强度大，捆扎效率低，捆扎力度不均的问题，经常会导致钢筋捆扎不合格的情况。同时，在一些高支模，深基坑等位置进行人工作业的时候，也伴随着较高的安全风险，由此引发的安全事故不在少数。此外，随着人口老龄化加剧、新一代年轻劳动力从事繁重枯燥的体力劳动的意愿逐渐降低，以钢筋绑扎行业为代表的建筑行业缺乏劳动力的问题也越来越严重。基于以上钢筋绑扎行业劳动强度大、人工作业效率低下、安全事故频发、劳动力匮乏的现状，提出了基于红外探测的钢筋绑扎机器人，利用钢筋绑扎机器人进行绑扎，但是上述方法由于钢筋一定程度上的变形弯曲，会导致出现钢筋交叉点重复绑扎、漏绑的问题。
发明内容
本发明的目的是提供一种基于机器视觉的钢筋绑扎方法及系统，能够避免钢筋交叉点重复绑扎、漏绑的问题，并且能够提高钢筋绑扎效率。
为实现上述目的，本发明提供了如下方案：
一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎方法应用于桁架式钢筋绑扎机器人，所述桁架式钢筋绑扎机器人中机械臂末端搭载深度相机；所述钢筋绑扎方法包括：
根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；
在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：RGB图像和深度图像；
根据所述图像信息确定钢筋交叉点的像素坐标；
对钢筋交叉点进行排序，确定钢筋绑扎规划路线；
根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；
第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述图像信息确定钢筋交叉点的像素坐标的步骤，直至完成所有拍摄点的钢筋绑扎的任务。
可选地，所述根据所述图像信息确定钢筋交叉点的像素坐标，之后还包括：
根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差；
判断所述像素值差是否小于像素阈值；
若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点；
若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
可选地，所述对钢筋交叉点进行排序，确定钢筋绑扎规划路线，具体包括：
将所有待排序的钢筋交叉点添加到集合Q中；
对集合Q中的全部钢筋交叉点按照x轴坐标大小进行升序排列；
将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点；
若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；
将同一横向钢筋条上的钢筋交叉点作为一组；
若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线R中；
若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线R中；
将当前组的钢筋交叉点从集合Q中剔除，并返回所述将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合Q为空集合，确定钢筋绑扎规划路线。
可选地，所述根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎，具体包括：
根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
获取机械臂位置信息；
根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
一种基于机器视觉的钢筋绑扎系统，所述钢筋绑扎系统应用于所述的一种基于机器视觉的钢筋绑扎方法；所述钢筋绑扎系统包括：
拍摄点的坐标确定模块，用于根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；
图像信息获取模块，用于在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：RGB图像和深度图像；
钢筋交叉点的像素坐标确定模块，用于根据所述图像信息确定钢筋交叉点的像素坐标；
钢筋绑扎规划路线确定模块，用于对钢筋交叉点进行排序，确定钢筋绑扎规划路线；
钢筋绑扎模块，用于根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；
钢筋绑扎的任务完成模块，用于第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述钢筋交叉点的像素坐标确定模块，直至完成所有拍摄点的钢筋绑扎的任务。
可选地，还包括：
像素值差确定模块，用于根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差；
第一判断模块，用于判断所述像素值差是否小于像素阈值；
钢筋交叉点删除模块，用于若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点；
未绑扎交叉点列表更新模块，用于若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
可选地，所述钢筋绑扎规划路线确定模块具体包括：
集合Q确定单元，用于将所有待排序的钢筋交叉点添加到集合Q中；
第一排序单元，用于对集合Q中的全部钢筋交叉点按照x轴坐标大小进行升序排列；
钢筋交叉点遍历单元，用于将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点；
分组单元，用于若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；将同一横向钢筋条上的钢筋交叉点作为一组；
绑扎规划路线第一更新单元，用于若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线R中；
绑扎规划路线第二更新单元，用于若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线R中；
钢筋绑扎规划路线确定单元，用于将当前组的钢筋交叉点从集合Q中剔除，并返回所述将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合Q为空集合，确定钢筋绑扎规划路线。
可选地，所述钢筋绑扎模块具体包括：
坐标第一转换单元，用于根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
机械臂位置信息获取模块，用于获取机械臂位置信息；
坐标第二转换单元，用于根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于机器视觉的钢筋绑扎方法及系统，能配合机械臂实现钢筋绑扎任务的全自动化，钢筋绑扎的速度更快，作业效率高，且不会出现由于人工绑扎力度不均匀导致绑扎不合格的问题。相比于现有的基于红外探测的钢筋绑扎机器人，本发明提出采用机器视觉的方法对钢筋交叉点进行识别检测，能够大幅减小钢筋交叉点位置识别的误差，可以避免由于钢筋一定程度上的变形弯曲而导致漏绑、错绑的问题；且本发明方法对钢筋布设的要求更低，实际操作更为便捷，从而使钢筋绑扎效率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于机器视觉的钢筋绑扎方法流程示意图；
图2为深度相机的视野参数示意图；
图3为深度相机拍摄点确认方法示意图；
图4为对钢筋交叉点进行分组示意图；
图5为钢筋交叉点标号排序和“S”形轨迹规划示意图；
图6为钢筋绑扎规划路线确定流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于机器视觉的钢筋绑扎方法及系统，能够避免钢筋交叉点重复绑扎、漏绑的问题，并且能够提高钢筋绑扎效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明所提供的一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎方法应用于桁架式钢筋绑扎机器人，所述桁架式钢筋绑扎机器人中机械臂末端搭载深度相机。
所述桁架式钢筋绑扎机器人包括：主控箱、U形槽、钢筋操作面、导轨、横梁、机械臂支架、深度相机、机械臂以及自动绑扎装置。
主控箱用于钢筋绑扎机器人的电源控制、任务调度及实现，其任务主要包括控制机械臂移动、控制深度相机采集图像信息，控制自动绑扎装置作业等。
U形槽用于固定纵向钢筋条和横向钢筋条。
钢筋操作面为纵向钢筋条和横向钢筋条交叉形成的单层钢筋网状结构。
桁架式钢筋绑扎机器人的x轴方向上布设了两条导轨；横梁可以相对于导轨在x轴方向上进行移动；机械臂支架布设在横梁一侧，且能相对于横梁在y轴方向上进行运动；深度相机固连于机械臂支架上，相对于钢筋操作面可以在x轴和y轴方向上进行移动，以此可以实现在各个拍摄点处采集待绑扎钢筋的深度图像和RGB图像等信息。
机械臂能够相对于机械臂支架在z轴方向上进行移动，相对钢筋操作平面则能够在x轴，y轴和z轴三个方向上进行移动，即拥有三个自由度。可以用于驱动机械臂末端的自动绑扎装置到各个钢筋交叉点上方进行钢筋绑扎作。
自动绑扎装置固连于机械臂末端，用来完成钢筋交叉点的自动绑扎任务。
图1为本发明所提供的一种基于机器视觉的钢筋绑扎方法流程示意图，如图1所示，所述钢筋绑扎方法包括：
S101，根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标。
如图2所示，x轴方向上采集图像的视野参数为a，y轴方向上采集图像的视野参数为b。以y方向为例说明相机拍摄点y轴坐标确认方法。设参数L＝0.8*b，即深度相机在y轴方向采集图像的视野参数的1.8倍。如图3所示，在y方向上，首先使第一个拍摄点与钢筋操作面左边界距离为L/2，最后一个拍摄点与钢筋操作面的右边界距离也为L/2，接着在第一个拍摄点与最后一个拍摄点之间每隔距离L依次插入一个拍摄点，直至插入的拍摄点与最后一个拍摄点在y轴上的距离d<L为止。
拍摄点的x轴坐标确认方法同上。按照此方法，当相机视野覆盖整个钢筋操作面的时候，便可以得到深度相机在各个拍摄点出的坐标。
S102，在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：RGB图像和深度图像。
S103，根据所述图像信息确定钢筋交叉点的像素坐标。
S103之后还包括：
根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差。
判断所述像素值差是否小于像素阈值。
若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点。
若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
S104，对钢筋交叉点进行排序，确定钢筋绑扎规划路线。
由于在实际场景中，横向钢筋条由于较长的原因总是伴随着一定程度的弯曲，因此位于同一条横向钢筋条上的钢筋交叉点的x轴坐标会在某一很小的区间内随机波动，而这个区间范围远远小于x轴方向上的位于相邻横向钢筋条的间距；同时，基于机器视觉的钢筋交叉点识别算法输出结果又是无序的，因此如图5所示，判断待绑扎钢筋交叉点的所在行和列，并对其进行标号排序，以此来实现机械臂绑扎任务的“S”形轨迹规划，如图6所示，具体步骤如下：
S401，将所有待排序的钢筋交叉点添加到集合Q中。
S402，对集合Q中的全部钢筋交叉点按照x轴坐标大小进行升序排列。
S403，将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点。
S404，若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点。
S405，将同一横向钢筋条上的钢筋交叉点作为一组，并如图4所示。
S406，若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线R中。
S407，若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线R中。
S408，将当前组的钢筋交叉点从集合Q中剔除，并返回S403，直至集合Q为空集合，确定出钢筋绑扎规划路线。
S105，根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎。
S105具体包括：
根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
获取机械臂位置信息；
根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
S106，第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述S103，直至完成所有拍摄点的钢筋绑扎的任务。
本发明所提供的一种基于机器视觉的钢筋绑扎系统，应用于所述的一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎系统包括：
拍摄点的坐标确定模块，用于根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标。
图像信息获取模块，用于在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：RGB图像和深度图像。
钢筋交叉点的像素坐标确定模块，用于根据所述图像信息确定钢筋交叉点的像素坐标。
钢筋绑扎规划路线确定模块，用于对钢筋交叉点进行排序，确定钢筋绑扎规划路线。
钢筋绑扎模块，用于根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎。
钢筋绑扎的任务完成模块，用于第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述钢筋交叉点的像素坐标确定模块，直至完成所有拍摄点的钢筋绑扎的任务。
本发明所提供的一种基于机器视觉的钢筋绑扎系统，还包括：
像素值差确定模块，用于根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差。
第一判断模块，用于判断所述像素值差是否小于像素阈值。
钢筋交叉点删除模块，用于若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点。
未绑扎交叉点列表更新模块，用于若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
所述钢筋绑扎规划路线确定模块具体包括：
集合Q确定单元，用于将所有待排序的钢筋交叉点添加到集合Q中。
第一排序单元，用于对集合Q中的全部钢筋交叉点按照x轴坐标大小进行升序排列。
钢筋交叉点遍历单元，用于将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点。
分组单元，用于若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；将同一横向钢筋条上的钢筋交叉点作为一组。
绑扎规划路线第一更新单元，用于若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线R中。
绑扎规划路线第二更新单元，用于若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线R中。
钢筋绑扎规划路线确定单元，用于将当前组的钢筋交叉点从集合Q中剔除，并返回所述将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合Q为空集合，确定出钢筋绑扎规划路线。
所述钢筋绑扎模块具体包括：
坐标第一转换单元，用于根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标。
机械臂位置信息获取模块，用于获取机械臂位置信息。
坐标第二转换单元，用于根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎方法应用于桁架式钢筋绑扎机器人，所述桁架式钢筋绑扎机器人中机械臂末端搭载深度相机；其特征在于，所述钢筋绑扎方法包括：
根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；
在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：RGB图像和深度图像；
根据所述图像信息确定钢筋交叉点的像素坐标；
对钢筋交叉点进行排序，确定钢筋绑扎规划路线；
根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；
第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述图像信息确定钢筋交叉点的像素坐标的步骤，直至完成所有拍摄点的钢筋绑扎的任务。
2.根据权利要求1所述的一种基于机器视觉的钢筋绑扎方法，其特征在于，所述根据所述图像信息确定钢筋交叉点的像素坐标，之后还包括：
根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差；
判断所述像素值差是否小于像素阈值；
若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点；
若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
3.根据权利要求1所述的一种基于机器视觉的钢筋绑扎方法，其特征在于，所述对钢筋交叉点进行排序，确定钢筋绑扎规划路线，具体包括：
将所有待排序的钢筋交叉点添加到集合Q中；
对集合Q中的全部钢筋交叉点按照x轴坐标大小进行升序排列；
将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点；
若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；
将同一横向钢筋条上的钢筋交叉点作为一组；
若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线R中；
若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线R中；
将当前组的钢筋交叉点从集合Q中剔除，并返回所述将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合Q为空集合，确定出钢筋绑扎规划路线。
4.根据权利要求1所述的一种基于机器视觉的钢筋绑扎方法，其特征在于，所述根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎，具体包括：
根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
获取机械臂位置信息；
根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
5.一种基于机器视觉的钢筋绑扎系统，所述钢筋绑扎系统应用于权利要求1-4中任意一项所述的一种基于机器视觉的钢筋绑扎方法；其特征在于，所述钢筋绑扎系统包括：
拍摄点的坐标确定模块，用于根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；
图像信息获取模块，用于在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：RGB图像和深度图像；
钢筋交叉点的像素坐标确定模块，用于根据所述图像信息确定钢筋交叉点的像素坐标；
钢筋绑扎规划路线确定模块，用于对钢筋交叉点进行排序，确定钢筋绑扎规划路线；
钢筋绑扎模块，用于根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；
钢筋绑扎的任务完成模块，用于第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述钢筋交叉点的像素坐标确定模块，直至完成所有拍摄点的钢筋绑扎的任务。
6.根据权利要求5所述的一种基于机器视觉的钢筋绑扎系统，其特征在于，还包括：
像素值差确定模块，用于根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差；
第一判断模块，用于判断所述像素值差是否小于像素阈值；
钢筋交叉点删除模块，用于若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点；
未绑扎交叉点列表更新模块，用于若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
7.根据权利要求5所述的一种基于机器视觉的钢筋绑扎系统，其特征在于，所述钢筋绑扎规划路线确定模块具体包括：
集合Q确定单元，用于将所有待排序的钢筋交叉点添加到集合Q中；
第一排序单元，用于对集合Q中的全部钢筋交叉点按照x轴坐标大小进行升序排列；
钢筋交叉点遍历单元，用于将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点；
分组单元，用于若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；将同一横向钢筋条上的钢筋交叉点作为一组；
绑扎规划路线第一更新单元，用于若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线R中；
绑扎规划路线第二更新单元，用于若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线R中；
钢筋绑扎规划路线确定单元，用于将当前组的钢筋交叉点从集合Q中剔除，并返回所述将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合Q为空集合，确定出钢筋绑扎规划路线。
8.根据权利要求5所述的一种基于机器视觉的钢筋绑扎系统，其特征在于，所述钢筋绑扎模块具体包括：
坐标第一转换单元，用于根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
机械臂位置信息获取模块，用于获取机械臂位置信息；
坐标第二转换单元，用于根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
CN202211160460.1A 2022-09-22 2022-09-22 一种基于机器视觉的钢筋绑扎方法及系统 Active CN115464652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211160460.1A CN115464652B (zh) 2022-09-22 2022-09-22 一种基于机器视觉的钢筋绑扎方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211160460.1A CN115464652B (zh) 2022-09-22 2022-09-22 一种基于机器视觉的钢筋绑扎方法及系统

Publications (2)

Publication Number Publication Date
CN115464652A true CN115464652A (zh) 2022-12-13
CN115464652B CN115464652B (zh) 2024-09-03

Family

ID=84335120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211160460.1A Active CN115464652B (zh) 2022-09-22 2022-09-22 一种基于机器视觉的钢筋绑扎方法及系统

Country Status (1)

Country Link
CN (1) CN115464652B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151036A (zh) * 2023-04-17 2023-05-23 中铁九局集团有限公司 一种钢筋自动绑扎的路径规划方法及装置
CN116805336A (zh) * 2023-07-05 2023-09-26 中南大学 一种机器视觉环境下的钢筋交叉点精确坐标解算方法
CN118342533A (zh) * 2024-06-07 2024-07-16 济南工程职业技术学院 一种钢筋绑扎机器人的位姿控制方法及装置
CN118456446A (zh) * 2024-07-09 2024-08-09 湖南大学 基于三维重建的钢筋笼智能绑扎方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186633A (ja) * 2013-03-25 2014-10-02 Junko Seimitsu Kotei Jigyo Kofun Yugenkoshi 鉄筋の溶接方法および鉄筋の溶接調節システム
CN110328662A (zh) * 2019-06-24 2019-10-15 北京理工华汇智能科技有限公司 基于图像识别的路径规划方法及装置
CN209983105U (zh) * 2018-12-29 2020-01-24 丰疆智能科技股份有限公司 收割机
US20200101616A1 (en) * 2018-09-27 2020-04-02 Logistics and Supply Chain MultiTech R&D Centre Limited Reinforcement Bar Joint Recognition Using Artificial Intelligence Vision
CN114862829A (zh) * 2022-05-30 2022-08-05 北京建筑大学 一种钢筋绑扎点定位方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186633A (ja) * 2013-03-25 2014-10-02 Junko Seimitsu Kotei Jigyo Kofun Yugenkoshi 鉄筋の溶接方法および鉄筋の溶接調節システム
US20200101616A1 (en) * 2018-09-27 2020-04-02 Logistics and Supply Chain MultiTech R&D Centre Limited Reinforcement Bar Joint Recognition Using Artificial Intelligence Vision
CN209983105U (zh) * 2018-12-29 2020-01-24 丰疆智能科技股份有限公司 收割机
CN110328662A (zh) * 2019-06-24 2019-10-15 北京理工华汇智能科技有限公司 基于图像识别的路径规划方法及装置
CN114862829A (zh) * 2022-05-30 2022-08-05 北京建筑大学 一种钢筋绑扎点定位方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151036A (zh) * 2023-04-17 2023-05-23 中铁九局集团有限公司 一种钢筋自动绑扎的路径规划方法及装置
CN116805336A (zh) * 2023-07-05 2023-09-26 中南大学 一种机器视觉环境下的钢筋交叉点精确坐标解算方法
CN116805336B (zh) * 2023-07-05 2023-12-08 中南大学 一种机器视觉环境下的钢筋交叉点精确坐标解算方法
CN118342533A (zh) * 2024-06-07 2024-07-16 济南工程职业技术学院 一种钢筋绑扎机器人的位姿控制方法及装置
CN118342533B (zh) * 2024-06-07 2024-09-20 济南工程职业技术学院 一种钢筋绑扎机器人的位姿控制方法及装置
CN118456446A (zh) * 2024-07-09 2024-08-09 湖南大学 基于三维重建的钢筋笼智能绑扎方法、装置、设备及介质
CN118456446B (zh) * 2024-07-09 2024-09-06 湖南大学 基于三维重建的钢筋笼智能绑扎方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115464652B (zh) 2024-09-03

Similar Documents

Publication Publication Date Title
CN115464652A (zh) 一种基于机器视觉的钢筋绑扎方法及系统
CN102778229B (zh) 未知环境下基于改进蚁群算法的移动Agent路径规划方法
US10864638B2 (en) Reinforcement bar joint recognition using artificial intelligence vision
CN104107973A (zh) 集装箱波纹板焊缝的识别方法、识别装置及焊接控制系统
CN110988586A (zh) 一种配网带电作业机器人作业精准定位方法及系统
CN110889552B (zh) 一种基于最优参数遗传算法的苹果自动装箱路径优化方法
CN109032135A (zh) 一种自动引导车的调度方法及系统
CN105742716A (zh) 圆柱形锂离子电池自动化分选装置
CN109032150A (zh) 基于遗传算法分段优化的轨道式自动引导车动态调度方法
CN115420292B (zh) 一种轮腿式钢筋捆扎机器人的定位导航方法及系统
CN114412187B (zh) 钢筋绑扎机器人的行走避障方法及系统
CN115781082A (zh) 一种标准节自动焊接方法、系统、装置和存储介质
CN114919061A (zh) 适用于铁路预制梁钢筋骨架智能建造的部品拆分方法及应用
CN110956230A (zh) 使用人工智能视觉的钢筋接点识别
CN113275777A (zh) 机器人焊接复杂钢筋骨架的施工方法
CN112627538A (zh) 基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法
CN115837673A (zh) 一种基于点云环境感知的钢筋网片自动绑扎方法
CN114515923A (zh) 一种应用于隧道钢筋焊接的视觉定位系统
CN111323036B (zh) 原料场智能寻优路径方法、系统、电子设备和存储介质
CN112699820B (zh) 一种用于钢轨铺设的滚筒的回收方法与系统
CN115982821A (zh) 一种铁路线路纵断面优化方法及其在捣固作业中的应用
CN116880341B (zh) 基于工业以太网总线的高精度运动控制系统
CN221658452U (zh) 一种用于龙门焊接机器人的零点定位装置
Shen et al. Movement and binding control strategy based on a new type of rebar-binding robot
CN113264450A (zh) 轮胎式提梁机小曲线半径非平衡式悬臂及拼装施工系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant