CN114263352A - 钢筋绑扎机器人及钢筋交叉点的识别方法 - Google Patents

Abstract

本发明公开了一种钢筋绑扎机器人及钢筋交叉点的识别方法，本发明的钢筋绑扎机器人及钢筋交叉点的识别方法通过测距传感器，深度相机以及微动开关，坐标的标定件等多种多传感设备获取原始数据，通过数字图像处理的方法，结合测距传感器，微动开关的数据，校准处理结果，实现钢筋绑扎位置的精准定位。本发明解决了现有的钢筋绑扎机器人在绑扎多层钢筋的钢筋结构时，绑扎准确度较低的问题。

Description

钢筋绑扎机器人及钢筋交叉点的识别方法

技术领域

本发明涉及建筑施工技术领域，具体涉及一种钢筋绑扎机器人及钢筋交叉点的识别方法。

背景技术

目前，在建筑施工过程中，对于钢筋的绑扎作业，最普遍的方式依旧是通过人工的方式进行，人为识别绑扎位置，手动完成绑扎过程。该种方法需要大量的人工成本，也存在一定的人为误差导致的质量问题，比如不绑，漏绑，绑丝断裂等情况。同时，在一些高支模，深基坑等位置进行人工作业的时候，也存在一定的安全风险。

随着自动化技术的演进，计算机视觉方法的应用，钢筋绑扎机器人相应推出，但是在实际使用过程中，尤其是多层钢筋的钢筋结构的绑扎，在环境光线、以及下层的钢筋都会引入误差，所以现有的钢筋绑扎机器人绑扎准确度较低。

发明内容

为克服现有技术所存在的缺陷，现提供一种钢筋绑扎机器人及钢筋交叉点的识别方法，以解决现有的钢筋绑扎机器人在绑扎多层钢筋的钢筋结构时，绑扎准确度较低的问题。

为实现上述目的，提供一种钢筋绑扎机器人，钢筋结构包括多层钢筋网片，所述钢筋网片包括多根横向钢筋和搁置于所述横向钢筋的多根纵向钢筋，所述横向钢筋与所述纵向钢筋交叉设置，所述钢筋绑扎机器人包括：

承台，所述承台的相对两侧安装有用于行走于所述纵向钢筋的电动滚轮，所述承台的下部的中间位置安装有动作执行机构、深度相机、两第一测距传感器和标定件，两所述第一测距传感器分别安装于所述承台的前端和后端，所述第一测距传感器与所述承台呈预设角度设置，所述深度相机、所述动作执行机构和所述标定件设置于两所述第一测距传感器之间，所述标定件安装有微动作开关，在所述标定件移动至所述横向钢筋的上方时，顶层所述钢筋网片的横向钢筋触发所述微动作开关；以及

控制器，信号连接于所述动作执行机构、所述深度相机、两所述第一测距传感器、所述微动作开关和所述电动滚轮。

进一步的，所述承台的外沿分别安装有多个第二测距传感器，所述第二测距传感器信号连接于所述控制器。

进一步的，所述承台的相对两侧的电动滚轮之间距离为所述纵向钢筋的间距的两倍。

进一步的，所述动作执行机构和所述深度相机设置于所述承台的相对两侧电动滚轮之间的中部位置。

进一步的所述电动滚轮的圆周面形成供纵向钢筋嵌设的限位凹槽。

本发明提供一种钢筋交叉点的识别方法，包括以下步骤：

a、提供上述的钢筋绑扎机器人，将承台的相对两侧的电动滚轮分别搁置于钢筋结构的顶层的钢筋网片的两纵向钢筋的一端，使得动作执行机构和深度相机对准于待绑扎的一纵向钢筋；

b、控制器控制所述电动滚轮高速运行，使得钢筋绑扎机器人沿所述纵向钢筋的长度方向快速移动；

c、两第一测距传感器采集顶层的所述钢筋网片的横向钢筋至所述第一测距传感器之间的第一距离；

d、控制器获取所述第一距离，在所述第一距离适配于所述横向钢筋至所述第一测距传感器之间的预设距离范围时，控制器控制所述电动滚轮低速运行，直至标定件上的微动作开关被首根横向钢筋触发，所述控制器获取所述微动作开关的信号并关闭所述电动滚轮，使得所述深度相机和所述动作执行机构对准于首根所述横向钢筋与所述纵向钢筋的首个交叉点；

e、所述深度相机采集所述首个交叉点的深度图像和原始RGB图像；

f、所述控制器获取所述深度图像和所述原始RGB图像，并基于预设角度、所述第一距离、所述第一传感器与所述深度相机之间的第二距离计算获得所述深度相机至所述横向钢筋的深度值，从所述深度图像中分离出顶层图像；

g、所述控制器从所述顶层图像中识别出所述标定件、所述横向钢筋以及所述纵向钢筋，并基于所述标定件、所述横向钢筋、所述纵向钢筋的像素坐标、图像坐标以及所述标定件的世界坐标，计算获得所述首个交叉点的世界坐标；

h、基于所述首个交叉点的世界坐标，所述控制器控制所述动作执行机构伸至所述首个交叉点处进行钢筋绑扎。

本发明的有益效果在于，本发明的钢筋绑扎机器人及钢筋交叉点的识别方法通过测距传感器，深度相机以及微动开关，坐标的标定件等多种多传感设备获取原始数据，通过数字图像处理的方法，结合测距传感器，微动开关的数据，校准处理结果，实现钢筋绑扎位置的精准定位。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例的钢筋绑扎机器人的结构示意图。

图2为本发明实施例的钢筋绑扎机器人的侧视图。

图3为本发明实施例的承台的底部的结构示意图。

图4为本发明实施例的深度图像。

图5为本发明实施例的顶层图像。

图6为本发明实施例的图像处理后的顶层图像中的标定件的示意图。

图7为本发明实施例的图像处理后的顶层图像中的纵向钢筋的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1所示，钢筋结构包括多层钢筋网片1，附图图1中仅显示了顶层的钢筋网片。具体的，钢筋网片1包括多根横向钢筋11和多根纵向钢筋12。多根纵向钢筋12搁置于多根横向钢筋11。横向钢筋11与纵向钢筋12交叉设置。

继续参照图1至图3所示，本发明提供了一种钢筋绑扎机器人，包括：承台2和控制器。

具体的，承台2的相对两侧安装有用于行走于纵向钢筋12的电动滚轮3。电动滚轮的行走速度可调节，分为高速行驶和低速行驶。在本实施例中，承台2的相对两侧的电动滚轮3之间距离为纵向钢筋12的间距的两倍，即承台横跨相邻的三根纵向钢筋，且承台两侧的电动滚轮分别行走于最外侧的两根纵向钢筋中，而中间的纵向钢筋为待绑扎的钢筋。

作为一种较佳的实施方式，电动滚轮3的圆周面形成供纵向钢筋12嵌设的限位凹槽。限位凹槽沿电动滚轮的圆周方向设置一圈。

承台2的下部的中间位置安装有动作执行机构、深度相机4、两第一测距传感器5和标定件6。

两第一测距传感器5分别安装于承台2的前端和后端。在本实施例中，承台的前后是基于电动滚轮的进行方向而言的“前”与“后”，在行进或前进方向的前方则为“前”，在行进或前进方向的后方则为“后”。电动滚轮可以通过正反转实现前进与后退。第一测距传感器用于探测横向钢筋，当第一测距传感器采集的第一距离处于预设距离范围内，则表示第一测距传感器已探测到横向钢筋，进而避免下层的横向钢筋的干扰。

第一测距传感器5与承台2呈预设角度θ设置。深度相机4、动作执行机构和标定件6设置于两第一测距传感器5之间。较佳的，标定件设置于深度相机的视野范围内。标定件为一参照物，该标定件距离承台的距离等位置信息为已知。标定件6安装有微动作开关。在本实施例中，标定件为圆球形。在标定件6移动至一横向钢筋11的上方时，顶层的钢筋网片1的横向钢筋11触发微动作开关，微动作开关产生信号。

作为一种较佳的实施方式，动作执行机构、深度相机4以及标定件分别设置于承台2的相对两侧电动滚轮3之间的中部位置。

在本实施例中，控制器为控制系统。控制器信号连接于动作执行机构、深度相机4、两第一测距传感器5、微动作开关和电动滚轮3。

作为一种较佳的实施方式，承台2的外沿分别安装有多个第二测距传感器7。第二测距传感器7信号连接于所述控制器。具体的，第二测距传感器的数量为四个。承台呈正方形，四个第二测距传感器设置于承台的四侧，用于探测钢筋网片的边界，已以避免钢筋绑扎机器人脱离纵向钢筋。

参阅图4至图7，本发明提供一种钢筋交叉点的识别方法，包括以下步骤：

a、提供上述的钢筋绑扎机器人，将承台2的相对两侧的电动滚轮3分别搁置于钢筋结构的顶层的钢筋网片1的两纵向钢筋12的一端，使得动作执行机构和深度相机4对准于待绑扎的一纵向钢筋12。

b、控制器控制所述电动滚轮3高速运行，使得钢筋绑扎机器人沿所述纵向钢筋12的长度方向快速移动。

c、两第一测距传感器5采集顶层的所述钢筋网片1的横向钢筋11至所述第一测距传感器5之间的第一距离L。

d、控制器获取第一距离L，在所述第一距离L适配于所述横向钢筋11至所述第一测距传感器5之间的预设距离范围时，控制器控制所述电动滚轮3低速运行，直至标定件6上的微动作开关被首根横向钢筋11触发，所述控制器获取所述微动作开关的信号并关闭所述电动滚轮3，使得所述深度相机4和所述动作执行机构对准于首根所述横向钢筋11与所述纵向钢筋12的首个交叉点A。

钢筋绑扎机器人在高速向前推进过程中，第一测距传感器监测其至横向钢筋的第一距离，当第一距离值处于预设的距离值范围内时，转为低速运行，直到标定件上的微动开关动作触碰到首根横向钢筋，控制器获取微动开关的信号则关闭电动滚轮，使得钢筋绑扎机器人停止运动，此时微动开关、深度相机以及动作执行机构所在的位置即为横向钢筋所在位置的正上方，并对准于待绑扎的纵向钢筋，即动作执行机构对准于首个交叉点。

e、所述深度相机4采集所述首个交叉点A的深度图像(如图4)和原始RGB图像。

钢筋绑扎机器人停止运行后，控制器启动深度相机，获取此时正下方的图像数据，包括深度图像及RGB图像。由于施工现场钢筋网片一般是多层的，而待绑扎的位置是位于顶层的钢筋网片上面，利用深度相机可以将立体的三维钢筋网，降维为二维RGB图像及含有各个像素点的深度信息的图像来处理。

f、所述控制器获取所述深度图像和所述原始RGB图像，并基于预设角度θ、所述第一距离L、所述第一传感器与所述深度相机4之间的第二距离l计算获得所述深度相机4至所述横向钢筋11的深度值D，从所述深度图像中分离出顶层图像，如图5。

启动深度相机，获取深度图像及原始RGB图，利用第一测距传感器获取第一距离L，以及第一测距传感器与承台的夹角θ，计算顶层图像的距离信息D，(D＝(L+L₁)×sinθ)+m。其中L₁为第一测距传感器的长度，m为调整余量。同时，结合深度数据，获取小于距离D深度数据对应的像素点，获取顶层图像的RGB图，及深度图像，从而实现顶层图像分离，达到避免下层的钢筋网片的干扰，以及环境光照的影响。此时顶层图像包含第一测距传感器，横向钢筋，纵向钢筋等的深度数据小于深度值阈值的顶层物体。

其中，调整余量m的确定方法如下：

利用深度相机获取原始RGB图像及深度图像，进行标定件的识别，获取标定件的中心的RGB像素位置，在深度图像数据中获取对应的深度距离D₀,所以调整余量m＝D₁-D₀,其中D₁为深度相机中心到标定件的中心的距离。利用该方法完成对深度相机获取到的深度数据的标定。

g、所述控制器从所述顶层图像中识别出所述标定件6、所述横向钢筋11以及所述纵向钢筋12，并基于所述标定件6、所述横向钢筋11、所述纵向钢筋12的像素坐标、图像坐标以及所述标定件6的世界坐标，计算获得所述首个交叉点A的世界坐标。

具体的，基于所述顶层图像中标定件的位置像素，以及经过图像处理确定首根所述横向钢筋的像素，找到对应的一定范围的深度数据，确定所述纵向钢筋所在位置；基于所述标定件的实际世界坐标和尺寸，通过像素坐标、图像坐标、相机坐标系和世界坐标转换，确定首个交叉点的世界坐标。

对取出的顶层图像进行滤波，二值化处理，图像腐蚀，图像膨胀，运用canny边缘处理，轮廓识别，霍夫圆形、直线监测等方式，确定圆形标识点所在位置，以及横杆的位置。

Canny边缘检测是一种非常流行的边缘检测算法，是John Canny在1986年提出的。它是一个多阶段的算法，即由多个步骤构成，包括图像降噪、计算图像梯度、非极大值抑制、阈值筛选。

利用顶层RGB图像中，标定件的位置像素，以及经过图像处理，霍夫直线监测等方式确定横向钢筋的像素，根据这些RGB像素信息，找到对应的一定范围的深度数据，确定横向钢筋上的凸起位置，此时凸起位置即为纵向钢筋所在位置。通过标定件的实际物理坐标和尺寸，完成像素坐标、图像坐标、相机坐标系和世界坐标的融合，确定钢筋绑扎的首个交叉点的实际位置，完成该位置的精准判定。

转换过程模型如下：

X_c、Y_c、Z_c为相机坐标，X_w、Y_w、Z_w，为世界坐标系，其中R代表旋转，T代表平移，它们与摄像头无关，为摄像机的外参，可理解为两个坐标系原点之间的距离，均具有三个自由度。

整体公式如下：

其中，

矩阵中的数值与相机无关，跟实际的物理角度，平移距离有关。

h、基于所述首个交叉点A的世界坐标，所述控制器控制所述动作执行机构伸至所述首个交叉点A处进行钢筋绑扎。

在首个交叉点绑扎完成后，重复上述步骤完成一根纵向钢筋上的每一个交叉点的识别和钢筋绑扎。

本发明的钢筋绑扎机器人及钢筋交叉点的识别方法，基于5G的可远程遥控的钢筋自动绑扎方法及机构，可实现施工现场钢筋绑扎自动化作业，自动识别边界，自动识别钢筋绑扎交叉点，无需人工参与。采用多传感器融合技术，避免仅靠图像识别易受环境噪声干扰以及底层钢筋的误导，判定钢筋绑扎交叉点的效率高且准确，提高了绑扎钢筋效率，节约施工成本。

本发明的钢筋绑扎机器人及钢筋交叉点的识别方法通过测距传感器，深度相机以及微动开关，坐标的标定件等多种多传感设备获取原始数据，通过数字图像处理的方法，结合测距传感器，微动开关的数据，校准处理结果，实现钢筋绑扎位置的精准定位。

本发明的钢筋绑扎机器人及钢筋交叉点的识别方法解决了人工识别的费时费力，以及高额成本的问题。同时采用自动化手段，降低人为误差。综合应用测距，深度相机，解决了仅依赖与计算机视觉等方法需要复杂的处理过程和算法逻辑，且易受周围环境的影响的问题。同时避免机械判定方法复杂的机械结构及施工效率低等问题。也可以自动识别边界，防止绑扎机器人跌落。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种钢筋绑扎机器人，其特征在于，钢筋结构包括多层钢筋网片，所述钢筋网片包括多根横向钢筋和搁置于所述横向钢筋的多根纵向钢筋，所述横向钢筋与所述纵向钢筋交叉设置，所述钢筋绑扎机器人包括：

承台，所述承台的相对两侧安装有用于行走于所述纵向钢筋的电动滚轮，所述承台的下部的中间位置安装有动作执行机构、深度相机、两第一测距传感器和标定件，两所述第一测距传感器分别安装于所述承台的前端和后端，所述第一测距传感器与所述承台呈预设角度设置，所述深度相机、所述动作执行机构和所述标定件设置于两所述第一测距传感器之间，所述标定件安装有微动作开关，在所述标定件移动至所述横向钢筋的上方时，顶层所述钢筋网片的横向钢筋触发所述微动作开关；以及

控制器，信号连接于所述动作执行机构、所述深度相机、两所述第一测距传感器、所述微动作开关和所述电动滚轮。

2.根据权利要求1所述的钢筋绑扎机器人，其特征在于，所述承台的外沿分别安装有多个第二测距传感器，所述第二测距传感器信号连接于所述控制器。

3.根据权利要求1所述的钢筋绑扎机器人，其特征在于，所述承台的相对两侧的电动滚轮之间距离为所述纵向钢筋的间距的两倍。

4.根据权利要求3所述的钢筋绑扎机器人，其特征在于，所述动作执行机构和所述深度相机设置于所述承台的相对两侧电动滚轮之间的中部位置。

5.根据权利要求1所述的钢筋绑扎机器人，其特征在于，所述电动滚轮的圆周面形成供纵向钢筋嵌设的限位凹槽。

6.一种钢筋交叉点的识别方法，其特征在于，包括以下步骤：

a、提供如权利要求1～5中任意一项所述的钢筋绑扎机器人，将承台的相对两侧的电动滚轮分别搁置于钢筋结构的顶层的钢筋网片的两纵向钢筋的一端，使得动作执行机构和深度相机对准于待绑扎的一纵向钢筋；

b、控制器控制所述电动滚轮高速运行，使得钢筋绑扎机器人沿所述纵向钢筋的长度方向快速移动；

c、两第一测距传感器采集顶层的所述钢筋网片的横向钢筋至所述第一测距传感器之间的第一距离；

d、控制器获取所述第一距离，在所述第一距离适配于所述横向钢筋至所述第一测距传感器之间的预设距离范围时，控制器控制所述电动滚轮低速运行，直至标定件上的微动作开关被首根横向钢筋触发，所述控制器获取所述微动作开关的信号并关闭所述电动滚轮，使得所述深度相机和所述动作执行机构对准于首根所述横向钢筋与所述纵向钢筋的首个交叉点；

e、所述深度相机采集所述首个交叉点的深度图像和原始RGB图像；

f、所述控制器获取所述深度图像和所述原始RGB图像，并基于预设角度、所述第一距离、所述第一传感器与所述深度相机之间的第二距离计算获得所述深度相机至所述横向钢筋的深度值，从所述深度图像中分离出顶层图像；

g、所述控制器从所述顶层图像中识别出所述标定件、所述横向钢筋以及所述纵向钢筋，并基于所述标定件、所述横向钢筋、所述纵向钢筋的像素坐标、图像坐标以及所述标定件的世界坐标，计算获得所述首个交叉点的世界坐标；

h、基于所述首个交叉点的世界坐标，所述控制器控制所述动作执行机构伸至所述首个交叉点处进行钢筋绑扎。

Images