CN111452045B - 一种基于立体视觉的钢筋识别标记系统和方法 - Google Patents

Abstract

一种基于立体视觉的钢筋识别标记系统，包括立体视觉识别机构、控制系统、机械控制机构，立体视觉识别机构、机械控制机构与控制系统通过电信号连接；一种基于立体视觉的钢筋识别标记方法，包括以下步骤：架设立体视觉识别机构，控制线激光投射到钢筋端面某处；对立体相机的各摄像头进行立体标定，进行立体校正；将立体相机拍摄的图像发送到控制系统的识别模块，处理得到匹配点对、左右视图视差，根据视差计算得到三维坐标信息；进行坐标系转换，获取钢筋端面轮廓三维数据；进行机械标记机构与立体相机的位置信息标定；机械标记机构对目标钢筋标记。本发明采用立体视觉原理快速识别标记钢筋，降低人工成本以及风险，实时监测，提高生产效率。

Description

一种基于立体视觉的钢筋识别标记系统和方法

技术领域

本发明涉及物体立体视觉检测技术领域，具体涉及一种基于立体视觉的钢筋识别标记系统和方法。

背景技术

双目视觉是计算机的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、目标物体检测等领域得到了广泛的应用。

随着工业生产规模的迅速扩大，工业产品生产过程中的自动化和智能化程度也需要不断提高。在钢铁生产中，企业生产的棒材，交付客户时均是成捆交货，每捆棒材需要粘打标签和悬挂标牌，用于显示棒材的钢种、炉号、规格、长度等信息，相当于棒材的“身份证”，因此受到许多钢铁企业的重视。

悬挂标牌的环节称为钢筋打标环节，目前企业主要采用人工进行定位、焊标。然而，随着生产节奏的加快，同时在钢筋杂乱摆放、截面长短不一、反光、腐蚀、锈化等多种复杂场景下，打标人员工作效率变低，打标位置容易出错，危险增加，工人安全无法全面保障，这些问题也制约着企业的进一步发展，开发智能化、自动化的打标标记系统是钢筋生产销售和图像检测处理技术中的热点问题。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于立体视觉的钢筋识别标记系统和方法，利用立体视觉识别钢筋棒材，在成堆成捆的钢筋中识别钢筋，获取钢筋截面三维信息，利用机械臂操作进行自动化打标，准确度高，可以降低工人的劳动量和工作风险，提高钢筋生产的生产效率。

本发明的目的及解决其技术问题是采用以下技术方案来实现的：

一种基于立体视觉的钢筋识别标记系统，包括立体视觉识别机构、控制系统、机械控制机构，所述立体视觉识别机构、机械控制机构与所述控制系统通过电信号连接，所述控制系统包括识别模块、匹配模块、定位模块，所述机械控制机构包括立体视觉控制机构、机械标记机构和驱动机构，所述驱动机构控制所述立体视觉控制机构带动立体视觉识别机构移动扫描被测钢筋，所述驱动机构带动所述机械标记机构进行标记钢筋操作，所述立体视觉识别机构获取待识别的钢筋图像，并将获取的图像发送至控制系统，所述识别模块接收图像进行采集处理，所述匹配模块将识别模块提取的信息与特征数据进行匹配，所述定位模块进行坐标系转换后，命令机械标记机构移动至指定位置在指定钢筋表面进行标记。

优选的，所述立体视觉识别机构包括立体相机、线激光器，所述线激光器和立体相机可单独固定安装，或固定安装在所述机械标记机构上；

所述线激光器可以替换为结构光发射器。

优选的，所述立体视觉识别机构还包括有与线激光器或者结构光发射器连接的摆动机构，所述摆动机构固定安装在立体相机上。

优选的，所述控制系统发送指令控制机械控制机构操作进行钢筋标记，工作过程为：所述立体视觉识别机构的立体相机和线激光器保持固定，所述驱动机构控制机械标记机构带动立体视觉识别机构进行钢筋扫描定位，得到立体空间坐标后所述机械标记机构的标记夹爪进行打标操作；或，所述立体视觉控制机构的线激光器通过摆动机构往返摆动对钢筋截面进行扫描，得到立体空间坐标后所述机械标记机构的标记夹爪进行打标操作。

优选的，所述立体视觉识别机构还可单独安装在滑轨上，所述立体视觉识别机构和立体视觉控制机构固定连接在一起，所述控制系统发布指令给立体视觉控制机构，控制立体视觉识别机构在水平面往返移动进行扫描定位，得到立体空间坐标后所述机械标记机构的标记夹爪进行打标操作。

优选的，所述线激光器和立体相机均与控制系统连接，根据图像采集需求由控制系统控制进行相应的拍摄。

一种基于立体视觉的钢筋识别标记方法，包括以下步骤：

S1：在钢筋所在平台为基准面，在基准面架设由立体相机和线激光器组成的立体视觉识别机构，控制线激光器发出的线激光投射到钢筋端面某处，立体视觉控制机构带动立体视觉识别机构沿滑轨水平方向滑动进行扫描拍摄；

S2：对立体相机的各摄像头进行立体标定，立体相机的左摄像头和右摄像头获取被测钢筋的左图像和右图像，对其进行立体校正；

S3：将立体相机拍摄的图像发送到控制系统的识别模块，进行图像预处理，提取特征信息，将其发送至匹配模块进行匹配得到成像匹配点对，根据匹配点对得到左右视图视差，根据视差计算得到被测钢筋的三维坐标信息；

S4：控制系统的定位模块将匹配后的特征信息在立体相机中的坐标与世界坐标系进行坐标系转换；直至获取完整的钢筋端面轮廓三维数据、三维位姿信息；

S5：控制系统获取机械手臂真实移动点阵坐标，进行机械标记机构与立体相机的位置信息标定，得到机械标记机构的三维坐标信息；

S6：控制系统发送指定钢筋的信息至机械标记机构，驱动机构驱动机械标记机构，移动至目标位置，对目标钢筋进行标记。

优选的，在所述步骤S1中，所述立体视觉识别机构可以沿滑轨在水平方向滑动，滑动同时线激光器与立体相机保持相对固定。

优选的，在所述步骤S4中，获取钢筋端面轮廓的三维数据，还可获取钢筋中心点空间立体坐标及直径大小。

优选的，在所述步骤S5中，进行机械标记机构和立体相机的位置标定的步骤为：

将机械标记机构自定义坐标系为立体相机其中一台摄像机A坐标系；

获取机械标记机构上立体相机拍摄到的标定物顶点空间坐标；

通过所述立体相机各自数据与所述机械标记机构移动点阵坐标，得到所述立体相机两摄像机自身相对于所述机械标记机构的RT坐标转换矩阵；

对摄像机相对所述机械标记机构坐标系RT转换矩阵进行初步求解；

对RT转换矩阵进行迭代计算，通过摄像机A坐标得到世界坐标系，数据融合后得到所述机械标记机构与立体相机标定识别坐标。

有益效果

本发明采用立体视觉原理并与线激光结合获取钢筋的轮廓、数目、位置等三维立体信息，通过机械控制机构控制立体视觉机构扫描，机械标记机构快速识别标记，同时还可以统计钢筋的数量，降低了人工成本以及风险，提高生产效率，结构简单，实时监测，自动标记，可应用于棒材出入库管理及生产管理等环节。

附图说明

图1为一种基于立体视觉的钢筋识别标记系统的结构示意图；

图2为一种基于立体视觉的钢筋识别标记系统的机械标记机构摆动实施结构示意图；

图3为一种基于立体视觉的钢筋识别标记系统的一种实施结构示意图；

图4为一种基于立体视觉的钢筋识别标记系统的结构框图；

图5为一种基于立体视觉的钢筋识别标记方法的工作流程图。

附图标记说明：1-机械控制机构，2-机械标记机构，3-立体视觉识别机构，4-驱动机构，5-立体相机，6-线激光器，7-滑轨。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，在本发明的描述中，需要说明的是，术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。

在本实施例中，一种基于立体视觉的钢筋识别标记系统，包括立体视觉识别机构3、控制系统、机械控制机构1，所述立体视觉识别机构3、机械控制机构1与所述控制系统通过电信号连接，所述控制系统包括识别模块、匹配模块、定位模块，所述机械控制机构1包括立体视觉控制机构、机械标记机构2和驱动机构4，所述驱动机构4控制所述立体视觉控制机构带动立体视觉识别机构3移动扫描被测钢筋，所述驱动机构4带动所述机械标记机构2进行标记钢筋操作，所述立体视觉识别机构3获取待识别的钢筋图像，并将获取的图像发送至控制系统，所述识别模块接收图像进行采集处理，所述匹配模块将识别模块提取的信息与特征数据进行匹配，所述定位模块进行坐标系转换后，命令机械标记机构2移动至指定位置在指定钢筋表面进行标记。

优选的，所述立体视觉识别机构3包括立体相机5、线激光器6，所述线激光器6和立体相机5可单独固定安装，或固定安装在所述机械标记机构2上；

所述线激光器6可以替换为结构光发射器。

优选的，所述立体视觉识别机构3还包括有与线激光器6或者结构光发射器连接的摆动机构，所述摆动机构固定安装在立体相机5上。

优选的，所述控制系统发送指令控制机械控制机构1操作进行钢筋标记，工作过程为：所述立体视觉识别机构3的立体相机5和线激光器6保持固定，所述驱动机构4控制机械标记机构2带动立体视觉识别机构3进行钢筋扫描定位，得到立体空间坐标后所述机械标记机构2的标记夹爪进行打标操作。

在另一实施例中，所述立体视觉控制机构1的线激光器6通过摆动机构往返摆动对钢筋截面进行扫描，得到立体空间坐标后所述机械标记机构2的标记夹爪进行打标操作。

优选的，所述立体视觉识别机构3还可单独安装在滑轨上，所述立体视觉识别机构3和立体视觉控制机构固定连接在一起，所述控制系统发布指令给立体视觉控制机构，控制立体视觉识别机构3在水平面往返移动进行扫描定位，得到立体空间坐标后所述机械标记机构2的标记夹爪进行打标操作。

优选的，所述线激光器6和立体相机5均与控制系统连接，根据图像采集需求由控制系统控制进行相应的拍摄。

在本实施例中，结合附图1、2、3所示，一种基于立体视觉的钢筋识别标记方法，包括以下步骤：

S1：在钢筋所在平台为基准面，在基准面架设由立体相机5和线激光器6组成的立体视觉识别机构3，控制线激光器6发出的线激光投射到钢筋端面某处，立体视觉控制机构带动立体视觉识别机构3沿滑轨水平方向滑动进行扫描拍摄；

S2：对立体相机5的各摄像头进行立体标定，立体相机5的左摄像头和右摄像头获取被测钢筋的左图像和右图像，对其进行立体校正；

S3：将立体相机5拍摄的图像发送到控制系统的识别模块，进行图像预处理，提取特征信息，将其发送至匹配模块进行匹配得到成像匹配点对，根据匹配点对得到左右视图视差，根据视差计算得到被测钢筋的三维坐标信息；

S4：控制系统的定位模块将匹配后的特征信息在立体相机中的坐标与世界坐标系进行坐标系转换；直至获取完整的钢筋端面轮廓三维数据、三维位姿信息；

S5：控制系统获取机械手臂真实移动点阵坐标，进行机械标记机构2与立体相机5的位置信息标定，得到机械标记机构2的三维坐标信息；

S6：控制系统发送指定钢筋的信息至机械标记机构2，驱动机构4驱动机械标记机构2，移动至目标位置，对目标钢筋进行标记。

优选的，在所述步骤S1中，所述立体视觉识别机构3可以沿滑轨7在水平方向滑动，滑动同时线激光器6与立体相机5保持相对固定。

优选的，在所述步骤S4中，获取钢筋端面轮廓的三维数据，还可获取钢筋中心点空间立体坐标及直径大小。

在所述步骤S2中，对立体相机5的左右摄像头分别进行标定，得到立体相机5的内参矩阵A、左摄像头的旋转矩阵R1和右摄像头的旋转矩阵Rr，以及左摄像头的平移向量T1和右摄像头的平移向量Tr；

通过如下公式计算得到左摄像头和右摄像头之间的旋转矩阵R和平移向量T：

在所述步骤S2中，对获取的左图像和右图像进行立体校正包括：将旋转矩阵R分解为两个旋转矩阵r₁和r_r，其中r₁和r_r通过假设将左摄像头和右摄像头各旋转一半使左摄像头和右摄像头的光轴平行而得到；

对左图像和所述右图像进行行对准通过下式实现：

其中，R_rect为使行对准的旋转矩阵：

旋转矩阵R_rect由极点e₁方向开始，以左图像的原点为主，左摄像头至右摄像头的平移向量的方向为主点方向：

e₁与e₂正交，将e₁归一化到单位向量：

其中，T_x为平移向量T在双目相机所处平面内水平方向的分量，T_y为平移向量T在双目相机所处平面内竖直方向的分量；

e₃与e₁和e₂正交，e₃通过如下公式计算得到：

e₃＝e₂×e₁

根据上述旋转矩阵物理意义有：

其中，α表示为使行对准，左摄像头和右摄像头在其所处平面内需要旋转的角度，0≤α≤180°；对于左摄像头，使其绕e₃方向旋转α'，对于右摄像头，使其绕e₃方向旋转α″。

优选的，在所述步骤S3中，计算被测钢筋的三维坐标信息，根据测量距离范围对钢筋端面三维数据进行二值化，在距离范围内的点为1，反之为0，量化后得到二值平面图；对二值图像进行分水岭变换，将二值图像转换为灰度图像；从变换后的灰度图像中找到灰度极大值点标记为钢筋中心点；对得到的钢筋中心点数目进行统计可以得到被测钢筋的总数目，还可以依照控制系统发出的目标钢筋三维坐标信息、并根据钢筋中心点确定待标记的目标钢筋。

优选的，在所述步骤S3中，根据匹配点对得到左右视图视差，根据视差计算得到被测钢筋的三维坐标信息包括：

第y行水平极线上线激光成像的视差通过如下公式计算:

d_yk＝x_L-x_R，k＝1，2，...M，

其中，d_yk为纵坐标为y的极线第k条激光成像点的视差；

根据双目相机的内参矩阵A、外参矩阵[R T]及如下公式计算得到钢筋端面轮廓各点在空间中的三维坐标(Z，X，Y)：

其中，f是外参矩阵[R T]中双目相机的焦距，B是内参矩阵A中所述左摄像头和所述右摄像头的间距，由标定信息给出；X_L-X_R为空间一点在所述左灰度图和所述右灰度图之间的视差，由匹配信息给出；(x,y)为钢筋端面轮廓点在成像平面上的坐标。

在所述步骤S3中，根据所述线激光器和所述立体相机的安装位置以及钢筋端面的位置，确定图像的处理区域ROI；

对校正后的左图像和校正后的右图像进行预处理，分别转换为左灰度图和右灰度图；

分别对所述左灰度图和所述右灰度图位于ROI内的部分进行水平扫描，计算每个扫描点的窗口能量：

其中，(x,y)表示扫描点坐标，也是计算窗口的中心坐标；n表示从所述左灰度图所选窗口中心到边缘的距离，I(x+i，y+j)表示图像坐标(x+i，y+j)处的图像灰度值；

每个扫描行E(x,y)的极大值处为线激光的成像处，根据线激光条数M，得到M个极值，按x坐标从左到右进行排序，记为(x，y)_k，k＝1，2，...M；

对所述左灰度图和所述右灰度图的坐标y相同的水平扫描行构成的水平极线进行扫描得到所述左灰度图和所述右灰度图的线激光成像点(x_L，y)_k和(x_R，y)_k，L和R分别表示左灰度图和右灰度图，左右序列中k相同的点构成匹配点对。

优选的，在所述步骤S5中，进行机械标记机构2和立体相机5的位置标定的步骤为：

将机械标记机构2自定义坐标系为立体相机5其中一台摄像机A坐标系；

获取机械标记机构2上立体相机5拍摄到的标定物顶点空间坐标；

通过所述立体相机6各自数据与所述机械标记机构2移动点阵坐标，得到所述立体相机5两摄像机自身相对于所述机械标记机构2的RT坐标转换矩阵；

对摄像机相对所述机械标记机构坐标系RT转换矩阵进行初步求解；

对RT转换矩阵进行迭代计算，通过摄像机A坐标得到世界坐标系，数据融合后得到所述机械标记机构2与立体相机5标定识别坐标。

在所述步骤S6中，根据需求设置目标钢筋信息，根据控制系统发出的目标钢筋三维位姿信息，驱动机构4驱动机械标记机构2移动至目标钢筋位置进行钢筋标记操作。

有益效果

本发明采用立体视觉原理并与线激光结合获取钢筋的轮廓、数目、位置等三维立体信息，通过机械控制机构控制立体视觉机构扫描，机械标记机构快速识别标记，同时还可以统计钢筋的数量，降低了人工成本以及风险，提高生产效率，结构简单，实时监测，自动标记，可应用于棒材出入库管理及生产管理等环节。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书，可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.一种基于立体视觉的钢筋识别标记方法，其特征在于，包括以下步骤：

S1：在钢筋所在平台为基准面，在基准面架设由立体相机和线激光器组成的立体视觉识别机构，控制线激光器发出的线激光投射到钢筋端面某处，立体视觉控制机构带动立体视觉识别机构沿滑轨水平方向滑动进行扫描拍摄；

S2：对立体相机的各摄像头进行立体标定，立体相机的左摄像头和右摄像头获取被测钢筋的左图像和右图像，对其进行立体校正；

S3：将立体相机拍摄的图像发送到控制系统的识别模块，进行图像预处理，提取特征信息，将其发送至匹配模块进行匹配得到成像匹配点对，根据匹配点对得到左右视图视差，根据视差计算得到被测钢筋的三维坐标信息；

S4：控制系统的定位模块将匹配后的特征信息在立体相机中的坐标与世界坐标系进行坐标系转换；直至获取完整的钢筋端面轮廓三维数据、三维位姿信息；

S5：控制系统获取机械手臂真实移动点阵坐标，进行机械标记机构与立体相机的位置信息标定，得到机械标记机构的三维坐标信息；在所述步骤S5中，进行机械标记机构和立体相机的位置标定的步骤为：

在所述步骤S5中，进行机械标记机构和立体相机的位置标定的步骤为：

将机械标记机构自定义坐标系为立体相机其中一台摄像机A坐标系；

获取机械标记机构上立体相机拍摄到的标定物顶点空间坐标；

通过所述立体相机各自数据与所述机械标记机构移动点阵坐标，得到所述立体相机两摄像机自身相对于所述机械标记机构的RT坐标转换矩阵；

对摄像机相对所述机械标记机构坐标系RT转换矩阵进行初步求解；

对RT转换矩阵进行迭代计算，通过摄像机A坐标得到世界坐标系，数据融合后得到所述机械标记机构与立体相机标定识别坐标；

S6：控制系统发送指定钢筋的信息至机械标记机构，驱动机构驱动机械标记机构，移动至目标位置，对目标钢筋进行标记。

2.根据权利要求1所述的一种基于立体视觉的钢筋识别标记方法，其特征在于，在所述步骤S1中，所述立体视觉识别机构可以沿滑轨在水平方向滑动，滑动同时线激光器与立体相机保持相对固定。

3.根据权利要求1所述的一种基于立体视觉的钢筋识别标记方法，其特征在于，在所述步骤S4中，获取钢筋端面轮廓的三维数据，还可获取钢筋中心点空间立体坐标及直径大小。