CN111951334B - 基于双目视觉技术叠放钢坯的识别与定位方法和吊运方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉技术叠放钢坯的识别与定位方法，用于为吊运作业提供叠放状态下待吊运的单根钢坯的定位信息和分层聚类信息；按以下步骤执行：第一是准备；第二是图像采集；第三是图像预处理；第四是双目相机立体标定；第五是模板匹配；第六是角点检测；第七是钢坯特征点的立体匹配与识别定位；第八是钢坯分层聚类，为起重设备吊运钢坯提供分层聚类信息。本发明还提供了相应的吊运方法。本发明解决了叠放状态下单根钢坯的识别与定位的技术问题，为钢坯吊运的智能化无人车间提供数据支撑。

Description

基于双目视觉技术叠放钢坯的识别与定位方法和吊运方法

技术领域

本发明涉及一种钢坯吊运领域，尤其是截面呈矩形的叠放网坯吊运技术。

背景技术

矩形钢坯是钢铁企业一种重要的输出产品。目前，钢铁企业中钢坯的吊装、运输仍然依靠人工操作桥式起重机来完成，自动化程度低、生产效率低、人力成本高，车间内情况复杂，人工操作起重机吊运钢坯存在很大的安全隐患。单根钢胚的视觉识别和定位的难度相对较低，但出于节约占地空间的考虑，钢铁企业中钢坯均为层叠放置，不同层的钢胚的摆放角度也不相同。各钢坯在颜色均基本相同，传统的视觉识别技术(包括双目视觉识别技术)能够识别出叠放的一堆物品均疑似钢坯，但无法从叠放钢坯中准确识别出一根钢坯并进行定位。这样，就不能够给起重机等吊装设备以准确地定位信号来进行钢坯吊运。

发明内容

本发明的目的在于提供一种基于双目视觉技术叠放钢坯的识别与定位方法，解决叠放状态下单根钢坯的识别与定位的技术问题，为钢坯吊运的智能化无人车间提供数据支撑。

为实现上述目的，本发明提供了一种基于双目视觉技术叠放钢坯的识别与定位方法，用于为吊运作业提供叠放状态下待吊运的单根钢坯的定位信息和分层聚类信息，按以下步骤执行：

第一是准备；在起重设备上安装双目相机，使双目相机正对叠放钢坯；双目相机包括左相机和右相机；双目相机连接有电控装置；

第二是图像采集；左相机和右相机利用内置的SDK程序包实时采集叠放钢坯的图像，并将照片传送给电控装置；

第三是图像预处理；

电控装置对左相机和右相机采集的图像分别进行滤波处理，去除图像噪声；

第四是双目相机立体标定；

第五是模板匹配；

第六是角点检测；

第七是钢坯特征点的立体匹配与识别定位，得到最上两层钢坯中各单根钢坯的识别和定位信息；

第八是钢坯分层聚类，为起重设备吊运钢坯提供分层聚类信息。

第四步骤即双目相机立体标定是：

采用张正友标定算法，先读取标定板图像，再提取Harris角点，再定位亚像素角点，再构造方程解参数，再进行最小二乘参数估计，再进行最大似然参数优化，再计算畸变参数，完成双目相机立体标定；

完成双目相机立体标定后，得到以下参数值：左右相机的基线长度B、相机集距f、左相机主点坐标(u_c1,v_c1)以及右相机主点坐标(u1,v1)；

P(X_P,Y_P,Z_P)为空间内一点，d为P点在左、右相机成像面的视差，d＝x₁-x₂，x₁为P点在左相机成像面的X轴坐标，x₂为P点在右相机成像面的X轴坐标；

利用公式一计算出P点校正后的空间坐标：

公式一：

第五步骤即模板匹配步骤是：

预先制作模板；设计人员预先选择一张包含有目标钢坯的图像并设定ROI，制作图像模板并存储于电控装置内；

预先轮廓提取：采用边缘提取算子对模板图像进行边缘提取，得到边缘点P_i＝(x_i,y_i)i＝1,2,...N，进而得到基于轮廓的模板图像描述向量为：

其中，c＝(w-1)/2，w为轮廓窗口尺度，取奇数值；预先制作模板和预先轮廓提取在第二步骤之前进行；

(一)、生成基于轮廓的目标图像的描述向量；

电控装置以设定的ROI大小作为窗口大小，通过在目标图像上逐行或逐列移动窗口，实现对整个目标图像的遍历；窗口在移动过程中经过多个位置，各位置处的窗口所覆盖的区域组成完整的目标图像；

对于窗口移动过程中经过的多个位置，依次对窗口内图像进行边缘提取，得到边缘点Q_i＝(x_i,y_i)i＝1,2,...M，生成一个窗口图像基于轮廓的描述向量：

这里，的定义同/>在依次对下一个窗口内图像进行边缘提取前，进行计算匹配置信度的操作；

(二)、计算匹配置信度；

ε为给定置信度阈值，由设计人员预先存储在电控装置中；如果a＜ε，则匹配成功，输出该窗口区域的中心点位置平面坐标；逐行或逐列移动窗口至下一位置；

重复生成基于轮廓的目标图像的描述向量的操作和计算匹配置信度的操作，直到遍历整个目标图像。

第六步骤即角点检测步骤是：

第五步骤即模板匹配步骤完成后，电控装置根据设计人员预先存储在电控装置内的匹配置信度α值，框出最上层每根钢坯在左相机拍摄的图像和右相机拍摄的图像中的位置；对框出的每根钢坯区域进行边缘检测，得到每根钢坯上表面四条边的图像平面坐标，采用霍夫变换方法，得到四条边的直线方程，利用直线求交点的方法得到每根钢坯精确的四个角点的平面坐标；

第七步骤即钢坯特征点的立体匹配与识别定位是：

对于左相机拍摄的图像，M点和N点分别是边AB边和CD边的中点，AB边和CD边为矩形钢坯的矩形图像中的两短边；根据A点和B点的平面坐标计算出M点的平面坐标M(x_i1,y_i1)，根据C点和D点的平面坐标计算出N点的平面坐标N(x_i2,y_i2)，直线段MN的中点O的平面坐标为：

对于右相机拍摄的图像按同样的算法计算出相对应的图像坐标系下M点、N点和O点的平面坐标；电控装置根据公式一计算出M点、N点和O点的空间坐标；过钢坯上表面形心O的直线MN的空间直线方程为：

其中，l＝x_i2-x_i1，m＝y_i2-y_i1，n＝z_i2-z_i1。

第八步骤即钢坯分层聚类是：

电控装置以各钢坯的z坐标作为数据样本集合；

数据样本集合{z⁽¹⁾,z⁽²⁾,...z⁽ⁿ⁾}中，n表示已识别钢坯的数目；预设聚类数目k＝2；电控装置采用对于上述数据样本和聚类数目，采用k-means聚类算法进行迭代运算直到计算得到的每个类的质心μ_j不再发生变化时，停止迭代运算并输出数据样本集合中每个数据样本的类别属性，完成钢坯分层聚类。

本发明还公开了使用上述基于双目视觉技术叠放钢坯的识别与定位方法的吊运方法，所述电控装置与起重设备相连并控制起重设备的动作；

起重设备根据钢坯分层聚类信息，逐一抓取最上层钢坯并吊运至需要的位置；

最上层钢坯吊运完毕后，执行基于双目视觉技术叠放钢坯的识别与定位方法中的第二至第八步骤，重新得到叠放钢坯中最上两层钢坯中各单根钢坯的识别和定位信息以及分层聚类信息，重新执行本吊运方法。

本发明具有如下的优点：

本发明通过公式一，根据左、右相机成像面的视差计算出拍摄图像中空间一点的校正后的坐标，为解决对叠放状态下单根钢坯的识别与定位的技术问题提供了基础条件。

本发明通过计算匹配置信度，能够准确地找出图像中的各根钢坯，为角点检测提供基础。

因钢坯的尺寸(长l、宽m以及高z)是已知的，因此在得到了钢坯上表面形心O的空间坐标及MN的空间直线方程之后，即可确定单根钢坯的位置和姿态，实现了对叠放状态下单根钢坯的识别与定位，为钢坯吊运提供基础。

本发明在完成了双目相机立体标定后，利用空间一点在左、右相机成像的视差以及三角测距原理，如图3所示通过公式一计算得到该点的空间坐标，从而校正图像，使图像能够更真实地反映叠放钢坯。

钢坯分层聚类的作用是与叠放状态下各单根钢坯的上表面形心O的空间坐标及MN的空间直线方程一起，为实现起重设备自动分层吊运钢坯提供基础。

本发明的吊运方法简单方便，能够自动且准确地完成叠放钢坯吊运工作，避免人工操作起重机吊运钢坯带来的安全隐患。

附图说明

图1是本发明的流程示意图；

图2是双目相机立体标定过程；

图3是公式一的三角测距原理图；

图4是模板匹配步骤的流程图；

图5是制作的模板的示意图；

图6是叠放钢坯存放示意图；

图7是单根钢坯特征点平面坐标检测示意图；

图8是单根钢坯特征点空间坐标检测示意图。

具体实施方式

如图1至图8所示，本发明的基于双目视觉技术叠放钢坯的识别与定位方法用于为起重设备进行吊运作业提供叠放状态下待吊运的单根钢坯的定位信息和分层聚类信息；

本实施例中起重设备采用桥式起重机，桥式起重机是当前钢铁企业中常用的钢坯吊运装置。

第一是准备；在起重设备上安装双目相机，使双目相机正对叠放钢坯；双目相机包括左相机和右相机；双目相机连接有电控装置。电控装置可以采用单片机或PLC，优选采用工控计算机，并通过工控计算机控制起重设备的动作。

第二是图像采集；左相机和右相机利用内置的SDK程序包实时采集叠放钢坯的图像，并将照片传送给电控装置；

第三是图像预处理(即图像降噪)；

电控装置对左相机和右相机采集的图像分别进行滤波处理(采用中值滤波、均值滤波或高斯滤波等现有的滤波方法)，去除图像噪声；

第四是双目相机立体标定；

第五是模板匹配；

第六是角点检测；

第七是钢坯特征点的立体匹配与识别定位，得到最上两层钢坯中各单根钢坯的识别和定位信息；

第八是钢坯分层聚类，为起重设备吊运钢坯提供分层聚类信息。

如图2所示，第四步骤即双目相机立体标定是：

采用张正友标定算法，先读取标定板图像，再提取Harris角点，再定位亚像素角点，再构造方程解参数，再进行最小二乘参数估计，再进行最大似然参数优化，再计算畸变参数，完成双目相机立体标定；张正友标定算法为常规算法，具体不再详述。

完成双目相机立体标定后，得到以下参数值：左右相机的基线长度B、相机集距f、左相机主点坐标(u_c1,v_c1)以及右相机主点坐标(u1,v1)；

P(X_P,Y_P,Z_P)为空间内一点，d为P点在左、右相机成像面的视差，d＝x₁-x₂，x₁为P点在左相机成像面的X轴坐标，x₂为P点在右相机成像面的X轴坐标；

利用公式一计算出P点校正后的空间坐标：

公式一：

本发明在完成了双目相机立体标定后，利用空间一点在左、右相机成像的视差以及三角测距原理，如图3所示通过公式一计算得到该点的空间坐标，从而校正图像，使图像能够更真实地反映叠放钢坯。

如图4所示，第五步骤即模板匹配步骤是：

预先制作模板；设计人员预先选择一张包含有目标钢坯的图像并设定ROI(感兴趣区域)，制作图像模板(如图5所示)并存储于电控装置内；

预先轮廓提取：采用边缘提取算子(如caany算子)对模板图像进行边缘提取，得到边缘点P_i＝(x_i,y_i)i＝1,2,...N，进而得到基于轮廓的模板图像描述向量为：

其中，c＝(w-1)/2，w为轮廓窗口尺度，取奇数值；预先制作模板和预先轮廓提取在第二步骤之前进行；

(一)、生成基于轮廓的目标图像的描述向量；

电控装置以设定的ROI大小作为窗口大小，通过在目标图像上逐行或逐列移动窗口，实现对整个目标图像的遍历；窗口在移动过程中经过多个位置，各位置处的窗口所覆盖的区域组成完整的目标图像；

对于窗口移动过程中经过的多个位置，依次对窗口内图像进行边缘提取，得到边缘点Q_i＝(x_i,y_i)i＝1,2,...M，生成一个窗口图像基于轮廓的描述向量：

这里，的定义同/>在依次对下一个窗口内图像进行边缘提取前，进行计算匹配置信度的操作；

(二)、计算匹配置信度；

ε为给定置信度阈值，由设计人员预先存储在电控装置中；如果a＜ε，则匹配成功，输出该窗口区域的中心点位置平面坐标；逐行或逐列移动窗口至下一位置；

重复生成基于轮廓的目标图像的描述向量的操作和计算匹配置信度的操作，直到遍历整个目标图像。以上(一)、(二)子步骤的操作发生在第四步骤之后，第六步骤之前。

在本发明公开的内容(任务)的基础上，本领域技术人员有能力预设合适的ε值。事实上，只要给出具体的任务，本领域技术人员就能够相应预设合适的ε值。

第六步骤即角点检测步骤是：

叠放钢坯存放的示意图如图6所示。

第五步骤即模板匹配步骤完成后，电控装置根据设计人员预先存储在电控装置内的匹配置信度α值，框出最上层每根钢坯在左相机拍摄的图像和右相机拍摄的图像中的位置；如图7所示，以左相机图像为例，电控装置对框出的每根钢坯区域进行边缘检测，得到每根钢坯上表面四条边的图像平面坐标，采用霍夫变换方法，得到四条边的直线方程，利用直线求交点的方法得到每根钢坯精确的四个角点(图7中的A、B、C、D点)的平面坐标；

第七步骤即钢坯特征点的立体匹配与识别定位是：

对于左相机拍摄的图像，M点和N点分别是边AB边和CD边的中点，AB边和CD边为矩形钢坯的矩形图像中的两短边；根据A点和B点的平面坐标计算出M点的平面坐标M(x_i1,y_i1)，根据C点和D点的平面坐标计算出N点的平面坐标N(x_i2,y_i2)，直线段MN的中点O的平面坐标为：

对于右相机拍摄的图像按同样的算法计算出相对应的图像坐标系下M点、N点和O点的平面坐标；电控装置根据公式一计算出M点、N点和O点的空间坐标，如图8所示。过钢坯上表面形心O的直线MN的空间直线方程为：

其中，l＝x_i2-x_i1，m＝y_i2-y_i1，n＝z_i2-z_i1。因钢坯的尺寸(长l、宽m以及高z)是已知的，因此在得到了钢坯上表面形心O的空间坐标及MN的空间直线方程之后，即可确定单根钢坯的位置和姿态，实现了对叠放状态下单根钢坯的识别与定位，为钢坯吊运提供基础。

第八步骤即钢坯分层聚类是：

电控装置以各钢坯的z坐标作为数据样本集合；

如图9所示，数据样本集合{z⁽¹⁾,z⁽²⁾,…z⁽ⁿ⁾}中，n表示已识别钢坯的数目；预设聚类数目k＝2；电控装置采用对于上述数据样本和聚类数目，采用k-means聚类算法进行迭代运算直到计算得到的每个类的质心μ_j不再发生变化时，停止迭代运算并输出数据样本集合中每个数据样本的类别属性，完成钢坯分层聚类。

本发明还公开了使用上述基于双目视觉技术叠放钢坯的识别与定位方法的吊运方法，所述电控装置与起重设备相连并控制起重设备的动作；

起重设备根据钢坯分层聚类信息，逐一抓取最上层钢坯并吊运至需要的位置；

最上层钢坯吊运完毕后，执行基于双目视觉技术叠放钢坯的识别与定位方法中的第二至第八步骤，重新得到叠放钢坯中最上两层钢坯中各单根钢坯的识别和定位信息以及分层聚类信息，重新执行本吊运方法。

以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.基于双目视觉技术叠放钢坯的识别与定位方法，用于为吊运作业提供叠放状态下待吊运的单根钢坯的定位信息和分层聚类信息；

其特征在于按以下步骤执行：

第一是准备；在起重设备上安装双目相机，使双目相机正对叠放钢坯；双目相机包括左相机和右相机；双目相机连接有电控装置；

第二是图像采集；左相机和右相机利用内置的SDK程序包实时采集叠放钢坯的图像，并将照片传送给电控装置；

第三是图像预处理；

电控装置对左相机和右相机采集的图像分别进行滤波处理，去除图像噪声；

第四是双目相机立体标定；

第五是模板匹配；

第六是角点检测；

第七是钢坯特征点的立体匹配与识别定位，得到最上两层钢坯中各单根钢坯的识别和定位信息；

第八是钢坯分层聚类，为起重设备吊运钢坯提供分层聚类信息；

第四步骤即双目相机立体标定是：

采用张正友标定算法，先读取标定板图像，再提取Harris角点，再定位亚像素角点，再构造方程解参数，再进行最小二乘参数估计，再进行最大似然参数优化，再计算畸变参数，完成双目相机立体标定；

完成双目相机立体标定后，得到以下参数值：左右相机的基线长度B、相机集距f、左相机主点坐标(u_c1,v_c1)以及右相机主点坐标(u1,v1)；

P(X_P,Y_P,Z_P)为空间内一点，d为P点在左、右相机成像面的视差，d＝x₁-x₂，x₁为P点在左相机成像面的X轴坐标，x₂为P点在右相机成像面的X轴坐标；

利用公式一计算出P点校正后的空间坐标：

公式一：

第五步骤即模板匹配步骤是：

预先制作模板；设计人员预先选择一张包含有目标钢坯的图像并设定ROI，制作图像模板并存储于电控装置内；

预先轮廓提取：采用边缘提取算子对模板图像进行边缘提取，得到边缘点P_i＝(x_i,y_i)i＝1,2,…N，进而得到基于轮廓的模板图像描述向量为：

其中，c＝(w-1)/2，w为轮廓窗口尺度，取奇数值；预先制作模板和预先轮廓提取在第二步骤之前进行；

(一)、生成基于轮廓的目标图像的描述向量；

电控装置以设定的ROI大小作为窗口大小，通过在目标图像上逐行或逐列移动窗口，实现对整个目标图像的遍历；窗口在移动过程中经过多个位置，各位置处的窗口所覆盖的区域组成完整的目标图像；

对于窗口移动过程中经过的多个位置，依次对窗口内图像进行边缘提取，得到边缘点Q_i＝(x_i,y_i)i＝1,2,…M，生成一个窗口图像基于轮廓的描述向量：

这里，的定义同/>在依次对下一个窗口内图像进行边缘提取前，进行计算匹配置信度的操作；

(二)、计算匹配置信度；

ε为给定置信度阈值，由设计人员预先存储在电控装置中；如果a＜ε，则匹配成功，输出该窗口区域的中心点位置平面坐标；逐行或逐列移动窗口至下一位置；

重复生成基于轮廓的目标图像的描述向量的操作和计算匹配置信度的操作，直到遍历整个目标图像；

第六步骤即角点检测步骤是：

第五步骤即模板匹配步骤完成后，电控装置根据设计人员预先存储在电控装置内的匹配置信度α值，框出最上层每根钢坯在左相机拍摄的图像和右相机拍摄的图像中的位置；对框出的每根钢坯区域进行边缘检测，得到每根钢坯上表面四条边的图像平面坐标，采用霍夫变换方法，得到四条边的直线方程，利用直线求交点的方法得到每根钢坯精确的四个角点的平面坐标；

第七步骤即钢坯特征点的立体匹配与识别定位是：

对于左相机拍摄的图像，M点和N点分别是边AB边和CD边的中点，AB边和CD边为矩形钢坯的矩形图像中的两短边；根据A点和B点的平面坐标计算出M点的平面坐标M(x_i1,y_i1)，根据C点和D点的平面坐标计算出N点的平面坐标N(x_i2,y_i2)，直线段MN的中点O的平面坐标为：

对于右相机拍摄的图像按同样的算法计算出相对应的图像坐标系下M点、N点和O点的平面坐标；电控装置根据公式一计算出M点、N点和O点的空间坐标；通过钢坯上表面形心O的直线MN的空间直线方程为：

其中，l＝x_i2-x_i1，m＝y_i2-y_i1，n＝z_i2-z_i1；

第八步骤即钢坯分层聚类是：

电控装置以各钢坯的z坐标作为数据样本集合；

数据样本集合{z⁽¹⁾,z⁽²⁾,…z⁽ⁿ⁾}中，n表示已识别钢坯的数目；预设聚类数目k＝2；电控装置采用对于上述数据样本和聚类数目，采用k-means聚类算法进行迭代运算直到计算得到的每个类的质心μ_j不再发生变化时，停止迭代运算并输出数据样本集合中每个数据样本的类别属性，完成钢坯分层聚类。

2.使用权利要求1中所述基于双目视觉技术叠放钢坯的识别与定位方法的吊运方法，其特征在于：所述电控装置与起重设备相连并控制起重设备的动作；

起重设备根据钢坯分层聚类信息，逐一抓取最上层钢坯并吊运至需要的位置；

最上层钢坯吊运完毕后，执行基于双目视觉技术叠放钢坯的识别与定位方法中的第二至第八步骤，重新得到叠放钢坯中最上两层钢坯中各单根钢坯的识别和定位信息以及分层聚类信息，重新执行本吊运方法。