CN107133983B - 成捆圆钢端面双目视觉系统与空间定位及计数方法 - Google Patents

Abstract

成捆圆钢端面双目视觉系统与空间定位及计数方法，所述系统包括：安装有图像存储和处理程序的计算机（1），光源（2），左相机（3），右相机（4）和标定板（5）；成捆圆钢端面空间定位及计数方法，所述方法包括如下步骤：（1）双目相机标定；（2）左、右相机获取图像并进行极线校正；（3）左、右图像增强处理；（4）左、右图像二值化处理；（5）左、右图像进行圆形识别；（6）圆钢计数；（7）求取双目立体视觉的视差；（8）求取圆钢端面中心三维坐标。该系统可以实现成捆圆钢的端面中心三维坐标测量和计数，对相机安装精度要求低。

Description

成捆圆钢端面双目视觉系统与空间定位及计数方法

技术领域

本发明涉及一种基于双目视觉的物体端面中心空间坐标获取以及计数的方法，尤其是涉及一种成捆圆钢端面双目视觉系统与空间定位及计数方法。

背景技术

圆钢是当前钢铁行业的主要产品，更是工业领域重要的生产加工原材料。在不同行业对于圆钢的质量要求也是不同的，钢铁行业所生产的圆钢规格也是多种多样，为了区分不同种类、规格的圆钢，需要为圆钢粘贴标签，以便于识别圆钢的一些基本信息。购货商可以通过标签了解到圆钢的直径、长度以及生产炉号、成分、生产日期等信息。

目前，钢厂仍然采用人工手动取标、贴标的方法对圆钢端面进行贴标，这种方法劳动强度大，生产效率低，同时，由于视觉疲劳等因素会造成所粘贴标签的位置精度达不到要求，出现漏贴、错贴等现象。随着现代生产的迅速发展，要求贴标系统必须具有速度快、精度高、自动化等特点，这就需要一套自动贴标系统。目前自动贴标系统中主要是以单目视觉为基础为贴标机器人提供圆钢端面中心坐标信息，在专利[CN201610193685.5]中，提出了一种基于视觉的成捆圆钢端面中心坐标的获取系统和方法，在此专利中应用的是单目视觉，只能获取平面x、y坐标，而无法获取三维坐标即无法获取z坐标，因此如何获取圆钢端面中心的三维坐标即x、y、z值，为贴标机器人提供准确的三维坐标很有意义。本发明以双目视觉为基础，建立的双目视觉系统，不仅可以提取圆钢端面中心的三维坐标，实现圆钢端面中心的空间定位，而且还可以记录圆钢的数量，实现计数功能。成捆圆钢端面中心三维坐标的获取为自动贴标系统提供了实现贴标所必须的圆钢端面中心三维坐标信息，因此，在自动贴标系统中引入双目视觉系统，对实现圆钢端面中心的精确定位以及圆钢计数具有非常重大的意义。目前，还没有针对成捆圆钢端面获取其中心三维坐标以及对圆钢计数的系统化方法。

发明内容

基于以上目的，本发明旨在提出一种成捆圆钢端面双目视觉系统，获取圆钢端面中心空间坐标及计数方法。

本发明的成捆圆钢端面双目视觉系统用于成捆圆钢的端面中心三维坐标测量及计数，包括：安装有图像存储和处理程序的计算机1，光源2，左相机3，右相机4和标定板5。左相机3、右相机4并排水平放置与被测对象成捆圆钢端面垂直，光源2在左相机3与右相机4的中间位置，安装有图像存储和处理程序的计算机1与光源2、左相机3、右相机4通过数据线连接在一起，放置在不遮挡左相机3、右相机4的位置，标定板5在标定时放置于左相机3与右相机4正前方景深范围之内。

本发明使用上述系统的成捆圆钢端面空间定位及计数方法包括如下步骤：

（1）双目相机标定；

（2）左、右相机获取图像并进行极线校正；

（3）左、右图像增强处理；

（4）左、右图像二值化处理；

（5）左、右图像进行圆形识别；

（6）圆钢计数；

（7）求取双目立体视觉的视差；

（8）求取圆钢端面中心三维坐标。

本发明的有益技术效果包括：

1）能够获取圆钢端面中心三维坐标信息，为贴标机器人提供准确的圆钢端面中心的x、y、z坐标；

2）对相机安装精度要求不高，左相机3与右相机4存在不平行、有夹角，可以通过极线校正设置虚拟相机位置使其获取的图片位于同一平面；

3）能够记录每捆圆钢的数量。

附图说明

图1是本发明的成捆圆钢端面双目视觉系统总体结构示意图；

图2是本发明的成捆圆钢端面空间定位及计数方法的流程图。

具体实施方式

以Ø60mm的成捆圆钢为例来介绍本发明，结合附图1-2对本发明做具体描述。

首先建立如图1所示的成捆圆钢端面双目视觉系统，包括：安装有图像存储和处理程序的计算机1，光源2，左相机3，右相机4和标定板5。左相机3、右相机4并排水平放置与被测对象成捆圆钢端面垂直，光源2在左相机3与右相机4的中间位置，安装有图像存储和处理程序的计算机1与光源2、左相机3、右相机4通过数据线连接在一起，放置在不遮挡左相机3、右相机4的位置，标定板5在标定时放置于左相机3与右相机4正前方景深范围之内。

本系统安装好以后需进行调试确定左相机3、右相机4的位姿，通过经典的张正友法，利用MATLAB标定工具箱对左相机3、右相机4进行双目标定，获得左相机3与右相机4各自的内参、外参以及其相对位姿，将参数导入本成捆圆钢端面双目视觉系统即完成标定，在后续的实际工作中无需再进行标定。标定只需本系统第一次安装调试时进行一次即可。

在系统搭建时对于光源2、左相机3右相机4的选择也非常重要。通过与白炽灯、卤素灯、高频荧光灯、LED灯、氙灯的比较，LED灯其独有的优势显得尤为突出，其优点有：形状的自由度大、使用寿命长、应答速度快、可自由的选择颜色、综合性运转成本低，因此本系统采用阵列式LED灯。

相机的选择是通过被测物体的大小、测量精度、相机与被测物之间的距离等参数来确定的，如本系统测量的成捆圆钢端面大约是Ø300mm直径，测量精度0.5mm，相机与圆钢端面距离约1000mm。首先估算像素，被测物是Ø300mm的圆形，而相机靶面通常为4:3的矩形，为了将物体全部摄入靶面应该以靶面最短边长度为参考，像素应大于300/0.5=600，根据估算的像素可以选择大恒CCD相机MER-125-30UM靶面尺寸1/3英寸（4.8×3.6mm），分辨率为1292×964，像元尺寸为u=3.75μm的相机，验证精度T，可根据公式T=u/β计算，其中β=3.6/300为镜头放大率，经计算T=0.31mm满足精度要求；焦距f可以通过公式f=L/（1+1/β）计算，其中L=1000mm，经计算f=11.8mm，可选焦距为12mm的镜头，如大恒TG4Z2816FCS镜头。

在本系统中左相机3与右相机4水平安装，镜头正对圆钢端面与之垂直，安装时的误差可以在系统的极线校正中得到处理。光源2在左相机3与右相机4的中间位置，采用前向照明法以突出圆钢的轮廓。光源2、左相机3、右相机4都是通过数据线与安装有图像存储处理程序的计算机1连接在一起，安装有图像存储处理程序的计算机1可以通过程序控制光源2，在获取图像时光源2开启，其余时间光源2关闭，起到节能的作用。整个系统定位是通过双目标定实现的，通过双目标定获取左相机3与右相机4的内参、外参以及其相对位姿，双目标定采用传统张正友标定法。左相机3与右相机4的标定在其安装好之后进行一次标定即可。

1、双目相机标定

本系统采用传统的张正友标定法，利用MATLAB标定工具箱进行双目标定的。在标定时标定板放置在圆钢端面的工位处，每个相机取最少3张不同角度的图像，利用MATLAB标定工具箱对左相机3、右相机4进行标定获得其各自的内、外参，相机内、外参的标准形式如下：

A为内参矩阵，其形式为：

其中，f _x 为归一化后的x方向上的焦距，f _y 为归一化后的y方向上的焦距，u ₀ 、v ₀ 为主点坐标。

（R|t）为外参，是一个3×4的矩阵，R为3×3的旋转矩阵，t为平移向量。

在第一左相机与第二右相机标定完成后，将其各自的标定参数按照MATLAB标定工具箱的要求导入，进行双目标定，得到第一左相机相对于第二右相机的姿态矩阵的旋转向量om，以及位移向量T，旋转向量om可以利用函数rodrigues转换为3×3旋转矩阵。

2、左、右相机获取立体图像对并进行极线校正

系统在获取图像时安装有图像存储处理程序的计算机1会给光源2发送指令，令其开启以便于左相机3与右相机4获取图像，即获取一对立体图像对，图像获取完成安装有图像存储处理程序的计算机1再次发送指令使光源2关闭，达到节能的目的。由于安装时存在误差使得左相机3与右相机4没有处于理想位置，使其获取的立体图像对不在同一平面上，这样会使求取的圆钢端面中心坐标存在较大的误差，因此需要对这一立体图像对进行极线校正使其处于同一平面内。极线校正过程是将在标定时获得的左相机3内外参P _l =A _l (R _l |t _l )、右相机4内外参P _r =A _r (R _r |t _r )与左相机3和右相机4获取的图像对作为输入参数，极线校正通常经过单应变换H完成，H=A _r (R _r |t _r )(R _l |t _l )^-1 A _l ^-1 为3×3矩阵。设原图像上的任意一点为m经过极线校正后对应点为m ^’ 它们的关系为：m ^’ =Hm。原图像经校正后获得的立体图像对在同一平面上，左图像与右图像的x轴与基线平行，对应点具有相同的y坐标。

3、左、右立体图像对增强

图像增强采用灰度变换增强法，在MATLAB中利用函数imadjust进行立体图像对增强，该函数中原图像中要变换的灰度范围可以通过函数stretchlim自动获得，也可采用固定值，在图像采集环境不变的情况下采用固定值可以使系统运行速度更快，本系统采用固定值，经验证在[0.5;1]时最优。图像变换后的灰度范围设置为默认值即0-255。

4、左、右立体图像对二值化

图像二值化在MATLAB中是通过im2bw函数将灰度图像转换为二值图像的，在使用im2bw函数时必须首先设置阈值参数，可以通过graythresh函数自动获取阈值，也可以采用固定阈值。由于本系统图像提取是在光照情况下进行的，获取的图像稳定，采用固定阈值不仅可以提高图像质量，而且还可以提高系统运行速度，因此本系统采用固定阈值，经验证阈值为0.6时最优。

5、左、右立体图像对圆形识别

在图像处理中Hough变换是识别几何形状的基本方法之一，在MATLAB中函数imfindcircles就是运用Hough变换进行圆形识别的。imfindcircles函数使用时需确定几个参数：一是需检测圆的半径范围，经验证本系统的半径范围设置为[50 90]为佳；二为和别的背景，有‘bright’与‘dark’之分，本系统设置为‘bright’；三为参数‘Sensitivity’灵敏度，灵敏度范围在[0,1]之间，灵敏度越大能检测到的圆越多，则错误检测的风险也随之增大，经验证灵敏度为0.95是效果较好；最后一个参数是‘EdgeThreshold’边缘梯度阈值，其范围在[0,1]之间，边缘梯度阈值越小能检测到的圆越多，随之错误检测也越大，当边缘梯度阈值为0.7时效果最好。

6、圆钢计数

将圆形识别中拟合出来的圆进行计数，记录下拟合出来的圆的总数即为圆钢的根数。在函数imfindcircles的返回值centers中包含所有拟合出来的圆形的中心坐标，利用size函数即可读出centers中所包含的圆形个数，此数值即为圆钢的数量，记录次数从而达到计数的功能。

7、求取双目立体图像对的视差

视差是左右图像的一对匹配点在x轴上的坐标的差异。双目立体图像对经过圆形识别后每根圆钢端面中心的x、y坐标都已知，只需将左右图像上对应圆钢端面中心的x坐标做差即可得到每根圆钢端面中心的视差值。

8、求取圆钢端面中心三维坐标

圆钢端面中心空间坐标是由X、Y、Z组成，其中X、Y可以通过圆形识别过程中得到的像素坐标x，y，经过图像坐标系与相机坐标系的转换得到相机坐标系下的值X、Y；而Z可以用三角法求得，其公式为：

其中：x _l -x _r 为视差，即d；

B为左右相机在X方向上的距离；

f为相机的焦距。

B与f的值在相机标定中已经确定。由此可以得到圆钢端面中心的空间坐标，经过坐标转换可以将相机坐标系与世界坐标系进行转换，进而得到圆钢端面中心空间的世界坐标，经验证，由本系统得到的坐标传输给贴标机器人后可以得到精确的定位。

Claims (1)

1.一种成捆圆钢端面双目视觉系统，用于成捆圆钢的端面中心三维坐标测量及计数，所述系统包括：安装有图像存储和处理程序的计算机（1），光源（2），左相机（3），右相机（4）和标定板（5），其特征在于：左相机（3）、右相机（4）并排水平放置与被测对象成捆圆钢端面垂直，光源（2）在左相机（3）与右相机（4）的中间位置，安装有图像存储和处理程序的计算机（1）与光源（2）、左相机（3）、右相机（4）通过数据线连接在一起，放置在不遮挡左相机（3）、右相机（4）的位置，标定板（5）在标定时放置于左相机（3）与右相机（4）正前方景深范围之内，光源（2）为阵列式LED灯，安装有图像存储处理程序的计算机（1）通过程序控制光源（2），在获取图像时光源（2）开启，其余时间光源（2）关闭，所述系统包括如下方法步骤：

（1）双目相机标定；

（2）左、右相机获取图像并进行极线校正；

（3）左、右图像增强处理；

（4）左、右图像二值化处理；

（5）左、右图像采用Hough变换进行圆形识别；

（6）圆钢计数；

（7）求取双目立体视觉的视差；

（8）求取圆钢端面中心的三维相机坐标系坐标，再经过坐标转换将相机坐标系与世界坐标系进行转换，得到圆钢端面中心的三维世界坐标系坐标。