CN112082493B - 基于双目成像的管道法兰内半径视觉测量方法 - Google Patents

Abstract

本发明公开了一种基于双目成像的管道法兰内半径视觉测量方法，包括：在待测量的管道法兰的法兰面上，设置标记点；利用双目相机获取法兰面左、右图像，提取标记点像素坐标；采用极线约束原理，对左、右图像中标记点进行匹配；根据三角测量原理，计算出标记点的空间坐标；利用最小二乘法，对标记点的空间坐标进行平面拟合；提取图像中法兰内圆的轮廓，得到法兰内圆轮廓点的像素坐标，进而求解法兰内圆轮廓点的空间坐标；利用最小二乘法，对轮廓点的空间坐标进行球面拟合；球与平面所截圆即为法兰内圆，利用球与平面的几何关系以及勾股定理求解法兰内半径。本发明能够自动、准确地提取出管道法兰内半径，计算复杂度低、精度高。

Description

基于双目成像的管道法兰内半径视觉测量方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于双目成像的管道法兰内半径视觉测量方法。

背景技术

在船只建造过程中，由于船舶管道法兰部件体积大、质量高以及船舱内空间较小等外部因素，使得量具测量操作不便，极大地增加了管道法兰安装难度。在传统的管道法兰连接测量过程中，主要使用一些接触式的测量工具，比如游标卡尺、三角规等，这些工具均使用人工完成，不仅操作起来需要耗费时间和精力，而且操作过程中工人的视觉误差和人眼疲劳也会影响测量精度，经常产生测量失误，检测效率也不高。人工的测量方式效率低、操作不便，数据的精确性无法保证，难以满足管道法兰测量的新的要求。管道法兰测量失误会导致制造完成的船舶管道法兰部件无法满足工艺要求，只能选择废弃旧管或回炉重造，这会浪费大量人力物力。

发明内容

本发明解决的技术问题是提供一种基于双目成像的管道法兰内半径视觉测量方法，解决使用接触式测量工具测量法兰带来的不便以及测量精度低的问题。

本发明提供了一种基于双目成像的管道法兰内半径视觉测量方法，包括以下步骤：

在待测量的管道法兰的法兰面上，设置多个不在同一条直线上的标记点；

利用双目相机获取法兰面左、右图像，提取标记点在法兰面左、右图像中的像素坐标；

采用极线约束原理，对左、右图像中标记点进行匹配；

根据三角测量原理，利用标记点的像素坐标计算出标记点的空间坐标；

利用最小二乘法，对标记点的空间坐标进行平面拟合；

提取法兰面左或右图像中法兰内圆的轮廓，对该轮廓进行椭圆拟合，得到法兰内圆轮廓点的像素坐标；

利用轮廓点位于拟合平面以及三角测量原理，求解法兰内圆轮廓点的空间坐标；

利用最小二乘法，对轮廓点的空间坐标进行球面拟合；

球与平面所截圆即为法兰内圆，利用球与平面的几何关系以及勾股定理求解法兰内半径。

进一步地，该方法还包括：利用张正友标定法得到双目相机的内部参数矩阵和外部参数矩阵。

进一步地，利用吸光材料将法兰的螺栓孔堵住，使其与法兰面平齐，标记点设置在螺栓孔的中心。

进一步地，提取标记点在法兰面左、右图像中的像素坐标包括以下步骤：

对法兰面左、右图像进行灰度化处理，得到灰度图；

对灰度图的所有像素点进行灰度值判断，若该像素点灰度值大于第一预设阈值，则以该像素点为中心，以特定步长为半径判断该像素点周围像素点的灰度值，若灰度值小于第二预设阈值，则标记该区域；

在标记区域内，对图像进行二值化处理，提取标记区域的轮廓，利用灰度重心法求出重心坐标，即标记点的像素坐标。

进一步地，提取标记区域的轮廓后，对轮廓进行椭圆拟合，若拟合椭圆的圆度低于圆度阈值，则排除该标记区域。

进一步地，根据三角测量原理，利用标记点的像素坐标计算出标记点的空间坐标原理如下：由张正友标定法可知像素坐标系与空间坐标系的关系，将法兰左、右图像中标记点的像素坐标代入关系式，并展开化简，最后可以计算出空间坐标。

进一步地，利用轮廓点位于拟合平面以及三角测量原理，求解法兰内圆轮廓点的空间坐标的公式如下：

式中，(u_l′，v_l′)表示法兰面左图像中法兰内圆的轮廓点的像素坐标，(X′，Y′，Z′)表示轮廓点的空间坐标，a、b、c为平面方程ax+by-z+c＝0的系数。

本发明的有益效果是：本发明通过人为设置标记点，使得标记点的特征明显，易提取；提取标记点后，基于双目视觉技术以及三角测量原理可以得到标记点的空间坐标，进而得到拟合平面；利用法兰内圆轮廓点位于拟合平面以及三角测量原理，求解法兰内圆轮廓点的空间坐标，进而对轮廓点的空间坐标进行球面拟合；最后由球心到平面的距离、球半径以及勾股定理可得管路法兰的内半径；在本发明中，法兰内圆轮廓点空间坐标由拟合平面和三角测量原理共同计算，无需对轮廓进行匹配，降低了计算难度；并且管道法兰轮廓的空间坐标由管道法兰轮廓的像素坐标计算，法兰轮廓部分遮挡或阴影对空间坐标计算结果的影响有限，因此具有一定的抗干扰能力。

进一步地，利用吸光材料将法兰的螺栓孔堵住，并将标记点设置在螺栓孔的中心，利用螺栓孔的轮廓进行标记点粗定位，为标记点的精确定位提取提供良好的基础，提高标记点提取的准确度；提取标记区域的轮廓后，对轮廓进行椭圆拟合，将拟合椭圆的圆度低于圆度阈值的标记区域排除，可进一步提高标记点提取的准确度，进而提高法兰内半径的测量精度。

附图说明

图1是本发明实施例中基于双目成像的管道法兰内半径视觉测量流程图；

图2是本发明实施例中设置标记点的船舶管道法兰左、右图像；

图3是本发明实施例中法兰内圆轮廓示意图。

具体实施方式

下面将结合附图及具体实施例对本发明作进一步的说明：

本发明实施例的基于双目成像的管道法兰内半径视觉测量方法，如图1所示，包括以下步骤：

S101、利用双目相机采集标定板图像；并对采集的标定板图像利用张正友标定法进行计算，得到双目相机的内部参数矩阵和外部参数矩阵，包括：左相机内参矩阵A_L，右相机内参矩阵A_R，右相机相对于左相机的旋转矩阵R和平移矩阵T。

本实验中双目立体视觉系统内外参数矩阵标定结果为：

T＝[-118.44467163085 0.000000000000 0.000000000000]^T

S102、在待测量的管道法兰的法兰面上，设置多个不在同一条直线上的标记点。在法兰面上人工设置标记点，是为了通过这些标记点来确定法兰面在空间中所处的平面，因此，标记点的个数至少为3个，且不在同一条直线上。为了使通过这些标记点确定的平面更加准确，标记点的位置不应当过于集中，最好分散在法兰面四周的边缘处；且数量越多越准确。

S103、利用标定后的双目相机采集管道法兰的图像，如图2所示，得到法兰面的左、右图像；然后提取标记点在法兰面左、右图像中的像素坐标。为了提高从图像中提取标记点像素坐标的准确度，在步骤S102时，可以先利用吸光材料将法兰的螺栓孔堵住，使其与法兰面平齐，然后将高亮显示的标记点设置在螺栓孔的中心，接着按照如下步骤提取标记点坐标：

(1)对采集的管道法兰左右图像进行灰度化处理，得到灰度图，使得图像的灰度值在0到255之间；

(2)以图像左上角为起点，依次对整个图像区域所有的像素点进行灰度值判断：若该像素点的灰度值大于第一预先设定的阈值，则以该像素为中心，一定步长为半径，判断该像素点周围像素点的灰度值，若该像素点周围像素点的灰度值小于第二预先设定的阈值，则以此像素点为中心，使用矩形框于原图标记该区域，该标记区域即螺栓孔所在区域；

(3)提取框选区域的轮廓，对轮廓进行椭圆拟合，以拟合椭圆的圆度为阈值，对框选区域再次进行剔除，圆度越大，拟合轮廓约接近圆，该轮廓为螺栓孔轮廓的可能性越大；这样可以提高标记点提取的准确度，进而提高法兰内半径的测量精度；

(4)在标记区域内，对图像进行二值化处理，即图像轮廓以外的每个像素点的灰度值都为0，此时物体的重心与圆心重合，利用灰度重心法提取螺栓孔圆心位置，即标记点像素坐标(u，v)。

利用螺栓孔的轮廓进行标记点粗定位，为标记点的精确定位提取提供良好的基础，提高标记点提取的准确度。

S104、当双目相机平行时，由极线约束原理可知，对于同一特征点，满足条件v_l＝v_r，进行标记点匹配，进而找到标记点在左、右图像中对应的像素坐标。

S105、确定了标记点在左、右两幅图像的像素坐标之后，根据三角测量原理进行三维转换，求出标记点在三维空间中相对于左相机或右相机的空间坐标(X，Y，Z)；

由张正友标定法可知像素坐标系与空间坐标系的关系为：

式中，(u，v)为像素坐标，(X，Y，Z)为空间坐标，s为非零尺度因子，A为3×3的相机内部参数矩阵，0为3×1的零矩阵，R和T为相机外部参数，其中R为3×3的旋转矩阵，T为3×1的平移矩阵。

代入左图像中标记点像素坐标(u_l，v_l)和右图像中同一标记点的像素坐标(u_r，v_r)，将公式展开并化简，即可得到坐标转换公式：

即可求解出标记点的空间坐标。

S106、求解出标记点的空间坐标后，使用最小二乘法对平面进行拟合，计算平面方程ax+by-z+c＝0。设平面方程为Ax+By+Cz+D＝0(C≠0)，将平面方程变换为z＝ax+by+c，其中a＝-A/C，b＝-B/C，c＝-D/C，使用标记点的空间坐标进行平面拟合，计算使误差平方和d最小时a，b，c的值；即可得到法兰面在空间中所处的平面。

S107、提取左图或右图中法兰内圆在图像中投影的椭圆的轮廓，如图3所示，本实验中以左图为例，对轮廓进行椭圆拟合，输出轮廓点像素坐标集合{(u_l′，v_l′)}；

S108、在空间位置中，利用法兰内圆的轮廓与标记点所处为同一平面的几何关系，以及三角测量原理共同求解法兰内圆的轮廓点集的空间坐标集合{(X′，Y′，Z′)}；

由步骤S105可知，根据三角测量原理，可得左图像中像素点坐标化为空间坐标的转换公式；根据法兰内圆的轮廓与标记点所处为同一平面的几何关系，将二者联立，可得法兰内圆轮廓点的空间坐标(X′，Y′，Z′)，计算公式为：

本发明中法兰内圆轮廓点空间坐标由拟合平面和三角测量原理共同计算，无需对轮廓进行匹配，降低了计算难度。

S109、利用最小二乘法，对轮廓点的空间坐标进行球面拟合，求解球方程(x_i-x₀)²+(y_i-y₀)²+(z_i-z_o)²＝R₀ ²，设拟合后球面的球心为(x₀，y₀，z₀),球的半径为R₀，求解使误差平方和E(x₀，y_o，z₀，R₀)最小时的x₀，y₀，z₀，R₀；

S110、球与平面所截圆即为管道法兰内圆，利用球与平面之间的几何关系求解管道法兰内半径。根据步骤S109计算的球方程(x_i-x₀)²+(y_i-y₀)²+(z_i-z_o)²＝R₀ ²及步骤S106计算的平面方程ax+by-z+c＝0，由球面方程及球心到平面的距离公式及勾股定理可得管路法兰的内半径。

为了证明本发明方法的有效性，本发明测试了一组具有代表性的真实管道法兰实物样例，实验结果如表1所示：

表1实验结果

从测量半径与实际半径比较，测量误差在0.1毫米之内，由此可以看出，本例所提出的基于双目成像的管道法兰内半径视觉测量方法测量结果可达到0.1毫米级，满足船舶所需的半径测量需求，利用法兰的内半径测量结果可以对重建结果进行检验，同时使用本发明还可以测量法兰圆面的中心点的空间位置及法兰管路的中轴线。

综上所述，本发明的方法中标记点由人为标记而成，特征明显，易提取，特征匹配的匹配率高，剔除误匹配操作简单，降低了匹配过程中的计算复杂度；本发明中管道法兰轮廓的空间三维坐标由管道法兰轮廓的像素坐标计算，部分遮挡或阴影对空间坐标计算结果的影响有限，具有一定的抗干扰能力，能够自动、准确地提取出管道法兰内半径，计算复杂度低，测量精度高，结果可靠。

本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于双目成像的管道法兰内半径视觉测量方法，其特征在于，包括以下步骤：

在待测量的管道法兰的法兰面上，设置多个不在同一条直线上的标记点；具体为：利用吸光材料将法兰的螺栓孔堵住，使其与法兰面平齐，高亮显示的标记点设置在螺栓孔的中心；

利用双目相机获取法兰面左、右图像，提取标记点在法兰面左、右图像中的像素坐标；

采用极线约束原理，对左、右图像中标记点进行匹配；

根据三角测量原理，利用标记点的像素坐标计算出标记点的空间坐标；

利用最小二乘法，对标记点的空间坐标进行平面拟合；

提取法兰面左或右图像中法兰内圆的轮廓，对该轮廓进行椭圆拟合，得到法兰内圆轮廓点的像素坐标；

利用轮廓点位于拟合平面以及三角测量原理，求解法兰内圆轮廓点的空间坐标；

利用最小二乘法，对轮廓点的空间坐标进行球面拟合；

球与平面所截圆即为法兰内圆，利用球与平面的几何关系以及勾股定理求解法兰内半径；

提取标记点在法兰面左、右图像中的像素坐标包括以下步骤：

对法兰面左、右图像进行灰度化处理，得到灰度图；

对灰度图的所有像素点进行灰度值判断，若某一像素点灰度值大于第一预设阈值，则以该像素点为中心，以特定步长为半径判断该像素点周围像素点区域的灰度值，若灰度值小于第二预设阈值，则标记该区域；

在标记区域内，对图像进行二值化处理，提取标记区域的轮廓，利用灰度重心法求出重心坐标，即标记点的像素坐标。

2.根据权利要求1所述的基于双目成像的管道法兰内半径视觉测量方法，其特征在于，该方法还包括：利用张正友标定法得到双目相机的内部参数矩阵和外部参数矩阵。

3.根据权利要求1所述的基于双目成像的管道法兰内半径视觉测量方法，其特征在于，提取标记区域的轮廓后，对轮廓进行椭圆拟合，若拟合椭圆的圆度低于圆度阈值，则排除该标记区域。

4.根据权利要求1所述的基于双目成像的管道法兰内半径视觉测量方法，其特征在于，根据三角测量原理，利用标记点的像素坐标计算出标记点的空间坐标原理如下：

由张正友标定法可知像素坐标系与空间坐标系的关系式为：

式中，(u，v)为像素坐标，(X，Y，Z)为空间坐标，s为非零尺度因子，A为相机内部参数矩阵，R和T为相机外部参数矩阵，其中R为旋转矩阵，T为平移矩阵；

将法兰左、右图像中标记点的像素坐标代入关系式，并展开化简可得坐标转换公式：

式中，相机参数以及像素坐标右上角的l和r，分别表示左、右相机参数以及标记点左、右像素坐标。

5.根据权利要求1所述的基于双目成像的管道法兰内半径视觉测量方法，其特征在于，利用轮廓点位于拟合平面以及三角测量原理，求解法兰内圆轮廓点的空间坐标的公式如下：

式中，(u_l′,v_l′)表示法兰面左图像中法兰内圆的轮廓点的像素坐标，(X′,Y′,Z′)表示轮廓点的空间坐标，a、b、c为平面方程ax+by-z+c＝0的系数。

Images