CN108801175B - 一种高精度空间管路测量系统及方法 - Google Patents

Abstract

本发明公开了一种高精度空间管路测量系统及方法，该测量系统由双目视觉传感器，背景面光源，计算机组成。双目视觉传感器用于拍摄管路图像；背景光源在拍摄时用于增强图像对比度，使图像中管路信息更加明确，避免环境干扰。通过提取管路图像子像素级轮廓，匹配轮廓点对，构建管路空间轴线透视投影模型，可以得到轴线在相机像平面上精确成像位置，利用双目立体视觉技术重构管路轴线，实现高精度管路测量。本发明提供管路测量方法与系统具有精度高、速度快、鲁棒性强、自动化程度高等特点。

Description

一种高精度空间管路测量系统及方法

技术领域

本发明涉及一种高精度空间管路测量系统及方法，属于机器视觉领域，特别涉及空间管路形貌测量领域。

背景技术

管路系统是航空航天领域以及各类工业机电产品的重要组成部分，通常由较为复杂的管路组成。这些管路均由直管经管路机加工制成。尽管每个管路在加工前均有相应CAD模型，但是由于回弹效应和加工中各种扰动，准确控制管路加工质量仍然是一个巨大的挑战。为了确保成功进行无应力装配，需要对加工后的管路重新测量并与其CAD模型进行比对确定是否满足装配需要，因而快速高精度的三维管路测量至关重要。

管路测量方法多种多样，早期测量方式主要为以机械测量仪和三坐标机(CMM)为代表的接触式测量。机械测量仪需要根据已知的管路CAD模型制造模具，测量成本高昂且通用性差。CMM精度很高但是测量过程繁琐，而且探针和夹具与管路的刚性接触会引起管路外形的部分形变。

近年来利用立体视觉技术测量管路空间形貌得到了广泛运用及研究。这类方法主要分为管路表面三维形貌测量及管路轴线测量两种方法。基于表面三维形貌测量的方法往往需要多角度扫描待测管路然后重建表面形貌并进行三维拼接，在获取到管路表面形貌后拟合管路轴线，实现管路测量。这种方法得到的管路轴线测量准确无偏差，但是操作过程繁琐，测量效率很低。

直接测量管路轴线的方法首先利用多目立体视觉系统对待测工件拍摄图像，然后对拍摄到的图像提取图像轮廓中心线作为管路轴线投影参与后续重构过程，得到管路轴线重构结果。这种方法测量简便，只需控制相机拍摄一次即可得到重构结果，测量时间在0.2s以内，自动化程度非常高。然而这种方法由于将管路图像轮廓中心线作为空间轴线在图像平面的投影，这是一种近似模型，因而存在较大误差，特别是针对直径较大的管路。实际上轮廓中心线是摄像机视场范围与管路截面相切所成弦上中点的投影轨迹，而非截面圆圆心投影。

专利102410811B提供了多目立体视觉技术测量管路轴线的方法，该方法将管路图像划分为若干段直管和弯管，然后对多个相机获得的管路图像同时提取管路图像边缘线和图像边缘的中心线，利用图像边缘的中心线重构管路轴线，这种方法存在管路轴线投影位置计算不当的问题，当管路直径较大时，重构误差也比较大；专利CN104315978A提供了管路端面测量方法，该方法是针对于管路端面具体位置的测量方法，是对专利102410811B的进一步补充，虽然可以通过提高端面测量精度的方式提高一部分管路重构精度，但仍没有解决轴线投影位置计算不当的问题，因而本发明针对上述发明中一直未解决的问题，提出了空间弯管透视投影模型，可以准确计算管路轴线在像平面上的投影位置，提高现有立体视觉技术测量管路轴线的精度。

综上所述，基于管路表面测量的方法具有高测量精度但是测量过程复杂，基于管路空间轴线测量的方法自动化程度高测量简便但是存在较大误差，因而现阶段还没有同时满足测量过程简便且精度很高的管路测量方法，其主要难点在于准确的构建管路轴线透视投影模型，精确计算轴线在像平面中的投影位置。

发明内容

本发明技术解决问题：克服现有技术的不足，针对现有基于管路轴线测量的立体视觉测量技术中轴线投影位置近似计算存在偏差导致最终测量误差较大的问题，引入弯管透视投影模型准确计算轴线在像平面上的投影位置，并结合双目立体视觉技术操作简便、自动化程度高的优势，本发明提供一种高精度空间管路测量方法与系统，使其具有使用简便、测量精度高、速度快、鲁棒性强、非接触等特点。

为达到上述目的，本发明的技术方案是这样实现的：

首先构造高精度空间管路测量系统，其硬件结构主要包括：一个双目视觉传感器，背景面光源以及计算机；

双目视觉传感器由一对具有公共视场的工业相机构成，用于拍摄管路图像；

背景光源置于测量系统最下方，在双目视觉传感器拍摄管路时用于增强图像对比度，降低环境干扰，获得清晰管路图像；

计算机负责完成图像采集控制及管路测量过程中的计算任务，包括：管路子像素级边缘提取，管路轴线投影位置计算和管路双目重构任务。

空间管路精确测量方法具体包括以下步骤：

a、首先建立测量系统坐标系，如以双目视觉传感器其中一个相机坐标系为测量系统坐标系；然后在双目视觉传感器视场内摆放靶标，实现相机内参和外参的标定。内参为双目视觉传感器中左右相机各自的焦距，主点，畸变系数等，外参为双目视觉传感器中另一个相机坐标系到测量系统坐标系的旋转矩阵R和平移矢量T。测量过程中，应打开背景光源，将待测管路置于背景光源上并保证待测管路位于双目视觉传感器公共视场范围内，触发双目视觉传感器同时拍照，获得管路图像。

b、对步骤a中拍摄到的图像提取子像素级轮廓。对轮廓上属于管路在空间中同一截面的两个像点P′₁,P′₂进行点对匹配，将管路轮廓按是否处于中心线两侧均匀分成两条点列，同一截面的两个像点分别分布于两条点列中，且可匹配的像点满足条件其中v_h为截面法向量在图像上对应的消影点。

c、建立管路任意截面空间透视投影模型，该截面为管路在空间中任一与轴线切线方向垂直的截面。该在像平面上有惟一虚拟像并与轮廓线相交于两点，即步骤b中已匹配好的点对。利用步骤b中得到的点对并结合管路任意截面的透视投影模型，可以得到管路每一个截面圆圆心在像平面上的精确投影位置。利用管路任意截面空间透视投影模型计算出的轴线在像平面上的投影位置比以管路子像素级轮廓的中心线直接作为轴线在像平面上的投影准确度高，原因是利用截面空间透视投影模型计算轴线投影的结果为截面圆圆心在像平面上的投影，而子像素级轮廓中心线为截面上两切点P₁,P₂之间连线中点的投影，并不是截面圆圆心投影，因而子像素级轮廓中心线是管路轴线投影的近似计算方式，存在一定误差。

d、分别对步骤a中得到的双目视觉传感器拍摄图像同时应用步骤b和步骤c，得到整条管路轴线在双目视觉传感器中两像平面上的精确成像位置，然后采用双目立体视觉重构管路轴线点三维坐标，实现管路高精度测量。

所述步骤c中提到的管路任意截面空间透视投影模型具体如下：

定义某任意平面π，该平面的单位法向量记为n，截面到摄像机光心的垂直距离为d，所有位于截面上的点x_i均满足截面的平面方程。该截面与摄像机视场范围存在两个切点P₁,P₂,这两个切点在截面法向方向的切向量t₁,t₂与平面法向量方向相同，因而切向量t₁,t₂和平面法向量n在图像中对应同一个消影点V_h。求解切向量t₁,t₂在图像中的投影交点即为消影点V_h，从而可以确定截面圆法向方向。

由于切点P₁,P₂位于截面圆边界处，与截面圆圆心P_c满足空间关系||P_c-P₁||＝||P_c-P₂||；同时两个切点和截面圆圆心点同时位于平面π上，满足平面π的方程；从摄像机光心向两个切点引过消影点V_h的切平面T₁,T₂，然后从摄像机光心引过消隐点V_h和截面圆圆心P_c的光平面T_mid,，则光平面T_mid为切平面T₁,T₂的角分面。联立上述三个条件可以将空间中的截面圆圆心点与两个切点联系起来，然后利用两个切点在像平面上的投影点可以直接计算截面圆圆心在像平面中的投影位置。

本发明提供的高精度空间管路测量系统与方法，包括测量前准备阶段和测量阶段。在测量准备阶段，首先需要结合靶标完成双目视觉传感器两个摄像机内参和外参的标定，将两个摄像机坐标系统一在系统坐标系下；在测量阶段，打开背景光源，将待测管路放置于背景光源上方，控制相机连续采集图像，并提取图像中管路子像素级边缘，然后对边缘进行像点点对匹配，对获得的成像点对计算相应空间截面圆圆心投影位置坐标，最后结合双目立体视觉技术对轴线三维重构。

本发明与现有技术相比的优点在于：本发明提供高精度空间管路测量系统与方法同时满足测量过程简便，精度高，速度快的要求，与现有基于轴线重构的立体视觉重构技术相比，引入管路透视投影模型，使测量精度平均提高32％，测量速度可以达到0.2s。发明中所采用的立体视觉技术，具有非接触，高鲁棒性，高效，高自动化的优势；背景光源补光保证了管路轮廓信息提取的准确性；构建管路透视投影模型，对轴线投影位置精确计算，解决了现有基于轴线重构的视觉测量方式存在较大误差的问题。

附图说明

图1为本发明高精度管路测量系统与方法的总体实现流程图；

图2为管路测量系统示意图；

图3为点对匹配示意图；

图4为子像素级轮廓提取结果；

图5为点对匹配结果；

图6为管路任意截面透视投影模型示意图；

图7为待测管路重构效果示意图。

具体实施方式

以下结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明高精度空间管路测量系统与方法的总体实现流程图，具体包括以下步骤：

步骤11：首先标定双目立体视觉系统，将待测管路置于背景光源上，然后拍摄管路图像。

按图2所示空间管路测量系统示意图搭建系统硬件模型，对图2进行详细说明，给出组成和相互连接关系，位置关系等。测量前需要完成一定准备工作：首先确定测量系统坐标系，如以相机1坐标系为测量系统坐标系；然后在相机视场内多次摆放靶标，实现相机内参和外参的标定，内参为两相机各自的焦距，主点，畸变系数等参数，外参为相机2坐标系到相机1坐标系的旋转矩阵R和平移矢量T。

本系统实际标定结果为：

测量过程中，打开背景光源，将待测管路置于背景光源上并保证待测管路位于双目视觉传感器公共视场范围内，触发相机同时拍照，获得管路图像。

步骤12：对双目视觉传感器拍摄到的图像提取子像素级轮廓，对轮廓上属于管路在空间上同一截面的两个像点进行点对匹配。

对步骤11中获得的图像分别提取子像素级轮廓，提取方法为曲面拟合法，提取轮廓后不仅可以获得轮廓点具体坐标，还可以得到每一个轮廓曲线在每一个轮廓点处的法相量和切向量，轮廓提取结果如图4所示，图4中虚线部分为子像素级轮廓，小箭头为每个像素点的法向量。图3以某一个截面π为例展示了管路任意截面在像平面上的投影与管路轮廓线相交于两点的过程，图中可以看到属于同一个截面的两个成像点将分别位于轴线两侧边缘上。首先将轮廓按轴线对称地分成两条点列，轮廓上的点在轮廓拐角处和端面处将出现较大的曲率变化，按轮廓曲率变化趋势可以将轮廓区分成两条点列参与后续像点匹配；然后在两条点列同一侧端点处各取一点作为像点匹配的初始点对，开始点对匹配。轮廓上属于管路在空间中同一截面的两个像点P′₁,P′₂满足条件其中v_h为截面法向量在图像上对应的消影点。从初始点对开始固定其中一点，另一点按照函数最小原则依次搜索该点周围的点，找到满足条件的点后，存储记录当前匹配好的点对。然后将该点对旁边最近的两点作为下次迭代的初始点，继续沿轮廓点列搜索至搜寻完全部点列，点对匹配结果如图5所示，图5中的小圆点为子像素级边缘点，其中一条点链上的每一点在对侧点链法向方向附近均有惟一点与之对应。

步骤13：建立管路任意截面空间透视投影模型，利用该截面圆对应的轮廓投影点点对计算截面圆圆心在像平面上的精确投影位置。

得到步骤12中已匹配好的点对后，根据管路任意截面透视投影模型利用投影点对计算弯管截面圆中心在像平面上的精确投影位置。图6展示了管路任意截面空间透视投影模型，其中π为管路上某一与轴线切线方向垂直的截面，n为截面法向量，到摄像机光心的垂直距离为d；平面T₁,T₂过摄像机光心且与管路表面相切于曲线c₁,c₃，与截面π相切于点P₁,P₂；t₁为曲线c₁在点P₁处的切向量，t₂为曲线c₂在点P₂处的切向量；P_c为截面π中心，P₃为弦P₁P₂中点；像平面上P′₁,P′₂为切点P₁,P₂的投影点，P′₃,P′_c分别对应P₃和P_c的投影点，t′₁,t′₁分别对应切向量t₁,t₂的投影；V_h为截面法向量n在像平面上对应的消影点。截面π在像平面上存在一个虚拟的像并与轮廓线相交于两点，即步骤12中的点对。由于截面法向量方向与相机光心到消影点间的连线方向相同，利用法向量n在像平面上对应的消影点V_h可间接求解截面法向。切点P₁,P₂在截面法向方向的切向量t₁,t₂与平面法向量方向相同，因而切向量t₁,t₂和平面法向量n在图像中对应同一个消影点V_h。求解切向量t₁,t₂在图像中的投影交点即为消影点V_h，从而确定截面圆法向方向n。

得到消影点V_h后，在空间中引三个平面，分别为摄像机光心向、消影点V_h、和两个切点所形成的切平面T₁,T₂；摄像机光心、消隐点V_h和截面圆圆心P_c所形成的光平面T_mid，则光平面T_mid为切平面T₁,T₂的角分面。由于切点P₁,P₂位于截面圆边界处，与截面圆圆心P_c满足空间关系||P_c-P₁||＝||P_c-P₂||；同时两个切点和截面圆圆心点同时位于平面π上，满足平面π的方程。根据角分面关系及点在圆上的空间几何关系可以将空间中的截面圆圆心点与两个切点联系起来，然后利用步骤12中获得的匹配点对直接计算截面圆圆心在像平面上的投影，得到整条轴线在某一相机像平面上的投影位置。

步骤14：获得管路空间轴线在双目视觉传感器中两像平面上的精确投影位置后，采用双目立体视觉技术重构管路轴线点三维坐标，实现管路高精度测量。

对步骤11中得到的双目视觉传感器拍摄图像分别应用步骤12和步骤13，得到管路轴线分别在双目视觉传感器中两像平面上的精确成像位置，然后对两像平面上获得的轴线投影位置极线匹配，并对匹配点重构空间三维坐标，最终实现管路轴线高精度测量，对某一有两个弯角结构的管路重构，重构结果如图7所示，重构结果与待测工件三维形貌上完全一致，经拟合后测量角度偏差为0.020°，弯管半径测量偏差为0.022mm。

综上所述，本发明提供了高精度空间管路测量系统与方法，包括：相机内外参数的标定、子像素级轮廓提取，成像点点对匹配，管路截面圆透视投影模型建立及管路轴线投影位置精确计算方法，管路双目立体重构方法。图2所示为采用本发明制作的管路测量示意图，其中，工业相机用于图像采集；计算机用于控制相机采图，轮廓提取，点对匹配，轴线投影位置精确计算和双目立体重构；背景光源用于相机采图过程的补光。该样机测量结果与gom扫描仪测量结果相当，对某具有两个弯角结构的管路重构，两个角度的重构偏差为0.020°，两个弯角半径的测量偏差为0.022mm，相比于现有基于管路轴线重构的立体视觉重构方法，所述方法可使测量精度平均提高32％。实验结果表明本发明具有灵活性强、速度快、精度高等优点。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。

Claims (6)

1.一种高精度空间管路测量系统，其特征在于包括：双目视觉传感器和计算机；

双目视觉传感器由两个具有公共视场的工业相机组成，该双目相机构成立体视觉测量系统，用于拍摄管路双目图像；

计算机负责完成管路双目图像采集控制及管路测量过程中的计算任务，管路测量算法包括：管路子像素级边缘提取、基于管路任意截面空间透视投影模型实现管路轴线投影位置的精确计算和空间管路高精度双目重构。

2.根据权利要求1所述的高精度空间管路测量系统，其特征在于：所述计算机具体实现过程如下：

(1)测量前利用靶标对双目视觉传感器标定，获得双目视觉传感器内部参数和外部参数；

(2)为了获得具有清晰边缘信息的管路图像，可采用背景面光源等手段提高图像对比度、降低环境干扰，图像采集过程中，还需要保证待测管路位于双目视觉传感器公共视场范围内；

(3)拍摄管路图像时，首先调整曝光时间，使管路成像较为清晰；然后控制计算机触发双目视觉传感器同时拍照，获得待测管路在双目视觉传感器中所拍摄到的图像；

(4)利用计算机对图像进行处理，首先对两张图像分别提取子像素级轮廓，然后分别利用每张图像上的子像素级轮廓，同时结合管路任意截面空间透视投影模型计算管路轴线在图像上的精确投影位置，最后将两图像上的投影位置立体匹配，重构管路轴线点的空间坐标。

3.一种高精度空间管路测量方法，其特征在于，包括以下步骤：

a、首先建立测量坐标系，以双目视觉传感器中一个相机的坐标系为测量坐标系；然后在双目视觉传感器视场内摆放靶标，实现双目视觉传感器内参和外参的标定；内参为双目视觉传感器中左右相机各自的焦距、主点和畸变系数，外参为双目视觉传感器中另一个相机坐标系到测量坐标系的旋转矩阵R和平移矢量T；测量过程中，触发双目视觉传感器同时拍照，获得管路图像；

b、对步骤a中得到的管路图像提取子像素级轮廓，对子像素级轮廓上属于管路在空间中同一截面的两个像点P′₁，P′₂进行点对匹配，将子像素级轮廓上的点按是否处于子像素级轮廓的中心线两侧均匀分成两条点列，同一截面的两个像点分别分布于两条点列中，匹配的像点满足条件其中v_h为截面法向量在图像上对应的消影点，O为摄像机光心；

c、建立管路任意截面空间透视投影模型，所述截面为管路上任一与轴线切线方向垂直的截面，所述截面在像平面上有唯一确定的虚拟像并与轮廓线相交于两点，即步骤b中已匹配好的点对；利用步骤b中得到的点对，并结合管路任意截面的透视投影模型，得到管路每一个截面圆圆心在像平面上的投影位置，即管路轴线在像平面上的投影位置；

d、对步骤a中得到的双目视觉传感器拍摄图像分别应用步骤b和步骤c，得到整条管路轴线分别在双目视觉传感器中的成像位置，然后采用双目立体视觉技术重构管路轴线点三维坐标，实现管路高精度测量。

4.根据权利要求3所述的高精度空间管路测量方法，其特征在于：所述步骤b，所述子像素级轮廓提取方式包括二阶微分算子法或曲面拟合法方法。

5.根据权利要求3所述的高精度空间管路测量方法，其特征在于：所述步骤c，采用的管路任意截面空间透视投影模型是针对截面圆圆心点，两个投影边界点建模，最终由两个边界投影点推知截面圆圆心在像平面的精确投影位置坐标，具体实现过程如下：

(1)首先根据步骤b将子像素级轮廓点上属于同一截面的投影点对匹配；

(2)将匹配好的点对带入步骤c中所述的截面空间透视投影模型，然后依次利用每一对点对计算相应的截面圆圆心投影，得到整条管路轴线在像平面上的投影位置。

6.根据权利要求3所述的高精度空间管路测量方法，其特征在于：所述步骤d采用的双目立体视觉技术具体要求为：首先对步骤c所获轴线在像平面上的投影位置进行极线匹配，得到属于空间轴线上同一点在双目视觉传感器中左右两像平面上的像点，然后对匹配好的像点重构对应轴线点在空间中的三维坐标；或可利用视差重构的方法对匹配点进行三维重构，具体过程如下：

(1)分别对双目视觉传感器中左右两相机拍摄得到的图像同时应用步骤b和步骤c，获得双目视觉传感器两像平面上空间轴线的投影位置，然后对两像平面上的投影位置点进行极线匹配，得到空间轴线上同一点在双目视觉传感器中两像平面上的对应成像点；

(2)利用双目立体视觉三维重构模型将(1)中的双目视觉传感器两像平面上的对应成像点重构空间点三维坐标，得到轴线点重构结果。