CN107218928B - 一种复杂多管路系统检测方法 - Google Patents

Abstract

一种复杂多管路系统检测方法，以粘贴在待测管路系统中的附件的表面的标志点作为工业摄影测量解算的基础，用于后期解算数字相机内外参数；以放置在管路系统边缘或其它紧邻管路系统中的标尺用于相机的像素尺寸与物理坐标系下的实际长度尺寸进行对应求解。本发明使用光学测量手段，通过图像处理进行二维管路识别，基于工业近景摄影测量理论，进行三维管路的重建。由于使用图像进行数据处理，并且工业摄影测量理论的三维重建精度很高，对于复杂管路仅需拍摄不同角度下的图像即可，操作简便，保证了管路检测的精度。

Description

一种复杂多管路系统检测方法

技术领域

本发明涉及一种复杂多管路系统检测方法。

背景技术

管路系统是工业系统的重要组成部分，在航空航天发动机等领域均有大量的使用。目前的检测方法主要是针对单管内壁检测和单管外形检测，对于多管路组成的复杂多管路系统主要依靠三坐标或人工进行检测，检测效率低，无法满足当今快速高效的检测要求，且三坐标检测方式无法对大尺寸的管路系统进行检测。

现有的弯管检测方法主要为单根弯管的检测，一种用于基桩检测声波透射法的声测管弯曲现象识别方法(CN106501368A)使用超声波的方式进行弯管识别；一种弯管角度检测尺(CN206095072U)发明了一种弯管角度的检测尺。但对于多根弯管的复杂多管路，由于超声波的反射信号存在混叠现象，并且超声扫描需要扫描设备随管路移动，扫描效率偏低。接触式的检测尺等设备为人工操作，操作复杂并难以避免人工误差，无法在复杂多管路系统中使用。现有的进口设备AICON可高效的进行单管的外形检测，但是仅能进行单根弯管的检测，无法获得完整的复杂多管路检测，并且价格高昂，严重制约了国内管路加工制造的发展。航空航天发动机等领域的发展迫切需要一种能够三维重建复杂多管路系统的检测方法，从而高效、准确的检测复杂多管路系统中多管路的空间三维尺寸及管路之间间距等配合参数。

发明内容

为克服现有技术中存在的仅能进行单根弯管的检测，无法获得完整的复杂多管路检测的不足，本发明提出了一种复杂多管路系统检测方法。

本发明发的具体过程是：

步骤1，前期准备：

所述的前期准备包括粘贴标志点和放置标尺。

在待测管路系统中的附件的表面，根据被测管路系统大小以及测量要求粘贴标志点。所用标志点包括编码标志点和非编码标志点；并且每幅图像中编码标志点的总数不少于5个，相邻的两个图像中包含的共同编码标志点的数量大于3个；

在管路系统边缘或其它紧邻管路系统但不遮挡的部位放置标尺，用于相机的像素尺寸与物理坐标系下的实际长度尺寸进行对应求解。所述标尺与被测管路系统的尺寸为1：1。

所述的附件是管路系统中除管道以外的其他部件，包括阀门、泵、连接件和固定件。所述的图像是照相机拍照的待测管路系统表面的图片。

粘贴非编码标志点时应满足从每个照相方向的拍照都能看到8个以上该非编码标志点。

步骤2，对被测管路系统进行拍摄：

按不同角度环绕该管路系统进行拍照。所拍摄的每张照片中包含至少8个非编码标志点；须使每个编码标志点至少在8张照片中出现；标尺被整体拍到的次数在三次以上，并且至少有一幅图像中拍摄了完整的标尺与被测量的管路系统。

拍摄中，若被测管路系统为大型管路系统不能在一张相片中显示时，应拼接出完整相片。

步骤3，图像识别处理和重建标志点：

使用步骤2所采集到的图像数据，通过小波包降噪算法提取出图像数据中的高低频信号，将高频噪声信号进行剔除，即设定高频信号能量为零；重新进行小波包还原，从而剔除了采集图像中的高频噪声信号，进行图像降噪预处理。二值化处理后，在二维图像x,y方向求一阶导数，组合为4个方向的导数。所述4个方向的导数达到最大值的点即为二维图像边缘点。通过轮廓检测、椭圆匹配和椭圆参数拟合，计算所述各标志点中心在两个摄像机图像上的图像坐标，基于是否存在外围圆环区分编码标志点和非编码标志点，根据相机模型和共线方程，得到对应的误差方程：

V＝AX₁+BX₂+CX₃-L (1)

其中，V为像点坐标残差，X₁,X₂,X₃分别为内方位参数、外方位参数和物方点坐标的改正数，A,B,C分别为内方位参数、外方位参数和物方点坐标对应的偏导数矩阵，L为观测值，即图像点坐标；

通过多参数非线性优化，所有的摄像机内、外参数以及物体点三维坐标被不断地被迭代计算直到达到预先设定的精度要求，当迭代收敛后，既得到标志点的重建结果和相机的内外参数。

步骤4，管路系统三维重建。

首先，基于步骤3中的二维图像边缘点，判断每条边缘是否存在对称边缘，基于邻域最近边缘原则，提取管路真实边缘曲线，将非对称边缘作为干扰项进行剔除；通过对称边缘计算管路完整轴线，在多幅图像中，存在射影几何线对应关系，即每一幅图像的每一个像素在其他图像中存在唯一的投影直线，使用多幅图像的投影直线交点确定像素在其他图像中的对应位置，对应关系为：m'^TFm＝0，其中，F＝K^-1[t]RK，[t]为平移矩阵的反对称矩阵，m'^T和m分别为两幅图像中的共同编码标志点的二维图像坐标，F为两张图像间的相机外参数的基础矩阵，

将所述二维图像坐标带入三维重建方程：

V＝A₁X₁+A₂X₂+A₃X₃-L， (2)

式中,V为像点坐标残差，X₁,X₂,X₃为内方位参数、外方位参数和物方点坐标的改正数，

将同一管路在不同图像中的轴线通过公式(2)进行三维重建，获得一根完整的管路三维轴线参数；基于管路边缘离散点进行三维圆柱拟合，使用最小二乘法解方程：

获得一根完整管路的三维参数；所述三维参数包括管路轴线参数及不同位置的直径；重复上述步骤将所有管路进行重建，最终获得完整的管路系统的三维参数。

公式中，R为圆柱半径，(x₀,y₀,z₀)为弯管轴线上一点，(a，b，c)为弯管轴线的轴线向量。

至此完成了复杂多管路系统的检测。

本发明提出了一种易于操作、测量准确、快速高效的复杂多管路系统检测方法。

本发明使用光学测量手段，通过图像处理进行二维管路识别，基于工业近景摄影测量理论，进行三维管路的重建。由于使用图像进行数据处理，对于复杂管路仅需拍摄不同角度下的图像即可，操作简便。工业摄影测量理论的三维重建精度很高，保证了管路检测的精度。

与现有技术相比具有以下优点：

(1)由于本方法使用光学测量手段，对于复杂多管路仅需拍摄不同角度下的图像即可，大大提高了现有多管路系统人工手检的现状，测量效率与精度大幅度提升。

(2)由于本方法通过图像处理进行二维管路识别，基于工业近景摄影测量理论，进行三维管路的重建，所以自动化程度高，适合多管路制造、装配及维修时的检测要求。

(3)由于本方法系统需求简单，数据处理软件自动进行分析，测量为多管路系统整体三维数据，相对现有的单管路检测等方式所获得的单根数据结果更为丰富，并可以对多根管路之间的相对位置关系进行判断分析，使管路检测从单管路的制造检测，拓展为了多管路装配及维修检测，测量局限性小，在工业领域尤为适用，并为航空、航天等国防工业领域提供了可靠的多管路系统检测测量依据。

(4)由于多管路系统复杂，本方法基于工业近景摄影测量，实现了对于复杂多管路系统的测量，可根据实际的管路形状及尺寸进行图像拍摄，使检测不在受限于人工，对于高度较高的多管路系统，也仅需拍摄图像即可，不再需要工人不断攀爬以进行检测。

(5)由于本方法使用工业摄影测量的方法进行复杂多管路系统的重建，所以测量精度高，精度可以达到10um/4m。

(6)由于本方法使用的是光学扫描测量的方式，所以是一种非接触的测量方法。

附图说明

图1是本发明的示意图。

图2是本发明的流程图。

具体实施方式

本实施例是一种复杂多管路系统的检测方法，包括下述步骤：

第一步：前期准备。

所述的前期准备包括粘贴标志点和放置标尺。

在待测管路系统中的附件的表面，按照摄影测量的原理要求，根据被测管路系统大小以及测量要求粘贴标志点；所述的附件是管路系统中除管道意外的其他部件，包括阀门、泵、连接件和固定件。所用标志点包括编码标志点和非编码标志点，并且每幅图像中编码标志点的总数不少于5个，相邻的两个图像中包含的共同编码标志点的数量大于3个；所述的图像是照相机拍照的待测管路系统表面的图片。本实施例中,所采用的编码标志点为环形编码标志点。

所述的标志点作为工业摄影测量解算的基础，用于后期解算数字相机内外参数。

粘贴标志点时应保证任意标志点不遮挡管路边缘，有利于得到物体表面更多的信息。标志点作为工业摄影测量解算的基础，用于后期解算数字相机内外参数。在管路系统边缘或其它紧邻管路系统但不遮挡的部位放置标尺，用于相机的像素尺寸与物理坐标系下的实际长度尺寸进行对应求解。

所述标志点的粘贴要求如下：

标志点作为后期相机内外参数解算的依据，应紧密粘贴在被测区域，使其在检测过程中不会发生脱落，粘贴时切勿折叠或弄脏标志点；

粘贴非编码标志点时应满足从每个照相方向的拍照都能看到8个以上该非编码标志点。

第二步：

对被测管路系统进行拍摄。根据管路系统形状，按不同角度环绕该管路系统进行拍照，按被测管路系统大小不同，拍摄30～100张不同角度的照片；拍摄所获得的照片用于后期的标志点重建。本实施例中，拍摄角度分别为30°,45°,60°,75°

对管路系统进行拍摄具体操作如下：

(a)启动相机，相机从不同角度和距离同时采集被测管路系统图像信息，然后计算所粘贴标志点的图像坐标；

(b)采用前方交互、后方交会和捆绑调整算法解算不同标志点在各幅图像中的投影矩阵，根据求得的投影矩阵求解摄像机内外参数，从而得到相机内参数及各拍摄位置的外参数；

(c)利用光束平差法对相机内外参数进行迭代优化，得到精确的摄像机内外参数并将结果保存。

对管路系统进行拍摄要求如下：

标尺和所有标志点不要遮盖管路系统的管路边缘；

拍摄时相机使用黑白模式，感光度为200，拍摄时保持稳定，保证照片的清晰度；

拍摄时相机应使用自动对焦模式，闪光等处于打开状态；保持一定的焦距，在拍摄过程中不要调焦距；

保证每张照片包含至少8个非编码标志点；

保证每个编码标志点至少在8张照片中出现；

标尺被整体拍到的次数在三次以上。

管路系统的大小与标尺是1：1的，并且标尺与被测量的管路系统至少在一张图片中被完整拍摄于一幅图像之中，这样会在很多相关联的图片中有很多相同的非编码点，使得测量结果精度非常高，并且自动算出非编码点。

如果测量一个不能在一张相片中显示的大型管路系统时，采用拼接的方法。

第三步：

图像识别处理和重建标志点。使用第二步所采集到的图像数据，进行小波包降噪算法，提取出图像数据中的高低频信号，将高频噪声信号进行剔除，即设定高频信号能量为零，然后重新进行小波包还原，从而剔除了采集图像中的高频噪声信号，进行图像降噪预处理。二值化处理后，在二维图像x,y方向求一阶导数，然后组合为4个方向的导数。这些方向的导数达到最大值的点即为二维图像边缘点。通过轮廓检测、椭圆匹配和椭圆参数拟合，计算所述各标志点中心在两个摄像机图像上的图像坐标，基于是否存在外围圆环区分编码标志点和非编码标志点，根据相机模型和共线方程，得到对应的误差方程：

V＝AX₁+BX₂+CX₃-L (2)

其中，V为像点坐标残差，X₁,X₂,X₃分别为内方位参数、外方位参数和物方点坐标的改正数，A,B,C分别为内方位参数、外方位参数和物方点坐标对应的偏导数矩阵，L为观测值，也就是图像点坐标；

在误差方程式(1)中，如果以图像坐标作为观测值，把摄像机内方位参数、外方位参数和物方点坐标都当作未知数来求解，该过程称之为光束平差。如果已知内方位参数、外方位参数求物方点坐标，该过程称之为前方交会，对应的误差方程简化为：V＝CX₃-L；同样，如果已知物方点坐标和内方位参数求外方位参数，该过程称之为后方交会，对应的误差方程简化为：V＝BX₂-L，基于摄影测量的摄像机标定过程主要包括空间后方交会、空间前方交会和捆绑调整等算法，其中空间后方交会和空间前方交负责初值计算，捆绑调整负责最终优化。

通过多参数非线性优化，所有的摄像机内、外参数以及物体点三维坐标被不断地被迭代计算直到达到预先设定的精度要求，当迭代收敛后，既能够得到标志点的重建结果和相机的内外参数。

重建标志点要求如下：

标志点均重建成功。

第四步：

管路系统三维重建。首先，基于步骤3中的二维图像边缘点，判断每条边缘是否存在对称边缘，基于邻域最近边缘原则，提取管路真实边缘曲线，将非对称边缘作为干扰项进行剔除；通过对称边缘计算管路完整轴线，在多幅图像中，存在射影几何线对应关系，即每一幅图像的每一个像素在其他图像中存在唯一的投影直线，使用多幅图像的投影直线交点确定像素在其他图像中的对应位置，对应关系为：m'^TFm＝0，其中，F＝K^-1[t]RK，[t]为平移矩阵的反对称矩阵，m'^T和m分别为两幅图像中的共同编码标志点的二维图像坐标，F为两张图像间的相机外参数的基础矩阵，

将所述二维图像坐标带入三维重建方程：

V＝A₁X₁+A₂X₂+A₃X₃-L， (2)

式中，V为像点坐标残差，X₁,X₂,X₃为内方位参数、外方位参数和物方点坐标的改正数。

将同一管路在不同图像中的轴线通过公式(2)进行三维重建，获得一根完整的管路三维轴线参数；基于管路边缘离散点进行三维圆柱拟合，使用最小二乘法解方程：

获得一根完整管路的三维参数；所述三维参数包括管路轴线参数及不同位置的直径；重复上述步骤将所有管路进行重建，最终获得完整的管路系统的三维参数。

公式中，R为圆柱半径，(x₀,y₀,z₀)为弯管轴线上一点，(a，b，c)为弯管轴线的轴线向量。

步骤3和4所述管路系统三维重建的具体程序如下：

(a)图像预处理，对输入的图像进行降噪、二值化处理；

(b)在二值化图像中搜索边缘特征，基于管路边缘对称，提取实际管路边缘；

(c)基于直线拟合算法，提取管路初始位置，通过外延算法，提取管路完整轴线，将同一管路在不同图像中的轴线基于外极线交互，进行三维重建，获得一根完整的管路三维轴线参数；

(d)基于多相机投影矩阵和离散点圆柱重建算法，根据管路边缘离散点坐标重建管路三维圆柱，获得一根完整管路的三维参数；

(e)重复(c)、(d)，直至所有管路均重建完成。

管路系统重建要求：

管路轴线提取成功；

管路直径解算成功；

管路系统所有管路求解成功。

至此，完成了复杂多管路系统的检测。

Claims (5)

1.一种复杂多管路系统检测方法，其特征在于，具体过程是：

步骤1，前期准备：

所述的前期准备包括粘贴标志点和放置标尺；

步骤2，对被测管路系统进行拍摄：

按不同角度环绕该管路系统进行拍照；所拍摄的每张照片中包含至少8个非编码标志点；须使每个编码标志点至少在8张照片中出现；标尺被整体拍到的次数在三次以上，并且至少有一幅图像中拍摄了完整的标尺与被测量的管路系统；

步骤3，图像识别处理和重建标志点：

使用步骤2所采集到的图像数据，通过小波包降噪算法提取出图像数据中的高低频信号，将高频噪声信号进行剔除，即设定高频信号能量为零；重新进行小波包还原，从而剔除了采集图像中的高频噪声信号，进行图像降噪预处理；二值化处理后，在二维图像x,y方向求一阶导数，组合为4个方向的导数；所述4个方向的导数达到最大值的点即为二维图像边缘点；通过轮廓检测、椭圆匹配和椭圆参数拟合，计算所述各标志点中心在两个摄像机图像上的图像坐标，基于是否存在外围圆环区分编码标志点和非编码标志点，根据相机模型和共线方程，得到对应的误差方程：

V＝AX₁+BX₂+CX₃-L (1)

其中，V为像点坐标残差，X₁,X₂,X₃分别为内方位参数、外方位参数和物方点坐标的改正数，A,B,C分别为内方位参数、外方位参数和物方点坐标对应的偏导数矩阵，L为观测值，即图像点坐标；

通过多参数非线性优化，所有的摄像机内、外参数以及物体点三维坐标被不断地被迭代计算直到达到预先设定的精度要求，当迭代收敛后，既得到标志点的重建结果和相机的内外参数；

步骤4，管路系统三维重建；

首先，基于步骤3中的二维图像边缘点，判断每条边缘是否存在对称边缘，基于邻域最近边缘原则，提取管路真实边缘曲线，将非对称边缘作为干扰项进行剔除；通过对称边缘计算管路完整轴线，在多幅图像中，存在射影几何线对应关系，即每一幅图像的每一个像素在其他图像中存在唯一的投影直线，使用多幅图像的投影直线交点确定像素在其他图像中的对应位置，对应关系为：m'^TFm＝0，其中，F＝K^-1[t]RK，[t]为平移矩阵的反对称矩阵，m'^T和m分别为两幅图像中的共同编码标志点的二维图像坐标，F为两张图像间的相机外参数的基础矩阵，

将所述二维图像坐标带入三维重建方程：

V＝A₁X₁+A₂X₂+A₃X₃-L， (2)

式中,V为像点坐标残差，X₁,X₂,X₃为内方位参数、外方位参数和物方点坐标的改正数，

将同一管路在不同图像中的轴线通过公式(2)进行三维重建，获得一根完整的管路三维轴线参数；基于管路边缘离散点进行三维圆柱拟合，使用最小二乘法解方程：

获得一根完整管路的三维参数；所述三维参数包括管路轴线参数及不同位置的直径；重复上述步骤将所有管路进行重建，最终获得完整的管路系统的三维参数；

公式中，R为圆柱半径，(x₀,y₀,z₀)为弯管轴线上一点，(a，b，c)为弯管轴线的轴线向量；

至此完成了复杂多管路系统的检测。

2.如权利要求1所述复杂多管路系统检测方法，其特征在于，步骤1所述的粘贴标志点是在在待测管路系统中的附件的表面，根据被测管路系统大小以及测量要求粘贴标志点；所用标志点包括编码标志点和非编码标志点；并且每幅图像中编码标志点的总数不少于5个，相邻的两个图像中包含的共同编码标志点的数量大于3个；

所述的放置标尺是在管路系统边缘或其它紧邻管路系统但不遮挡的部位放置标尺，用于相机的像素尺寸与物理坐标系下的实际长度尺寸进行对应求解；所述标尺与被测管路系统的尺寸为1：1。

3.如权利要求2所述复杂多管路系统检测方法，其特征在于，所述的附件是管路系统中除管道以外的其他部件，包括阀门、泵、连接件和固定件；所述的图像是照相机拍照的待测管路系统表面的图片。

4.如权利要求1所述复杂多管路系统检测方法，其特征在于，粘贴非编码标志点时应满足从每个照相方向的拍照都能看到8个以上该非编码标志点。

5.如权利要求1所述复杂多管路系统检测方法，其特征在于，拍摄中，若被测管路系统为大型管路系统不能在一张相片中显示时，应拼接出完整相片。