CN102135236B - 双目视觉管道内壁自动无损检测方法 - Google Patents

Abstract

一种双目视觉管道内壁自动无损检测方法，一该方法步骤如下：步骤一双目CCD摄像机的标定；步骤二设置测量参数；步骤三实时测量；步骤四数据管理。该测量方法对管道内壁不造成损伤，自动化程度高，使用简便灵活，测量精度高；测量装置重量轻，体积小，使用方便。

Description

双目视觉管道内壁自动无损检测方法

技术领域

本发明涉及一种双目视觉管道内壁自动无损检测方法，通过双目CCD摄像机对管道内壁实施自动质量检测，它实现了对管道内壁可见伤痕或缺陷的无人工干预的无损、实时和高精度测量。属于计算机视觉技术领域。

背景技术

无损检测技术是保证产品质量和设备安全运行的一门共性技术，已被广泛应用于现代工业的各个领域。它是在当前物理学、电子学、电子计算机技术、信息处理技术、材料科学等学科成果基础上发展起来的一门综合性技术，是现代工业质量保证体系中的主要技术之一。

管道工业是关系到国计民生的重要领域。无论是安装于建筑物内部的各类如通风、除尘、排水、暖气管道，或是工业上的石油、天然气、电力、冶金、轻工等远距离输送管道，都存在对管道内壁的无损检测和探伤需求。由于管道工业的特殊需求，首先，管道内部的检测方法应当不损害管道本身；其次，由于管道通常数量庞大，检测方法应当尽可能减少检测时间，提高检测效率。现有的管道检测方法很多，例如超声检测、压力试验和气密性试验检测、涡流检测、激光检测等。对于日常生活中常用的和距离较短的管道，例如供水管，废水管、电缆管道等，以上所列方法通常是不适合使用的，因为这些方法设备昂贵，使用复杂，维护起来也比较困难。

计算机视觉是通过分析图像来获取对客观世界的定位、测量、认知的一个研究领域，随着技术的进步和发展，近些年逐渐应用到工程中的某些领域。对现有文献检索发现：

1.中国专利申请号，200610166837.9，名称：空间曲线型长距离微细管道内表面形貌测量检测方法，该专利利用二维位置传感器接收从激光器出射的光束在管壁上形成的光斑，根据二维位置传感器产生的电流信号以及测量仪的结构参数，计算出光斑点在局部三维坐标系中的位置。微型马达带动扫描镜旋转一周，得到管道内壁一个界面上所有采样点的位置。该专利适用于内径9mm-11mm的微细管道内壁的缺陷检测和三维测量，不适用于工业上和生活中的管道内壁测量和检测。

2.中国专利申请号：02137659.X，空间曲线型微细管道内表面形貌检测器，该专利提供的检测器具有光环发生器和CCD摄像机，使用CCD摄像机接收光环发生器发射到管壁上的光环，并根据光环在平面图像中的尺寸求解内壁的三维重构图。该方法同样用于直径9mm-12mm的微细管道表面检测，而不适于工业上和生活中的管道内壁检测；该专利也属于计算机视觉测量的范畴，但是视觉测量设备除了CCD摄像机以外，还需使用辅助光源才能完成测量。

3.中国专利申请号：02825895.9，名称：使用图像模式识别的卷曲管道检测系统。该专利包括：一计算机系统，被配置为执行模式识别软件；以及多个成像设备，被配置为当管道通过成像设备时，捕捉管道的视频图像。该设备要求使连续长度的卷曲管道在多个成像设备的前面通过，对于工业和生活管道而言，管道是不能移动的，因此检测设备必须能够自行在管道内部运动。该设备的多个成像设备由三个CCD照相机组成，对于计算机视觉测量系统而言，两个CCD照相机即可具备对待测表面进行缺陷检测和三维测量的能力，在管道内壁检测应用中，减少照相机的数量能够提高测量设备的集成度和减轻测量设备重量，从而能够提高检测效率。

发明内容

本发明的目的在于提供一种双目视觉管道内壁自动无损检测方法，通过双目摄像机对管道内壁实施自动质量检测，它能够实现对生活和工业上不超过十米的短距离管道内壁划痕、突起、凹陷等可见伤痕的无人工干预的无损、实时和高精度测量。本发明可以识别在图像中与管壁外观区别清晰的缺陷，可以计算出管道内壁各个缺陷的深度极值和该位置的坐标。本发明实现了对管道内壁的无损、自动测量，测量速度较快，适用于对各类短距离管道内壁的测量。

本发明的方法是基于一种双目视觉管道内壁自动无损检测装置，该装置由双目CCD摄像机、采集供电系统和便携式计算机构成：双目CCD摄像机由两套独立的CCD摄像机组成，通过视频连接线缆和电源线连接到采集供电系统；采集供电系统内部装有电源及视频采集卡，电源给双目CCD摄像机和视频采集卡供电，视频采集卡实时接收双目CCD摄像机采集到的图像，并通过USB端口连接到便携式计算机上，将采集到的图像传送给便携式计算机中的图像处理软件；便携式计算机上安装有图像处理软件，图像处理软件的功能是通过输入的双目图像，使用计算机视觉技术，识别管壁内部的缺陷，并测量缺陷深度的极值。

工作流程是：首先对双目CCD摄像机进行标定，成功标定后图像处理软件将自动保存标定数据供实时测量使用；拍摄的图像经视频采集卡传入计算机，并由图像处理软件按照编号存放；软件系统对输入的双目图像，首先进行特征的提取，识别管道内壁壁上的缺陷，然后将双目图像的特征融合，即将双目图像中的特征点一一对应，最后根据重建算法计算特征点的三维坐标，从而进一步计算出缺陷的深度。

1.双目CCD摄像机

双目CCD摄像机由两套独立的CCD摄像机和摄像机壳体组成，每套摄像机由光学镜头和CCD电荷耦合器件和CCD芯片电路组成，两套CCD摄像机分别安装于摄像机壳体内部。双目CCD摄像机通过两条视频连接线与采集供电系统内的视频采集卡连接。采集供电系统通过两条电源线为两套CCD摄像机分别供电，以消除电磁干扰对视频质量的影响。两套CCD摄像机的光轴平行，并都与被测管道主轴垂直，方便确定摄像机系统的相对坐标系。两套CCD摄像机并列安装在被测管道主轴方向上，两套CCD摄像机的CCD面积、焦距和视场相同，如图2所示，假设单套CCD摄像机在管道内壁的成像宽度(在管道主轴方向上的长度)为w，双目CCD摄像机基线距离(成像中心在管道主轴方向上的距离)为d，则双目CCD摄像机共同视场范围在管道主轴方向上的实际长度l＝w-d。为满足正常测量要求，共同视场范围l应当满足l≥0.7w，即d≤0.3w，如图2所示。

2.采集供电系统

采集供电系统内部装有电源及视频采集卡。电源给双目CCD摄像机和视频采集卡供电；视频采集卡实时接收双目CCD摄像机采集到的图像，并通过USB端口连接到便携式计算机上，将采集到的图像传送给便携式计算机中的图像处理软件。

3.便携式计算机

便携式计算机上具有USB2.0标准接口，与采集供电系统内的图像采集卡通信。便携式计算机的操作系统内安装有图像处理软件，图像处理软件的功能是拍摄双目图像，通过输入的双目图像，使用计算机视觉技术，识别管壁内部的缺陷，并测量缺陷深度的极值。图像处理软件显示给用户的内容包括：实时显示双目CCD摄像机拍摄到的图像，拍摄到的缺陷数目和缺陷的深度，缺陷信息的统计信息等；图像处理软件还提供数据管理功能，对每次检测的数据进行分类入库，并为用户提供组合查询功能，可以根据检测时间、位置等条件查询以往拍摄到的图像和检测结果。

本发明一种双目视觉管道内壁自动无损检测方法，其步骤如下：

(1)摄像机的标定

首先标定摄像机的内参数。制作30mm×25mm的棋盘格标定板，每个棋盘格大小为5mm×5mm的正方形。将双目摄像机编号为第一摄像机和第二摄像机。首先对第一摄像机进行标定。将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格在相机视场范围内，拍摄一张图像；然后移动标定板到另一位置，同样保证以上两个条件，并确保标定板当前所在位置与之前的位置不在同一平面上，拍摄一张图像；重复以上过程三次，获得四幅标定图像，然后运行标定软件，软件将自动提取图像内棋盘格的角点坐标，计算出第一摄像机的内参数。采用同样的方法，对第二摄像机进行标定，获取第二摄像机的内参数。当第一摄像机和第二摄像机的内参数均标定完成后，将棋盘格标定板移动至第一摄像机和第二摄像机共同视场范围和景深范围内，拍摄一张图像，如图3所示，设此时棋盘格标定板的基准坐标系为O_cX_cY_cZ_c，第一摄像机的坐标系为O₁X₁Y₁Z₁，第二摄像机的坐标系为O₂X₂Y₂Z₂，定义世界坐标系O_wX_wY_wZ_w与第一摄像机坐标系重合，如图3所示，则可以根据之前标定的第一摄像机和第二摄像机的内参数，以及棋盘格角点在第一摄像机、二拍摄的两幅图像中各自的坐标，获得从O_cX_cY_cZ_c到O₁X₁Y₁Z₁坐标系的旋转矩阵R₁和平移向量t₁，以及从O_cX_cY_cZ_c到O₂X₂Y₂Z₂坐标系的旋转矩阵R₂和平移向量t₂，即获得了第一摄像机和第二摄像机的外参数。标定软件中采用的算法可以参考文章：张正友.一种灵活的摄像机标定新技术.IEEE模式识别与机器智能期刊，22(11)：1330-1334，2000.

(2)设置测量参数

将双目CCD摄像机通过信号线缆连接到采集供电系统，并放入管道，将采集供电系统上的USB数据线连接到便携式计算机的USB接口，启动采集供电系统上的总电源开关；启动便携式计算机上的图像处理软件，软件自动测试与视频采集卡的连接情况；确认连接正常后，用户输入当前观察的位置，软件将位置信息记录入数据库。

(3)实时测量

图像处理软件拍摄当前位置的图像，根据特征提取图像内部的缺陷部分，判断缺陷的类型，并对提取出的缺陷特征进行双目图像匹配；最后，根据标定得到的摄像机内参数和外参数，计算缺陷的深度，在软件用户界面显示测量结果，同时保存入数据库。

其中，根据特征提取图像内部的缺陷部分，判断缺陷的类型，并对提取出的缺陷特征进行双目图像匹配，具体过程如下：

获取到管道内壁图像后，需要首先确定缺陷的位置和区域。从图像特征上看，管壁上的缺陷表现为与管壁正常部分的灰度不一致，特别是在缺陷的边缘，会出现明显的灰度梯度特征。因此可以利用边缘检测计算理论定位缺陷。Canny边缘检测算子是一个多级边缘检测算法，其目标是找到一个最优的边缘检测算法，这个算法满足以下三个条件：(a)算法能够尽可能多地标识出图像中的实际边缘；(b)标识出的边缘要尽可能与实际图像中的实际边缘尽可能接近；(c)图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘。

Canny边缘检测算法的步骤如下：

第一步，降噪。将原始数据与高斯模板作卷积，这样，单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。

第二步，寻找图像中的亮度梯度。由于图像中的边缘可能会指向不同的方向，所以Canny算法使用4个边缘检测模板检测水平、垂直以及对角线方向的边缘。原始图像与每个模板所作的卷积都存储起来。对于每个点算法都标识在这个点上的最大值以及生成的边缘的方向。这样就从原始图像生成了图像中每个点亮度梯度图以及亮度梯度的方向。

第三步，在图像中跟踪边缘。较高的亮度梯度比较有可能是边缘，但是没有一个确切的值来限定多大的亮度梯度是边缘多大又不是，所以Canny算法使用两个阈值。假设图像中的重要边缘是连续的曲线，算法从一个较大的阈值开始，首先标识出比较确信的真实边缘，接下来使用前面导出的方向信息，从这些真正的边缘开始在图像中跟踪整个的边缘。在跟踪的时候，使用一个较小的阈值，这样就可以跟踪曲线的模糊部分直到回到起点。

一个获得亚像素精度边缘的改进方法是在梯度方向检测二阶方向导数的过零点：

$L_x^2{L}_{\mathrm{xx}}+{2L}_x{L}_y{L}_{\mathrm{xy}}+L_y^2{L}_{\mathrm{yy}}=0$

它在梯度方向的三阶方向导数满足符号条件：

$L_x^3{L}_{\mathrm{xxx}}+{3L}_x^2{L}_y{L}_{\mathrm{xxy}}+{3L}_x{L}_y^2{L}_{\mathrm{xyy}}+L_y^3{L}_{\mathrm{yyy}}<0$

其中Lx，Ly...Lyyy表示用高斯核平滑原始图像得到的尺度空间表示L计算得到的偏导数。用这种方法得到的边缘片断是连续曲线，这样就不需要另外的边缘跟踪改进来确定缺陷的边缘。对于每条连续曲线s，定义

则定义区域S_i＝{(u，v)|u_min≤u≤u_max，v_min≤v≤v_max}为一个缺陷区域。

确定了缺陷的区域范围后，需要在缺陷范围内进行双目图像的逐像素匹配，即以双目图像其中一幅图像作为参考图像，另一幅图像作为匹配图像，对于匹配图像中需要匹配的每一个像素，在参考图像中寻找与其最为匹配的像素。

图像匹配的方法主要有基于区域的匹配、基于特征的匹配和基于解释的匹配或者多种方法相结合的匹配。对应的匹配点建立在视差基础上，由于噪声、光照、遮挡、透视畸变等因素的影响，在图像对中所呈现的特征可能不同，可能在一定区域内存在多个相似的匹配，因此需要一定的约束作为辅助判据，以得到准确的匹配。一般采用的约束有极线约束、唯一性约束、视差连续性约束和顺序一致性约束等。

本发明结合双目立体视觉系统的特点，采用基于极线约束、特征匹配与区域匹配相结合的立体匹配方法。

首先利用双目CCD摄像机系统参数标定的结果，建立双目视图的极线约束关系，根据此关系对图像进行校正，将极线调整到水平位置。校正后的图像，对应的匹配像素位于同一水平线上。然后利用前述的边缘检测方法在极线校正后的图像中提取缺陷的轮廓，确定缺陷的位置和范围。接下来需要确定双目摄像机视差的范围。如图4所示，假设单套CCD摄像机在管道内壁的成像宽度(在管道主轴方向上的长度)为w，双目CCD摄像机基线距离(成像中心在管道主轴方向上的距离)为d，摄像机的图像分辨率为a*b，视场角为α和θ，空间某点P在双目图像中的像素坐标分别为(u₁，v₁)和(u₂，v₂)，定义P在双目图像中的视差Δu＝u₂-u₁，则Δu与P点的深度，即P点在摄像机光轴方向的坐标有关。假设P点的深度为z，则成像宽度w＝2*z*tan(α/2)，由此可以推出P点在双目图像中的视差Δu＝a*d/w。事先可以测量管壁的半径，并估计缺陷的深度范围，可以估计出待测点深度范围为(z₁，z₂)，对应成像宽度为(w₁，w₂)，则视差范围可以控制在Δ＝a*d*(1/w₁-1/w₂)。将第一摄像机拍摄的图像作为匹配图像，第二摄像机拍摄的图像作为参考图像，对参考图像中缺陷轮廓内的每个像素，在匹配图像中的以参考图像像素位置为中心，宽度方向从第a*d*(1/w₂)个像素到第a*d*(1/w₁)个像素，高度正负2个像素的范围内进行潜在匹配像素的搜索，将匹配图像在此范围内的点列为潜在的匹配像素。此处应用了极线约束，将搜索范围的高度控制在很小的范围内，体现了匹配像素对基本在同一水平线上的极线约束。对每个潜在的匹配像素，均根据其八邻域的灰度值按照归一化灰度差的平方的匹配准则同参考像素进行匹配。归一化灰度差的平方方式的匹配为：

$S(x,y)=\frac{\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{[T(x^{\&prime;},y^{\&prime;})-I(x+x^{\&prime;},y+y^{\&prime;})]}^2}{\sqrt{\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}T{(x^{\&prime;},y^{\&prime;})}^2\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}I{(x+x^{\&prime;},y+y^{\&prime;})}^2}}$

其中T(x′，y′)为参考图像中的像素灰度，I(x+x′，y+y′)为匹配图像中的像素灰度，m、n为邻域大小。取S(x，y)值最小的特征点作为最佳匹配点。

按照同样的方法，以第二摄像机拍摄的图像为参考图像，第一摄像机拍摄的图像为匹配图像进行像素匹配，即在双目图像中进行对称计算。将只满足一个方向或两个方向都不满足匹配条件的匹配像素对视为虚假匹配，即只有在对称计算中均为匹配像素的才为正确的匹配像素对。正确的匹配像素对确定后，根据得到的像素对计算视差，进一步计算每个像素在世界坐标系中的三维坐标。

像素世界坐标的三维重建方法如下：

对于单个CCD摄像机，设图像坐标(u，v)^T，对应屏幕坐标(X，Y，Z)^T，成像系统如下所示：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\&CenterDot;\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\mathrm{MP}---\left(1\right)$

其中s是比例因子，

是摄像机的内参数矩阵，是旋转矩阵，是偏移向量，

P＝(X，Y，Z，1)^T。R和t统称为摄像机的外参数。

对于(1)式，可以将比例因子s除到等号右边，不改变(1)式右边的形式，得到：

$x=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{MP}---\left(2\right)$

x是像素图像坐标的齐次坐标形式。

对于双目CCD第一摄像机5和第二摄像机6，可以获得如(2)式形式的两个成像关系式：

x₁＝M₁P₁    (3)

x₂＝M₂P₂    (4)

在前述的图像特征提取与匹配过程中，已经知道世界坐标系中某一特征点P在第一摄像机5中成像的图像坐标为x₁，在第二摄像机6中成像的图像坐标为x₂，代入公式(3)(4)，得：

x₁＝M₁P

x₂＝M₂P

由于M₁，M₂在摄像机标定过程中已经确定，因此通过P点在双目摄像机所拍摄图像中的图像坐标便可计算出P点的世界坐标，从而确定P点在实际三维空间中所处的位置。

对缺陷范围内的每一个像素进行匹配和三维重建，获取缺陷内所有点对应的世界坐标。根据世界坐标的定义，定义管壁上某一点的深度如下：

如图5是管道内壁的横截面，定义管壁上某一点的深度为该点到世界坐标系原点的直线距离。

设摄像机在两个方向上的视场角为弧度α和θ，对于空间中点P，设其世界坐标经过前述过程已计算出，为(Xp，Yp，Zp)，则其深度为

在每处缺陷范围内S_i内，其深度极值为

和

(4)数据管理

在测量结束后，将每个位置检测的数据进行分类入库；为用户提供组合查询功能，可以根据检测时间、待查部分在管道中的位置等条件查询需要以往检测拍摄到的图像和检测结果。

本发明的优点及功效在于：(1)装置重量轻，体积小，使用方便；双目CCD摄像机尺寸9cm*5cm*5cm，采集供电系统尺寸15cm*15cm*15cm，两台设备总重量约0.4kg，便携式计算机采用12.1英寸笔记本电脑，重量约1.1kg。只需一人便可携带和使用装置进行检测。(2)测量精度高：在对摄像机进行标定和进行三维重建时，使用非线性成像模型，考虑光学系统中的径向畸变和切向畸变系数，能够获得高精度的结果。在进行缺陷提取和定位时，采用改进的边缘检测算法和基于形态学的轮廓跟踪方法，提高缺陷定位的精度。使用样机进行测试，其最终三维重建精度为0.1mm。(3)自动化程度高，使用简便灵活：摄像机的内、外参数使用图像处理的相关算法自动计算获取；测量结果全部由软件自动计算，并自动保存，同时提供查询功能，使用简便。

附图说明

图1所示为本发明结构示意图

图2所示为基线长度示意图

图3(a)(b)(c)所示为摄像机坐标系与世界坐标系示意图

图4所示为视差与深度关系示意图

图5所示为管道横截面示意图

图6所示为本发明各部分关系示意图

图中符号说明如下：

1双目CCD摄像机；2便携式计算机；3采集供电系统；4第一摄像机；5第二摄像机；6电源；7视频采集卡；8图像处理软件；9标定模块；10实时测量模块；11数据管理模块；

O₁(x₁，y₁，z₁)第一摄像机坐标系；O₂(x₂，y₂，z₂)第二摄像机坐标系；

O_c(x_c，y_c，z_c)标定板坐标系；    O_w(x_w，y_w，z_w)待测伺服机构坐标系；

O_i(u_i，V_i)图像坐标系。

具体实施方式

下面结合附图和实施例，对本发明的技术方案做进一步的说明。

见图1、图2、图3、图4、图5、图6所示，一种双目视觉管道内壁自动无损检测方法，由双目CCD摄像机1、便携式计算机2、采集供电系统3构成：双目CCD摄像机由两套独立的CCD摄像机4、5组成并连接到采集供电系统3；采集供电系统3内部装有电源6及视频采集卡7；便携式计算机2上安装有图像处理软件8，通过视频采集卡7获取图像。

图像处理软件8由标定模块9，实时测量模块10和数据管理模块11组成。图像处理和控制软件安装于便携式计算机2的操作系统平台上。各部分的关系如图6所示。

图像处理软件8的工作流程如下：首先调用标定模块9标定摄像机4和摄像机5的内参数和外参数；测量时，调用实时测量模块10，拍摄当前位置的图像，分析图像内部是否存有缺陷，根据标定得到的第一摄像机4和第二摄像机5的内参数和外参数，计算缺陷的深度，在软件用户界面显示测量结果；数据管理模块11将测量结果保存入数据库。

一种双目视觉管道内壁自动无损检测方法，其步骤如下：

(1)摄像机的标定

首先标定摄像机的内参数。制作30mm×25mm的棋盘格标定板，每个棋盘格大小为5mm×5mm的正方形。将双目CCD摄像机1编号为第一摄像机4和第二摄像机5。首先对第一摄像机4进行标定。将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格在相机视场范围内，拍摄一张图像；然后移动标定板到另一位置，同样保证以上两个条件，并确保标定板当前所在位置与之前的位置不在同一平面上，拍摄一张图像；重复以上过程三次，获得四幅标定图像，然后运行标定模块9，软件将自动提取图像内棋盘格的角点坐标，计算出第一摄像机4的内参数。采用同样的方法，对第二摄像机5进行标定，获取第二摄像机5的内参数。当第一摄像机4和第二摄像机5的内参数均标定完成后，将棋盘格标定板移动至第一摄像机4和第二摄像机5共同视场范围和景深范围内，拍摄一张图像，设此时棋盘格标定板的基准坐标系为O_cX_cY_cZ_c，第一摄像机4的坐标系为O₁X₁Y₁Z₁，第二摄像机5的坐标系为O₂X₂Y₂Z₂，定义世界坐标系O_wX_wY_wZ_w与第一摄像机坐标系重合，如图3所示，则可以根据之前标定的第一摄像机4和第二摄像机5的内参数，以及棋盘格角点在第一摄像机4、第二摄像机5拍摄的两幅图像中各自的坐标，获得从O_cX_cY_cZ_c到O₁X₁Y₁Z₁坐标系的旋转矩阵R₁和平移向量t₁，以及从O_cX_cY_cZ_c到O₂X₂Y₂Z₂坐标系的旋转矩阵R₂和平移向量t₂，即获得了第一摄像机4和第二摄像机5的外参数。标定软件中采用的算法可以参考文章：张正友.一种灵活的摄像机标定新技术.IEEE模式识别与机器智能期刊，22(11)：1330-1334，2000.

(2)设置测量参数

将双目CCD摄像机1放入待测管道，将采集供电系统上的USB数据线连接到便携式计算机2的USB接口，启动采集供电系统上的总电源开关，启动便携式计算机上的图像处理软件8，软件自动测试与视频采集卡7的连接情况；确认连接正常后，用户输入当前观察的位置，图像处理软件8将位置信息记录入数据库。

(3)实时测量

实时测量模块10拍摄当前位置的图像，根据特征提取图像内部的缺陷部分，判断缺陷的类型，并对提取出的缺陷特征进行双目图像匹配；最后根据标定得到的第一摄像机4和第二摄像机5的内参数和外参数，计算缺陷的和深度，在软件用户界面显示测量结果；数据管理模块11将测量结果保存入数据库。

其中，调用实时测量模块10的测量步骤如下：

首先进行图像特征的提取与匹配。获取到管道内壁图像后，需要首先确定缺陷的位置和区域。从图像特征上看，管壁上的缺陷表现为与管壁正常部分的灰度不一致，特别是在缺陷的边缘，会出现明显的灰度梯度特征。因此可以利用边缘检测计算理论定位缺陷。Canny边缘检测算子是一个多级边缘检测算法，其目标是找到一个最优的边缘检测算法，这个算法满足以下三个条件：(a)算法能够尽可能多地标识出图像中的实际边缘；(b)标识出的边缘要尽可能与实际图像中的实际边缘尽可能接近；(c)图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘。

Canny边缘检测算法的步骤如下：

第一步，降噪。将原始数据与高斯模板作卷积，这样，单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。

第二步，寻找图像中的亮度梯度。由于图像中的边缘可能会指向不同的方向，所以Canny算法使用4个边缘检测模板检测水平、垂直以及对角线方向的边缘。原始图像与每个模板所作的卷积都存储起来。对于每个点算法都标识在这个点上的最大值以及生成的边缘的方向。这样就从原始图像生成了图像中每个点亮度梯度图以及亮度梯度的方向。

第三步，在图像中跟踪边缘。较高的亮度梯度比较有可能是边缘，但是没有一个确切的值来限定多大的亮度梯度是边缘多大又不是，所以Canny算法使用两个阈值。假设图像中的重要边缘是连续的曲线，算法从一个较大的阈值开始，首先标识出比较确信的真实边缘，接下来使用前面导出的方向信息，从这些真正的边缘开始在图像中跟踪整个的边缘。在跟踪的时候，使用一个较小的阈值，这样就可以跟踪曲线的模糊部分直到回到起点。

一个获得亚像素精度边缘的改进方法是在梯度方向检测二阶方向导数的过零点：

$L_x^2{L}_{\mathrm{xx}}+{2L}_x{L}_y{L}_{\mathrm{xy}}+L_y^2{L}_{\mathrm{yy}}=0$

它在梯度方向的三阶方向导数满足符号条件：

$L_x^3{L}_{\mathrm{xxx}}+{3L}_x^2{L}_y{L}_{\mathrm{xxy}}+{3L}_x{L}_y^2{L}_{\mathrm{xyy}}+L_y^3{L}_{\mathrm{yyy}}<0$

其中L_x，L_y...L_yyy表示用高斯核平滑原始图像得到的尺度空间表示L计算得到的偏导数。用这种方法得到的边缘片断是连续曲线，这样就不需要另外的边缘跟踪改进来确定缺陷的边缘。对于每条连续曲线s，定义

则定义区域S_i＝{(u，v)|u_min≤u≤u_max，v_min≤v≤v_max}为一个缺陷区域。

确定了缺陷的区域范围后，需要在缺陷范围内进行双目图像的逐像素匹配，即以双目图像其中一幅图像作为参考图像，另一幅图像作为匹配图像，对于匹配图像中需要匹配的每一个像素，在参考图像中寻找与其最为匹配的像素。

图像匹配的方法主要有基于区域的匹配、基于特征的匹配和基于解释的匹配或者多种方法相结合的匹配。对应的匹配点建立在视差基础上，由于噪声、光照、遮挡、透视畸变等因素的影响，在图像对中所呈现的特征可能不同，可能在一定区域内存在多个相似的匹配，因此需要一定的约束作为辅助判据，以得到准确的匹配。一般采用的约束有极线约束、唯一性约束、视差连续性约束和顺序一致性约束等。

本发明结合双目立体视觉系统的特点，采用基于极线约束、特征匹配与区域匹配相结合的立体匹配方法。

首先利用双目CCD摄像机系统参数标定的结果，建立双目视图的极线约束关系，根据此关系对图像进行校正，将极线调整到水平位置。校正后的图像，对应的匹配像素位于同一水平线上。然后利用前述的边缘检测方法在极线校正后的图像中提取缺陷的轮廓，确定缺陷的位置和范围。接下来需要确定双目摄像机视差的范围。如图4所示，假设单套CCD摄像机在管道内壁的成像宽度(在管道主轴方向上的长度)为w，双目CCD摄像机基线距离(成像中心在管道主轴方向上的距离)为d，摄像机的图像分辨率为a*b，视场角为α和θ，空间某点P在双目图像中的像素坐标分别为(u₁，v₁)和(u₂，v₂)，定义P在双目图像中的视差Δu＝u₂-u₁，则Δu与P点的深度，即P点在摄像机光轴方向的坐标有关。假设P点的深度为z，则成像宽度w＝2*z*tan(α/2)，由此可以推出P点在双目图像中的视差Δu＝a*d/w。事先可以测量管壁的半径，并估计缺陷的深度范围，可以估计出待测点深度范围为(z₁，z₂)，对应成像宽度为(w₁，w₂)，则视差范围可以控制在Δ＝a*d*(1/w₁-1/w₂)。将第一摄像机拍摄的图像作为匹配图像，第二摄像机拍摄的图像作为参考图像，对参考图像中缺陷轮廓内的每个像素，在匹配图像中的以参考图像像素位置为中心，宽度方向从第a*d*(1/w₂)个像素到第a*d*(1/w₁)个像素，高度正负2个像素的范围内进行潜在匹配像素的搜索。此处应用了极线约束，将搜索范围的高度控制在很小的范围内，体现了匹配像素对基本在同一水平线上的极线约束。对每个潜在的匹配像素，均根据其八邻域的灰度值按照归一化灰度差的平方的匹配准则同参考像素进行匹配。归一化灰度差的平方方式的匹配为：

$S(x,y)=\frac{\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{[T(x^{\&prime;},y^{\&prime;})-I(x+x^{\&prime;},y+y^{\&prime;})]}^2}{\sqrt{\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}T{(x^{\&prime;},y^{\&prime;})}^2\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}I{(x+x^{\&prime;},y+y^{\&prime;})}^2}}$

其中T(x′，y′)为参考图像中的像素灰度，I(x+x′，y+y′)为匹配图像中的像素灰度，m、n为邻域大小。取S(x，y)值最小的特征点作为最佳匹配点。

按照同样的方法，以第二摄像机拍摄的图像为参考图像，第一摄像机拍摄的图像为匹配图像进行像素匹配，即在双目图像中进行对称计算。将只满足一个方向或两个方向都不满足匹配条件的匹配像素对视为虚假匹配，即只有在对称计算中均为匹配像素的才为正确的匹配像素对。正确的匹配像素对确定后，根据得到的像素对计算视差，进一步计算每个像素在世界坐标系中的三维坐标。

像素世界坐标的三维重建方法如下：

对于单个CCD摄像机，设图像坐标(u，v)^T，对应屏幕坐标(X，Y，Z)^T，成像系统如下所示：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\&CenterDot;\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\mathrm{MP}---\left(1\right)$

其中s是比例因子，

是摄像机的内参数矩阵，

是旋转矩阵，是偏移向量，

P＝(X，Y，Z，1)^T。R和t统称为摄像机的外参数。

对于(1)式，可以将比例因子s除到等号右边，不改变(1)式右边的形式，得到：

$x=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{MP}---\left(2\right)$

x是像素图像坐标的齐次坐标形式。

对于双目CCD摄像机5和6，可以获得如(2)式形式的两个成像关系式：

x₁＝M₁P₁    (3)

x₂＝M₂P₂    (4)

在前述的图像特征提取与匹配过程中，已经知道世界坐标系中某一特征点P在摄像机5中成像的图像坐标为x₁，在摄像机6中成像的图像坐标为x₂，代入(3)(4)，得：

x₁＝M₁P

x₂＝M₂P

由于M₁，M₂在摄像机标定过程中已经确定，因此通过P点在双目摄像机所拍摄图像中的图像坐标便可计算出P点的世界坐标，从而确定P点在实际三维空间中所处的位置。

对缺陷范围内的每一个像素进行匹配和三维重建，获取缺陷内所有点对应的世界坐标。根据世界坐标的定义，定义管壁上某一点的深度如下：

如图5是管道内壁的横截面，定义管壁上某一点的深度为该点到世界坐标系原点的直线距离。

设摄像机在两个方向上的视场角为弧度α和θ，对于空间中点P，设其世界坐标经过前述过程已计算出，为(X_p，Y_p，Z_p)，则其深度为

在每处缺陷范围内S_i内，其深度极值为

和

4.数据管理

在测量结束后，将每次检测的数据进行分类入库；为用户提供组合查询功能，可以根据检测时间、待查部分在管道中的位置等条件查询需要以往检测拍摄到的图像和检测结果。

Claims (2)

1.一种双目视觉管道内壁自动无损检测方法，其特征在于：该方法步骤如下：

步骤一双目CCD摄像机的标定

首先标定双目CCD摄像机的内参数：制作30mm×25mm的棋盘格标定板，每个棋盘格大小为5mm×5mm的正方形；将双目摄像机编号为第一摄像机和第二摄像机；首先对第一摄像机进行标定；将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格在相机视场范围内，拍摄一张图像；然后移动标定板到另一位置，同样保证以上两个条件，并确保标定板当前所在位置与之前的位置不在同一平面上，拍摄一张图像；重复以上过程三次，获得四幅标定图像，然后运行标定软件，软件将自动提取图像内棋盘格的角点坐标，计算出第一摄像机的内参数；采用同样的方法，对第二摄像机进行标定，获取第二摄像机的内参数；当第一摄像机和第二摄像机的内参数均标定完成后，将棋盘格标定板移动至第一摄像机和第二摄像机共同视场范围和景深范围内，拍摄一张图像，设此时棋盘格标定板的基准坐标系为O_cX_cY_cZ_c，第一摄像机的坐标系为O₁X₁Y₁Z₁，第二摄像机的坐标系为O₂X₂Y₂Z₂，定义世界坐标系O_wX_wY_wZ_w与第一摄像机坐标系重合，则根据之前标定的第一摄像机和第二摄像机的内参数，以及棋盘格角点在第一摄像机和第二摄像机的两幅图像中各自的坐标，获得从O_cX_cY_cZ_c到O₁X₁Y₁Z₁坐标系的旋转矩阵R₁和平移向量t₁，以及从O_cX_cY_cZ_c到O₂X₂Y₂Z₂坐标系的旋转矩阵R₂和平移向量t₂，即获得了第一摄像机和第二摄像机的外参数；

步骤二设置测量参数

将双目CCD摄像机放入待测管道，将采集供电系统上的USB数据线连接到便携式计算机的USB接口，启动采集供电系统上的总电源开关，启动便携式计算机上的图像处理软件，软件自动测试与视频采集卡的连接情况；确认连接正常后，用户输入当前观察的位置，图像处理软件将位置信息记录入数据库；

步骤三实时测量

首先，进行图像特征的提取：利用Canny边缘检测算子检测缺陷，过程如下：

（1）降噪：将原始数据与高斯模板作卷积；

（2）寻找图像中的亮度梯度：使用4个边缘检测模板检测水平、垂直以及对角线方向的边缘，并存储原始图像与每个模板所作的卷积；对于图像的每个像素点，标识在这个点上的最大值以及生成的边缘的方向；

（3）在图像中跟踪边缘：使用两个阈值，从一个较大的阈值开始，标识出比较确信的真实边缘，根据上述第（2）步中获得的边缘方向，在图像中跟踪整个的边缘；在跟踪时，使用一个较小的阈值，以便跟踪曲线的模糊部分；

其次，在提取图像特征后，需要对双目图像进行匹配；

双目图像匹配的过程如下：

（1）利用双目CCD摄像机系统参数标定的结果，建立双目视图的极线约束关系，根据此关系对图像进行校正，将极线调整到水平位置；校正后的图像，对应的匹配像素位于同一水平线上；

（2）确定双目摄像机视差的范围；假设单套CCD摄像机在管道内壁的成像宽度为w，双目CCD摄像机基线距离为d，摄像机的图像分辨率为a*b，视场角为α和θ，空间某点P在双目图像中的像素坐标分别为(u₁,v₁)和(u₂,v₂)，定义P在双目图像中的视差Δu=u₂-u₁，则Δu与P点的深度，即P点在摄像机光轴方向的坐标有关；假设P点的深度为z，则成像宽度w=2*z*tan(α/2)，由此推出P点在双目图像中的视差Δu=a*d/w；事先测量管壁的半径，并估计缺陷的深度范围，估计出待测点深度范围为(z₁,z₂)，对应成像宽度为(w₁,w₂)，则视差范围控制在Δ=a*d*(1/w₁-1/w₂)；

（3）匹配双目图像中的缺陷区域：将第一摄像机拍摄的图像作为匹配图像，第二摄像机拍摄的图像作为参考图像，对参考图像中缺陷区域内的每个像素，在匹配图像中的以参考图像像素位置为中心，宽度方向从第a*d*(1/w₂)个像素到第a*d*(1/w₁)个像素，高度正负2个像素的范围内进行潜在匹配像素的搜索；对每个潜在的匹配像素，均根据其八邻域的灰度值按照归一化灰度差的平方的匹配准则同参考像素进行匹配：归一化灰度差的平方方式的匹配为：

$S(x,y)=\frac{\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{[T(x^{\&prime;},y^{\&prime;})-I(x+x^{\&prime;},y+y^{\&prime;})]}^2}{\sqrt{\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}T{(x^{\&prime;},y^{\&prime;})}^2\underset{y^{\&prime;}=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=0}{\overset{m-1}{\mathrm{\&Sigma;}}}I{(x+x^{\&prime;},y+y^{\&prime;})}^2}}$

其中T(x',y')为参考图像中的像素灰度，I(x+x',y+y')为匹配图像中的像素灰度，m、n为邻域大小；取S(x,y)值最小的特征点作为最佳匹配点；

按照同样的方法，以第二摄像机拍摄的图像为参考图像，第一摄像机拍摄的图像为匹配图像进行像素匹配，即在双目图像中进行对称计算；将只满足一个方向或两个方向都不满足匹配条件的匹配像素对视为虚假匹配，即只有在对称计算中均为匹配像素的才为正确的匹配像素对；

再次，根据双目图像匹配得到的像素对计算视差，进一步计算每个像素在世界坐标系中的三维坐标；

像素在世界坐标系下的三维坐标重建方法如下：

对于单个CCD摄像机，设图像坐标(u,v)^T，对应屏幕坐标(X,Y,Z)^T，成像系统如下所示：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\&CenterDot;\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{21}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\mathrm{MP}---\left(1\right)$

其中s是比例因子， $A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$ 是摄像机的内参数矩阵， $R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$ 是旋转矩阵， $t=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 是偏移向量，M= $\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right],$ P=(X,Y,Z,1)^T；R和t统称为摄像机的外参数；

对于公式(1)，将比例因子s除到等号右边，不改变公式(1)右边的形式，得到：

$x=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{MP}---\left(2\right)$

x是像素图像坐标的齐次坐标形式；

对于第一摄像机和第二摄像机，获得如公式(2)形式的两个成像关系式：

x₁=M₁P₁(3)

x₂=M₂P₂(4)

在前述的图像特征提取与匹配过程中，已经知道世界坐标系中某一特征点P在第一摄像机中成像的图像坐标为x₁，在第二摄像机中成像的图像坐标为x₂，代入公式(3)(4)，得：

x₁=M₁P

x₂=M₂P

由于M₁，M₂在摄像机标定过程中已经确定，因此通过P点在双目摄像机所拍摄图像中的图像坐标便可计算出P点的世界坐标，从而确定P点在实际三维空间中所处的位置；

对缺陷范围内的每一个像素进行匹配和三维重建，获取缺陷内所有点对应的世界坐标；根据世界坐标的定义，定义管壁上某一点的深度如下：

设摄像机在两个方向上的视场角为弧度α和θ，对于空间中点P，设其世界坐标经过前述过程已计算出，为(X_p,Y_p,Z_p)，则其深度为在每处缺陷范围内S_i内，其深度极值为

和 $\underset{p\&Element;S_i}{\max }\sqrt{Y_p^2+Z_p^2};$

步骤四数据管理

在测量结束后，将每次检测的数据进行分类入库；为用户提供组合查询功能，根据检测时间及位置查询需要以往检测拍摄到的图像和检测结果。

2.根据权利要求1所述的一种双目视觉管道内壁自动无损检测方法，其特征在于：其中作为Canny边缘检测算子的一部分，一个获得亚像素精度边缘的改进方法是在梯度方向检测二阶方向导数的过零点：

$L_x^2{L}_{\mathrm{xx}}+2L_x{L}_y{L}_{\mathrm{xy}}+L_y^2{L}_{\mathrm{yy}}=0$

它在梯度方向的三阶方向导数满足符号条件：

$L_x^3{L}_{\mathrm{xxx}}+3L_x^2{L}_y{L}_{\mathrm{xxy}}+3L_x{L}_y^2{L}_{\mathrm{xyy}}+L_y^3{L}_{\mathrm{yyy}}<0$

其中L_x,L_y...L_yyy表示用高斯核平滑原始图像得到的尺度空间表示L计算得到的偏导数；对于每条连续曲线s，定义 $u_{\min }=$ $\underset{u}{\min }(u,v)\&Element;s,$ $u_{\max }=\underset{u}{\max }(u,v)\&Element;s,$ $v_{\min }=\underset{v}{\min }(u,v)\&Element;s,$ $v_{\max }=\underset{v}{\max }(u,v)\&Element;s,$ 则定义区域S_i={(u,v)|u_min≤u≤u_max,v_min≤v≤v_max}为一个缺陷区域。

Images