CN111192198A - 一种基于管道机器人的管道全景扫描方法 - Google Patents

Abstract

本发明公开了一种基于管道机器人的管道全景扫描方法，通过设置管道模型以确定管道模型内壁图像的有效截面区域相对于管道模型内壁图像的中心点的标准半径范围，通过标准半径范围和任一管道内壁图像的中心点确定对应的有效截面区域并进行截取得到有效截面图像，对有效截面图像展开后得到柱面展开图像，将柱面展开图像与基准图像通过重叠部分的图像拼成一幅无缝的管道全景图，高效解决管道机器人在拍摄过程中频繁出现的散焦和形变问题，操作简单且得到的管道全景图像成像效果较好，提高管道机器人度管道内部情况检测的准确率，并给检测人员提供足够的管道内部信息。

Description

一种基于管道机器人的管道全景扫描方法

技术领域

本发明属于图像处理领域，具体来说涉及一种基于管道机器人的管道全景扫描方法。

背景技术

管道机器人就是一种可在管道内作业的特种机器人，可以沿管道内壁自动行走，其目的在于完成探伤腐蚀程度、裂纹、焊接缺陷等、补口对接焊缝防腐处理、防腐层缺陷处理以及管道内的各项参数检测等作业。

可视化管道机器人通过安装CCD摄像机或者其他成像设备，由控制器控制管道机器人在管道内行走，实时采集管道内的视频图像，实现对管道内部的全面实时检测功能。

但是现有的通过管道机器人采集的视频图像直接生成的全景图像往往效果较差，如一种全景拼接的方法及装置(CN 105608667 A)：专利设计了一个图像全景拼接的方案，包括图像预处理、特征提取、特征匹配、计算变换矩阵、旋转、曝光补光、图像融合等步骤。该方案是生成全景图像的常规方案，处理的图片是相机做平移运动拍摄得到的，将其直接用于管道图像全景扫描，效果较差，难以应用。

发明内容

本发明的目的在于提供一种基于管道机器人的管道全景扫描方法，以解决背景技术中管道全景图像效果较差、难以应用的问题。

为实现上述目的，本发明提供技术方案如下：

一种基于管道机器人的管道全景扫描方法，所述方法包括以下步骤：

步骤1：管道机器人采集管道模型内壁图像，确定管道模型内壁图像的有效截面区域相对于管道模型内壁图像的中心点的标准半径范围(r_min,r_max)；初始化i＝1；

步骤2：管道机器人采集真实管道内部的第i幅管道内壁图像后进行中心偏移校正，得到第i幅管道内壁图像的中心点坐标(x_c,y_c)；通过中心点坐标和步骤1所得的标准半径范围确定第i幅管道内壁图像的有效截面区域并截取，得到对应的有效截面图像；

步骤3：通过向前映射坐标变换方法对有效截面图像展开后得到第i幅柱面展开图像；

步骤4：判断i＝1,若是，则i＝i+1并返回步骤2，否则，执行步骤5；

步骤5：对第i幅柱面展开图像及对应的基准图像通过图像拼接技术形成第i-1幅拼接图像，i＝i+1并返回步骤2；当i＝2时，对应的基准图像为第1幅柱面展开图像，否则，对应的基准图像为第i-2幅拼接图像。

优选地，所述步骤1中，确定管道模型内壁图像的有效截面区域包括以下步骤：

步骤1.1.1：以涂有棋盘方格图像的标定纸制作管道模型，管道机器人采集一幅管道模型内壁图像；

步骤1.1.2：将管道模型内壁图像展开为矩形图像，所述矩形图像为m×n的方格，m行方格的高度依次减小；

步骤1.1.3：计算任一列任一方格的长宽比f，判断η＜f≤1，若是，则将该方格作为有效方格，否则忽略，其中η表示畸变有效预设值；

步骤1.1.4：判断任一行是否由若干有效方格组成，若是，根据坐标对应关系，得到管道模型内壁图像的有效截面区域，否则忽略。

优选地，所述步骤1中，确定管道模型内壁图像的中心点坐标(x'_c,y'_c)包括以下步骤：

步骤1.2.1:采用canny算法检测管道模型内壁图像的边缘，得到边缘的二值化图像；

步骤1.2.2：基于边缘的二值化图像采用hough变换检测任意两条管道模型内壁图像的直线，任一直线为向心线，计算两直线的交点作为管道模型内壁图像的中心点坐标。

优选地，所述步骤2包括以下步骤：

步骤2.1：判断i＝1，若是，第i幅管道内壁图像的中心点坐标为管道模型内壁图像的中心点坐标(x'_c,y'_c)，否则执行步骤2.2

步骤2.2：以第i-1幅管道内壁图像的中心点作为初始中心点，以一个像素单位为环形长度对第i-1幅管道内壁图像进行环形分割，得到若干个环形内壁图像，计算得到任一环形内壁图像的像素均值z_α，其中α∈{1,2,3,...}；

步骤2.3：采集第i幅管道内壁图像中的所有像素的灰度值z_β，其中，β∈{1,2,3,...}，确定任一像素的灰度值属于任一环形内壁图像的灰度均值z_α与设定范围λ之和，记为z_β∈λ+z_α，若是，则作为对应拟合圆C_α的其中一像素，其中，α∈{1,2,3,...}，否则舍弃；

步骤2.4：基于对应像素的坐标对其中一拟合圆采用最小二乘法求取圆心坐标

其中，α∈{1,2,3,...}。

优选地，所述步骤3包括以下步骤：

步骤3.1：通过向前映射坐标变换方法确定有效截面图像上任一点映射到第i幅柱面展开图像上的映射坐标，其中，所述第i幅柱面展开图像的宽度

高度H＝r_max-r_min+1；

步骤3.2：对有效截面图像上任一点采用双线性差值算法得到映射坐标的像素值，最后得到第i幅柱面展开图像。

优选地，所述步骤5包括以下步骤：

步骤5.1：通过SURF算法分别提取第i幅柱面展开图像及对应的基准图像的特征点，确定特征点的坐标和特征描述子；

步骤5.2：基于特征描述子对第i幅柱面展开图像及对应的基准图像通过高维数据的快速最近邻算法进行特征点匹配，得到特征点对；

步骤5.3：通过特征点对的坐标对应关系得到仿射变换矩阵，利用仿射变换矩阵将第i幅柱面展开图像中任一像素点转换到对应基准图像的坐标系中；

步骤5.4：对第i幅柱面展开图像及对应的基准图像进行图像修正，图像像素融合，生成第i-1幅拼接图像，i+1并返回步骤2。

优选地，所述步骤5.3包括以下步骤：

步骤5.3.1：构造仿射变换矩阵模型，仿射变换矩阵模型为

其中，x₀表示第i幅柱面展开图像中任一像素点在水平方向的平移量，y₀表示第i幅柱面展开图像中任一像素点在轴向方向的平移量，s_x表示在水平方向的比例变换因子，s_y表示在轴向方向的比例变换因子，x和y分别表示第i幅柱面展开图像的任一特征点的横坐标和纵坐标，a和b分别表示基准图像的对应的特征点的横坐标和纵坐标；

步骤5.3.2：通过特征点对的坐标对应关系得到仿射变换参数x₀、y₀、s_x、s_y，得到仿射变换矩阵；

步骤5.3.3：将第i幅柱面展开图像的任一像素点坐标代入仿射变换矩阵得到映射到基准图像的像素点坐标。

优选地，所述步骤5.4中，图像修正包括图像亮度修正，所述图像亮度修正包括以下步骤：

步骤5.4.1：计算第i幅柱面展开图像和对应的基准图像间像素的平均亮度差异dist，

其中，W表示第i幅柱面展开图像的宽度，H表示第i幅柱面展开图像的高度，p_ij表示基准图像中第i行第j列像素的亮度；p′_ij表示第i幅柱面展开图像中第i行第j列像素的亮度；

步骤5.4.2：判断dist＜ε，若是，则执行步骤5.4.3，否则结束，其中ε为预设修正阈值；

步骤5.4.3：取修正参数

对第i幅柱面展开图像和对应的基准图像中任一像素的灰度值分别修正为min(255,p′_ij-δ)和min(255,p_ij-δ)。

优选地，所述步骤5.4中，利用第i幅柱面展开图像和对应的基准图像的重叠区域将两幅图像融合形成第i-1幅拼接图像，重叠区域中的任一像素点的像素值为第i幅柱面展开图像上对应像素点及基准图像上对应像素点的像素加权和，所述第i幅柱面展开图像上对应像素点的像素权重为像素点到重叠区域的左边界的水平距离与重叠区域的宽度的比值，所述基准图像上对应像素点的像素权重为像素点到重叠区域的右边界的水平距离与重叠区域的宽度的比值。

优选地，所述步骤5.3中，判断仿射变换矩阵的中x₀与管道机器人在管道内壁中移动的位移L的差值是否在移动阈值范围τ内，记为|x₀-L|∈τ，若是，则利用仿射变换矩阵将第i幅柱面展开图像中任一像素点转换到对应基准图像的坐标系中，否则返回步骤2，其中，L＝β(v/u)，u表示管道机器人的摄像机的帧速，v为管道机器人行进的速度，β表示图像的放大率；

所述图像的放大率β表示为β＝S_img/S_real，S_img表示管道模型内壁图像中半径为R＝(r_max+r_min)/2所在任一棋盘方格的面积，S_real表示标定纸上任一棋盘方格的面积。

与现有技术相比，本发明的有益效果为：

本发明截取任一管道内壁图像中有效截面区域的图像，通过坐标变换将管道内部图像进行展开形成柱面展开图像，然后依次配准拼接，最后形成管道全景展开图像，本发明操作简单且得到的管道全景图像成像效果较好，提高管道机器人度管道内部情况检测的准确率，并给检测人员提供足够的管道内部信息。

附图说明

图1为本发明的流程图。

图2为管道模型内壁图像示意图。

图3为矩形图像。

图4为棋盘方格图像。

图5为有效截面图像的柱面展开示意图。

具体实施方式

下面将结合发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于发明保护的范围。

一种基于管道机器人的管道全景扫描方法，所述方法包括以下步骤：

步骤1：管道机器人采集管道模型内壁图像，确定管道模型内壁图像的有效截面区域相对于管道模型内壁图像的中心点的标准半径范围(r_min,r_max)；初始化i＝1；

步骤2：管道机器人采集真实管道内部的第i幅管道内壁图像后进行中心偏移校正，得到第i幅管道内壁图像的中心点坐标(x_c,y_c)；通过中心点坐标和步骤1所得的标准半径范围确定第i幅管道内壁图像的有效截面区域并截取，得到对应的有效截面图像；

步骤3：通过向前映射坐标变换方法对有效截面图像展开后得到第i幅柱面展开图像；

步骤4：判断i＝1,若是，则i＝i+1并返回步骤2，否则，执行步骤5；

步骤5：对第i幅柱面展开图像及对应的基准图像通过图像拼接技术形成第i-1幅拼接图像，i＝i+1并返回步骤2；当i＝2时，对应的基准图像为第1幅柱面展开图像，否则，对应的基准图像为第i-2幅拼接图像。

本发明中，管道机器人通过安装CCD摄像机，实时采集管道内壁图像，采集到的管道内壁图像的大小均相同。

管道机器人在拍摄过程中，由于管道截面到相机的距离不同，不同截面上的点在成像面上的放大倍率不同，导致管道内壁图像沿管道的中心轴线方向存在较大失真，具体表现为：任一管道内壁图像中，靠近摄像头的一部分管道内壁沿管道轴线方向被拉伸，随着管道截面到摄像机距离的增大，对管道内壁的拉伸畸变逐渐减小至消失，然后慢慢产生压缩畸变，并随着管道截面到相机的距离增大压缩畸变越来越严重，使得后面的管道内壁成为管道内壁图像的边界；由此可知，对于任一管道内壁图像，在沿管道轴线方向，一定存在连续的清晰成像且畸变较小的区域，即有效截面区域。

本发明中，真实管道由于长期使用其内壁会被腐蚀或者内壁附着有颗粒物等等管道缺陷，因此管道机器人在真实管道内行走时，由于路面凹凸不平，造成摄像机抖动，使摄像机光轴偏离管道中心轴线，导致拍摄得到的管道内壁图像的中心偏移，本发明通过中心偏移校正得到管道内壁图像的中心。

本发明通过设置管道模型以确定管道模型内壁图像的有效截面区域相对于管道模型内壁图像的中心点的标准半径范围，操作简便；通过标准半径范围和任一管道内壁图像的中心点确定对应的有效截面区域并进行截取得到有效截面图像，大大减小计算量、提高计算效率，对有效截面图像展开后得到柱面展开图像，将柱面展开图像与基准图像通过重叠部分的图像拼成一幅无缝的管道全景图，高效解决管道机器人在拍摄过程中频繁出现的散焦和形变问题。

所述步骤1中，确定管道模型内壁图像的有效截面区域包括以下步骤：

步骤1.1.1：以涂有棋盘方格图像的标定纸制作管道模型，管道机器人采集一幅管道模型内壁图像；

步骤1.1.2：将管道模型内壁图像展开为矩形图像，所述矩形图像为m×n的方格，m行方格的高度依次减小；

步骤1.1.3：计算任一列任一方格的长宽比f，判断η＜f≤1，若是，则将该方格作为有效方格，否则忽略，其中η表示畸变有效预设值；

步骤1.1.4：判断任一行是否由若干有效方格组成，若是，根据坐标对应关系，得到管道模型内壁图像的有效截面区域，否则忽略。

作为本发明的其中一实施例，所述步骤1.1.1中，标定纸上涂设的棋盘方格图像为国际象棋盘图案CG-076-T，所述标定纸由m行n列方格组成，任一方格尺寸相同且为正方形，本发明通过标定纸制作管道模型，以标定纸的长作为管道模型的圆周长，管道模型的圆周长与真实管道的圆周长相同，标定纸的一侧的高与另一侧的高无缝结合形成密封线，最后得到一个中空的圆柱形结构；管道机器人拍摄到管道模型内壁图像，所述管道模型内壁图像由若干个同心的圆环组成，相邻两个圆环中其中一圆环的外圆与另一圆环的内圆重合，且越靠近圆心(管道模型内壁图像的中心点)，内外圆半径差越小；任一圆环由若干个黑白相间的扇形结构组成，相邻两圆环中相对的两扇形结构为一黑一白，任一圆环中相邻两扇形结构的交线所在的直线为管道模型内壁的纵向轴线，与标定纸上棋盘方格图像的高线相对应，因此管道内壁图像中存在一交线反映到管道模型中即为管道模型内壁的密封线，如图2所示。

作为本发明的其中一实施例，所述步骤1.1.2具体为：以密封线所在的交线为基准，对管道模型内壁图像进行展开，所述展开可通过将管道模型内部图像的任一像素点由极坐标转换为平面坐标，具体来说将最大圆环的外圆周长作为矩形图像的长度，在x轴上进行表示，任一圆环的内外圆半径差作为矩形图像中对应一行方格的高度，在y轴上进行表示，最后得到的矩形图像包括m行n列的方格，每一列方格的长度都相同，但其任一行方格的高度都不同，举例来说，第一列的所有方格的长度与第二列的所有方格的长度相同，但第一行的方格的高度大于第二行的方格的高度，如图3所示。在展开过程中，设矩形图像的任一点的坐标为(x,y)，其在管道模型内壁图像中所对应的点用极坐标表示为(x',y')，则有矩形图像中任一点在管道模型内壁图像中所对应的坐标：

其中，r表示管道模型内壁图像中任一点与圆心间的距离，R表示管道模型内壁图像中最大圆环的外圆与圆心间的距离；该技术手段由网址为http://www.docin.com/p-1660096130.html，标题为管道内壁全景图像自适应展开算法研究中1.1节全景图像切向展开部分公开，为本领域的公知常识；对管道模型内壁图像采用双线差值算法计算得到矩形图像中任一像素点的像素值，得到矩形图像，举例来说，若矩形图像的坐标(1，1)通过公式计算后得到的极坐标为(2.5,3.2)，则通过双线差值算法计算即为确定距离极坐标最近的四个像素点坐标(2,4)、(3,4)、(2,3)、(3,3)，分别根据四个像素点到极坐标(2.5,3.2)的距离计算权重w1、w2、w3、w4,像素加权后w1*p1+w2*p2+w3*p3+w4*p4就是像素点(1,1)的像素值,其中p1、p2、p3、p4分别为四个像素点的像素值，此为本领域普通技术人员的常规技术手段，本领域技术人员可根据实际情况自行设置。

由于标定纸上的方格均为正方形，因此其长宽比均为1；通过判断任一列中任一方格的长宽比，若方格的长宽比趋向于1，则说明该部分畸变较小，通过判断任一列中任一方格的长宽比精确定位成像过程中畸变较小部分；举例来说，若棋盘方格图像包括10行20列方格，前19列中每一列第2-5个方格的长宽比都在畸变有效预设值范围内，则认为第2-5行所在的区域为畸变较小部分，若第20列仅第4个方格的长宽比在畸变有效预设值内，则仅第4行方格为畸变较小部分，将该畸变较小部分定位到管道模型内壁图像中，得到有效截面区域；本发明中，畸变有效预设值可根据实际情况自行设定。

本发明中，作为步骤1.1.4的其中一具体实施方式，根据矩形图像畸变较小部分中任一点(x,y)的坐标代入公式

即可确定管道模型内壁图像的有效截面区域，从而确定有效截面区域相对于管道模型内壁图像的中心点的标准半径范围。

所述步骤1中，确定管道模型内壁图像的中心点坐标(x'_c,y'_c)包括以下步骤：

步骤1.2.1:采用canny算法检测管道模型内壁图像的边缘，得到边缘的二值化图像；

步骤1.2.2：基于边缘的二值化图像采用hough变换检测任意两条管道模型内壁图像的直线，任一直线为向心线，计算两直线的交点作为管道模型内壁图像的中心点坐标。

本发明中，canny算法为常规的用于图像进行边缘检测的方法，得到的关于管道模型内壁图像边缘的二值化图像由若干个边缘点和非边缘点组成，其中边缘点的灰度值统一为白色，非边缘点统一为黑色；hough变换将边缘图像中边缘点映射到累加的参数空间，实现对直线的识别，是一种常规的直线检测算法，所述管道模型内壁的直线反映到管道模型中即为管道模型内壁的轴向直线。

所述步骤2包括以下步骤：

步骤2.1：判断i＝1，若是，第i幅管道内壁图像的中心点坐标为管道模型内壁图像的中心点坐标(x'_c,y'_c)，否则执行步骤2.2；

步骤2.2：以第i-1幅管道内壁图像的中心点作为初始中心点，以一个像素单位为环形长度对第i-1幅管道内壁图像进行环形分割，得到若干个环形内壁图像，计算得到任一环形内壁图像的像素均值z_α，其中α∈{1,2,3,...}；

步骤2.3：采集第i幅管道内壁图像中的所有像素的灰度值z_β，其中，β∈{1,2,3,...}，确定任一像素的灰度值属于任一环形内壁图像的灰度均值z_α与设定范围λ之和，记为z_β∈λ+z_α，若是，则作为对应拟合圆C_α的其中一像素，其中，α∈{1,2,3,...}，否则舍弃；

步骤2.4：基于对应像素的坐标对其中一拟合圆采用最小二乘法求取圆心坐标

其中，α∈{1,2,3,...}。

本发明中，由于管道机器人在管道内部行走时，相机光源作为管道机器人的自带光源系统，距离管道机器人越近，光照越强，反之越弱，管道内壁会以管道的中心点为基准，亮度呈环状分布，处于同一截面圆上的点的光照非常接近，因此对任意两幅管道内壁图像，以各自的中心点为基准分别进行环形分割后得到相对应的若干个环形内壁图像的灰度值相同，如一幅管道内壁图像的第n个环形内壁图像的灰度值与另一管道内壁图像的第n个环形内壁图像的灰度值相同；本发明通过计算前一管道内壁图像的任一环形内壁图像的灰度均值得到当前管道内壁图像中对应环形内壁图像的灰度均值，并采集当前管道内壁图像中与灰度均值相近的像素来拟合圆，得到拟合圆的圆心即为管道内壁图像的中心点坐标。

本发明步骤2.1中，第1幅管道内壁图像为管道机器人进入管道入口时摄像机捕捉到的图像，该过程中的管道内表面一般为光滑的，因此摄像机光轴未偏离管道轴线，第1幅管道内壁图像的中心点坐标即为管道模型内壁图像的中心点坐标。

本发明步骤2.4中，通过以下公式求取任一拟合圆的圆心坐标：

其中，

x_i和y_i分别表示拟合圆中任一像素的横坐标和纵坐标，N表示像素的个数。

本发明步骤2.1.4中，为了降低噪声点干扰，提高圆的拟合精度，可通过计算若干灰度值相近的像素点到圆心的距离

去除误差较大的像素点，进行二次拟合；所述去除误差较大的像素点的方法可以为：设置一个阈值，将像素点到圆心的距离与圆的半径进行比较，误差超过阈值的像素点去掉，此为本领域常规技术手段，本领域技术人员可以根据实际情况自行设置。

本发明步骤2.1.4中，由于管道内壁图像中，不同截面的点拟合的圆是同心圆，为了提高圆心的检测精度，可以取多个拟合圆进行多次拟合，也即在管道内壁图像中取若干组灰度值相近的像素点分别得到对应的拟合圆，求取所有拟合圆的圆心坐标，其中不同组的像素的灰度值不在同一范围内，去除误差较大的圆心坐标后求平均值，即为管道的中心坐标；所述去除误差较大的圆心坐标为本领域的常规技术手段，本领域技术人员可以根据实际情况自行设置。

本发明中，由于i＝2时对应的基准图像为第1幅柱面展开图，第1幅柱面展开图像与第2幅柱面展开图像拼接形成第1幅拼接图像，且最后的拼接图像为基准与柱面展开图像不断拼接，因此任一拼接图像的高度与任一柱面展开图像的高度相同。

所述步骤3包括以下步骤：

步骤3.1：通过向前映射坐标变换方法确定有效截面图像上任一点映射到第i幅柱面展开图像上的映射坐标，其中，所述第i幅柱面展开图像的宽度

高度H＝r_max-r_min+1；

步骤3.2：对有效截面图像上任一点采用双线性差值算法得到映射坐标的像素值，最后得到第i幅柱面展开图像。

本发明步骤3.2中，由于管道内壁图像不同截面上的点与相机间的距离不同，所以在任一管道内壁图像中，不同管道截面展开后会产生不同程度的形变；为降低不同管道截面展开的形变，本发明选取有效截面区域的平均圆半径r_b作为管道截面的基准圆半径，平均圆半径

由于有效截面区域的内外侧边界作为有效数据，因此，柱面展开图像的高度H＝r_max-r_min+1。

本发明中，向前映射坐标变换方法为从原图像坐标计算对应的变换后的图像坐标，作为本发明步骤3.1的其中一具体实施方式，根据已知的有效截面图像的中心点坐标作为原点建立坐标系，可知有效截面图像中位于第一象限的点坐标与柱面展开图像中的映射坐标的对应关系如下：

由于圆的对称性，位于其他象限的映射坐标与第一象限中的映射坐标对应关系分别表示为

其中，(x,y)表示有效截面图像中的点坐标，(x″₁,y″₁)，(x″₂,y″₂)，(x″₃,y″₃)，(x″₄,y″₄)表示柱面展开图像中分别分布在第1、2、3、4象限的映射坐标。

本发明步骤3.1利用原图像坐标计算对应的映射坐标时，得到的映射坐标的坐标值存在不是整数的情况，而以非整数形式表达的坐标点是无法在图像这种离散数据上使用的，即存在漏点的情况；为了提高图像展开的精度且兼顾图像处理速度，本发明采用双线性插值确定漏点的像素值，即通过柱面展开图像中该漏点周围已知像素的灰度值确定漏点的像素值，此为本领域的公知常识，本领域技术人员可根据实际情况自行设置。

所述步骤5包括以下步骤：

步骤5.1：通过SURF算法分别提取第i幅柱面展开图像及对应的基准图像的特征点，确定特征点的坐标和特征描述子；

步骤5.2：基于特征描述子对第i幅柱面展开图像及对应的基准图像通过高维数据的快速最近邻算法进行特征点匹配，得到特征点对；

步骤5.3：通过特征点对的坐标对应关系得到仿射变换矩阵，利用仿射变换矩阵将第i幅柱面展开图像中任一像素点转换到对应基准图像的坐标系中；

步骤5.4：对第i幅柱面展开图像及对应的基准图像进行图像修正，图像像素融合，生成第i-1幅拼接图像，i+1并返回步骤2。

本发明中，作为步骤5.1的其中一具体实施方式，所述步骤5.1包括以下步骤：

步骤5.1.1：初始化矩阵阈值，构造Hessian矩阵，分别计算第i幅柱面展开图像和对应的基准图像中任一像素点的Hessian矩阵，通过近似公式计算对应像素点的Hessian矩阵的特征值α，所述Hessian矩阵表示为

所述近似公式表示为α＝L_xxL_yy(x,σ)-(0.9L_xy(x,σ))²，其中，x表示基准图像或第i幅柱面展开图像中任一像素点的灰度值，σ表示基准图像或第i幅柱面展开图像中像素点的Hessian矩阵的尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)表示当前像素点经高斯滤波后在x,y方向上的二阶偏导数；

步骤5.1.2：判断任一像素点的特征值α是否大于领域极大值及矩阵阈值，若是，则作为特征点，否则删除；

步骤5.1.3：确定任一特征点的主方向，并构造对应的SURF特征描述子。

作为本发明步骤5.1.2的其中一具体实施方式，所述步骤5.1.2包括以下步骤：

步骤5.1.2.1：对第i幅柱面展开图像和对应的基准图像分别构造高斯金字塔；

步骤5.1.2.2：将任一像素点的特征值α与其在高斯金字塔中三维领域的26个点进行大小数值比较，若该像素点的特征值为这26点中的最大值或最小值，则作为待检点，否则，删除；

步骤5.1.2.3：判断待检点的特征值是否小于矩阵阈值，若是，删除，否则保留，作为特征点。此为本领域的公知常识。

本发明步骤5.1.3中，确定任一特征点的主方向为统计特征点领域内的Harr小波特征，选择最长矢量的方向为特征点的主方向，此为本领域常规技术手段，本领域技术人员可以根据实际情况自行设置。

本发明步骤5.1.3中，构造对应的SURF特征描述子具体为：在特征点周围取一个带方向的正方形框，框的边长为20s(s是所检测到该特征点所在的尺度)，方向为对应的特征点主方向；把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。

本发明中，通过SURF算法提取的特征点具有尺度不变和旋转不变的特性，对光照变化和仿射变化也具有很强的鲁棒性，并且处理速度较快。

所述步骤5.2中，通过高维数据的快速最近邻算法对第i幅柱面展开图像对应的基准图像进行特征点匹配，包括以下步骤：

步骤5.2.1：根据第i幅柱面展开图像的所有特征点通过k均值聚类算法构建一个层次化的k-d树；

步骤5.2.2：对第i幅柱面展开图像的所有特征点通过k-d树构建k-d树索引；

步骤5.2.3：对基准图像的任一特征点采用K近邻算法在k-d树索引中查找对应的节点，得到若干初步特征点对；

步骤5.2.4：使用Lowe's策略对初步特征点对进行筛选，得到特征点对。

本发明中通过Lowe's算法进一步筛选匹配点对，来获取优秀的匹配点对，这就是所谓的“去粗取精”。为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。Lowe推荐ratio的阈值范围为0.8。上述SIFT关键点对应到本发明中为特征点，一对匹配点为一特征点对。

本发明通过K近邻算法快速获取初步特征点，并通过Lowe's策略去除无匹配的点，得到最后的特征点对，提高了匹配精度。

所述步骤5.3包括以下步骤：

步骤5.3.1：构造仿射变换矩阵模型，仿射变换矩阵模型为

其中，x₀表示第i幅柱面展开图像中任一像素点在水平方向的平移量，y₀表示第i幅柱面展开图像中任一像素点在轴向方向的平移量，s_y表示在水平方向的比例变换因子，s_y表示在轴向方向的比例变换因子，x和y分别表示第i幅柱面展开图像的任一特征点的横坐标和纵坐标，a和b分别表示基准图像的对应的特征点的横坐标和纵坐标；

步骤5.3.2：通过特征点对的坐标对应关系得到仿射变换参数x₀、y₀、s_x、s_y；

步骤5.3.3：将第i幅柱面展开图像的任一像素点坐标代入仿射变换矩阵得到映射到基准图像的像素点坐标。

本发明步骤5.3.1中，管道机器人采集的管道内壁图像主要存在平移和尺度变化，几乎没有旋转变化，因此没有设置旋转参数。

作为本发明其中一具体实施方式，步骤5.3.2中，可将任意两对特征点对[(a₁,b₁),(x₁,y₁)]、[(a₂,b₂),(x₂,y₂)]分别代入仿射变换模型，得到方程组，通过求解方程组即可得到仿射变换的具体参数值，求解得到具体参数值为本领域普通技术人员的常规技术手段。

所述步骤5.4中，图像修正包括图像亮度修正，所述图像亮度修正包括以下步骤：

步骤5.4.1：计算第i幅柱面展开图像和对应的基准图像间像素的平均亮度差异dist，

其中，W表示第i幅柱面展开图像的宽度，H表示第i幅柱面展开图像的高度，p_ij表示基准图像中第i行第j列像素的亮度；p′_ij表示第i幅柱面展开图像中第i行第j列像素的亮度；

步骤5.4.2：判断dist＜ε，若是，则执行步骤5.4.3，否则结束，其中ε为预设修正阈值；

步骤5.4.3：取修正参数

对第i幅柱面展开图像和对应的基准图像中任一像素的灰度值分别修正为min(255,p′_ij-δ)和min(255,p_ij-δ)。

本发明中，由于管道机器人采用的是点光源，导致管道内部亮度不均，得到的管道内壁图像可能会存在明显的亮度差异，因此需要在融合前对图像进行亮度修正；本发明中，图像修正包括但不限于图像亮度修正，所述预设修正阈值的具体值由点光源的光照强度、气候、湿度决定。

所述步骤5.4中，利用第i幅柱面展开图像和对应的基准图像的重叠区域将两幅图像融合形成第i-1幅拼接图像，重叠区域中的任一像素点的像素值为第i幅柱面展开图像上对应像素点及基准图像上对应像素点的像素加权和，所述第i幅柱面展开图像上对应像素点的像素权重为像素点到重叠区域的左边界的水平距离与重叠区域的宽度的比值，所述基准图像上对应像素点的像素权重为像素点到重叠区域的右边界的水平距离与重叠区域的宽度的比值。

所述步骤5.4中，对重叠区域中的任一像素，其像素值通过其到重叠区域的边界的距离动态调整权重。

本发明步骤5.4中，设I为融合后的图像，I₁表示基准图像，I₂表示第i幅柱面展开图像，则融合后的图像I上任一像素点I(x,y)像素值的表达式如下所示：

其中，w₁(x,y)为重叠区域中基准图像的任一像素点I₁(x,y)的像素值权重，w₂(x,y)为重叠区域中第i幅柱面展开图像上任一像素点I₂(x,y)的权重，拼接图像中重叠区域的任一像素点的像素值根据重叠区域中第i幅柱面展开图像和基准图像任一像素点到边界的距离动态调整。

如重叠区域的宽度为width，重叠区域的右边界为x_R，重叠区域的左边界为x_L，则重叠区域中基准图像任一像素的像素权重的表达式为：

重叠区域中第i幅柱面展开图像任一像素的像素权重的表达式为

本发明通过重叠区域权重值的动态变化，实现了重叠区域的平滑过渡，消除了图像重叠的区域亮度和颜色差异。

所述步骤5.3中，判断仿射变换矩阵的中x₀与管道机器人在管道内壁中移动的位移L的差值是否在移动阈值范围τ内，记为|x₀-L|∈τ,若是，则利用仿射变换矩阵将第i幅柱面展开图像中任一像素点转换到对应基准图像的坐标系中，否则返回步骤2，其中，L＝β(v/u)，u表示管道机器人的摄像机的帧速，v为管道机器人行进的速度，β表示图像的放大率；

所述图像的放大率β表达式为β＝S_img/S_real，S_img表示管道模型内壁图像中半径为R＝(r_max+r_min)/2所在任一棋盘方格的面积，S_real表示标定纸上任一棋盘方格的面积。

本发明中，若|x₀-L|∈τ，则说明第i幅柱面展开图像与对应的基准图像配准正确，可进行图像融合成生成第i-1幅拼接图像，否则说明配准不正确，舍弃当前帧图像，重新采集第i幅管道内壁图像；移动阈值范围τ受管道缺陷、管道机器人的型号、摄像机型号等影响。

在全景成像过程中，若由于相机抖动等原因，造成图像质量下降，则可能会出现较大的处理失误，导致图像全景成像处理效果很差，通过仿射变换矩阵的参数对图像的配准结果进行校验，以提高系统的准确性和可靠性。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于管道机器人的管道全景扫描方法，其特征在于，所述方法包括以下步骤：

步骤1：管道机器人采集管道模型内壁图像，确定管道模型内壁图像的有效截面区域相对于管道模型内壁图像的中心点的标准半径范围(r_min,r_max)；初始化i＝1；

步骤2：管道机器人采集真实管道内部的第i幅管道内壁图像后进行中心偏移校正，得到第i幅管道内壁图像的中心点坐标(x_c,y_c)；通过中心点坐标和步骤1所得的标准半径范围确定第i幅管道内壁图像的有效截面区域并截取，得到对应的有效截面图像；

步骤3：通过向前映射坐标变换方法对有效截面图像展开后得到第i幅柱面展开图像；

步骤4：判断i＝1,若是，则i＝i+1并返回步骤2，否则，执行步骤5；

步骤5：对第i幅柱面展开图像及对应的基准图像通过图像拼接技术形成第i-1幅拼接图像，i＝i+1并返回步骤2；当i＝2时，对应的基准图像为第1幅柱面展开图像，否则，对应的基准图像为第i-2幅拼接图像。

2.如权利要求1所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤1中，确定管道模型内壁图像的有效截面区域包括以下步骤：

步骤1.1.1：以涂有棋盘方格图像的标定纸制作管道模型，管道机器人采集一幅管道模型内壁图像；

步骤1.1.2：将管道模型内壁图像展开为矩形图像，所述矩形图像为m×n的方格，m行方格的高度依次减小；

步骤1.1.3：计算任一列任一方格的长宽比f，判断η＜f≤1，若是，则将该方格作为有效方格，否则忽略，其中η表示畸变有效预设值；

步骤1.1.4：判断任一行是否由若干有效方格组成，若是，根据坐标对应关系，得到管道模型内壁图像的有效截面区域，否则忽略。

3.如权利要求1所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤1中，确定管道模型内壁图像的中心点坐标(x'_c,y'_c)包括以下步骤：

步骤1.2.1:采用canny算法检测管道模型内壁图像的边缘，得到边缘的二值化图像；

步骤1.2.2：基于边缘的二值化图像采用hough变换检测任意两条管道模型内壁图像的直线，任一直线为向心线，计算两直线的交点作为管道模型内壁图像的中心点坐标。

4.如权利要求1所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：判断i＝1，若是，第i幅管道内壁图像的中心点坐标为管道模型内壁图像的中心点坐标(x'_c,y'_c)，否则执行步骤2.2

步骤2.2：以第i-1幅管道内壁图像的中心点作为初始中心点，以一个像素单位为环形长度对第i-1幅管道内壁图像进行环形分割，得到若干个环形内壁图像，计算得到任一环形内壁图像的像素均值z_α，其中α∈{1,2,3,...}；

步骤2.3：采集第i幅管道内壁图像中的所有像素的灰度值z_β，其中，β∈{1,2,3,...}，确定任一像素的灰度值属于任一环形内壁图像的灰度均值z_α与设定范围λ之和，记为z_β∈λ+z_α，若是，则作为对应拟合圆C_α的其中一像素，其中，α∈{1,2,3,...}，否则舍弃；

步骤2.4：基于对应像素的坐标对其中一拟合圆采用最小二乘法求取圆心坐标

其中，α∈{1,2,3,...}。

5.如权利要求1所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：通过向前映射坐标变换方法确定有效截面图像上任一点映射到第i幅柱面展开图像上的映射坐标，其中，所述第i幅柱面展开图像的宽度

高度H＝r_max-r_min+1；

步骤3.2：对有效截面图像上任一点采用双线性差值算法得到映射坐标的像素值，最后得到第i幅柱面展开图像。

6.如权利要求1所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤5包括以下步骤：

步骤5.1：通过SURF算法分别提取第i幅柱面展开图像及对应的基准图像的特征点，确定特征点的坐标和特征描述子；

步骤5.2：基于特征描述子对第i幅柱面展开图像及对应的基准图像通过高维数据的快速最近邻算法进行特征点匹配，得到特征点对；

步骤5.3：通过特征点对的坐标对应关系得到仿射变换矩阵，利用仿射变换矩阵将第i幅柱面展开图像中任一像素点转换到对应基准图像的坐标系中；

步骤5.4：对第i幅柱面展开图像及对应的基准图像进行图像修正，图像像素融合，生成第i-1幅拼接图像，i+1并返回步骤2。

7.如权利要求6所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤5.3包括以下步骤：

步骤5.3.1：构造仿射变换矩阵模型，仿射变换矩阵模型为

其中，x₀表示第i幅柱面展开图像中任一像素点在水平方向的平移量，y₀表示第i幅柱面展开图像中任一像素点在轴向方向的平移量，s_x表示在水平方向的比例变换因子，s_y表示在轴向方向的比例变换因子，x和y分别表示第i幅柱面展开图像的任一特征点的横坐标和纵坐标，a和b分别表示基准图像的对应的特征点的横坐标和纵坐标；

步骤5.3.2：通过特征点对的坐标对应关系得到仿射变换参数x₀、y₀、s_x、s_y，得到仿射变换矩阵；

步骤5.3.3：将第i幅柱面展开图像的任一像素点坐标代入仿射变换矩阵得到映射到基准图像的像素点坐标。

8.如权利要求6所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤5.4中，图像修正包括图像亮度修正，所述图像亮度修正包括以下步骤：

步骤5.4.1：计算第i幅柱面展开图像和对应的基准图像间像素的平均亮度差异dist，

其中，W表示第i幅柱面展开图像的宽度，H表示第i幅柱面展开图像的高度，p_ij表示基准图像中第i行第j列像素的亮度；p_i'_j表示第i幅柱面展开图像中第i行第j列像素的亮度；

步骤5.4.2：判断dist＜ε，若是，则执行步骤5.4.3，否则结束，其中ε为预设修正阈值；

步骤5.4.3：取修正参数

对第i幅柱面展开图像和对应的基准图像中任一像素的灰度值分别修正为min(255,p_i'_j-δ)和min(255,p_ij-δ)。

9.如权利要求6所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤5.4中，利用第i幅柱面展开图像和对应的基准图像的重叠区域将两幅图像融合形成第i-1幅拼接图像，重叠区域中的任一像素点的像素值为第i幅柱面展开图像上对应像素点及基准图像上对应像素点的像素加权和，所述第i幅柱面展开图像上对应像素点的像素权重为像素点到重叠区域的左边界的水平距离与重叠区域的宽度的比值，所述基准图像上对应像素点的像素权重为像素点到重叠区域的右边界的水平距离与重叠区域的宽度的比值。

10.如权利要求6所述的一种基于管道机器人的管道全景扫描方法，其特征在于，所述步骤5.3中，判断仿射变换矩阵的中x₀与管道机器人在管道内壁中移动的位移L的差值是否在移动阈值范围τ内，记为|x₀-L|∈τ，若是，则利用仿射变换矩阵将第i幅柱面展开图像中任一像素点转换到对应基准图像的坐标系中，否则返回步骤2，其中，L＝β(v/u)，u表示管道机器人的摄像机的帧速，v为管道机器人行进的速度，β表示图像的放大率；

所述图像的放大率β表示为β＝S_img/S_real，S_img表示管道模型内壁图像中半径为R＝(r_max+r_min)/2所在任一棋盘方格的面积，S_real表示标定纸上任一棋盘方格的面积。

Images