CN111967337A - 一种基于深度学习和无人机影像的管道线变化检测方法 - Google Patents

Abstract

本发明提供一种基于深度学习与无人机影像的管道线变化检测方法，属于管道线检测技术领域。该方法通过无人机获取多幅管道线影像，基于优化后的SIFT算法，结合对影像进行高精度配准和拼接的预处理，然后再利用深度学习改进算法实现管道线的变化检测。优化后的SIFT算法以传统的SIFT算法为基础，采用RANSAC算法和Levenberg‑Marquardt算法对传统SIFT算法处理结果进行进一步地的求精，使得在特征匹配时剔除大量的误差匹配点，同时对单应矩阵高度求精，并且使用的影像拼接方式能最大限度的使得拼接累计误差减小。

Description

一种基于深度学习和无人机影像的管道线变化检测方法

技术领域

本发明属于管道线检测技术领域，具体涉及一种基于深度学习与无人机影像相结合用于检测管道线变化的方法

背景技术

管道在运输气体、液体等物体时具有安全、高效率等优势，因此在石油、天然气等资源输送过程中常用管道作为运输工具。然而随着时间的推移，管道线可能会因为自身原因以及外界因素的影响而发生形变，从而造成管道内物体泄露，带来严重的经济损失和环境污染。对管道线进行定期的维护和变化检测，能及时发现管道线存在的问题和安全隐患，从而采取有效的措施避免进一步发生管内物体泄漏。

变化检测就是对同一物体，在不同时间采取相应的手段检测其是否发生变化。传统的变化检测数据获取工作主要通过以下三种途径进行：利用遥感卫星、利用载人航空摄影以及人工实际勘探。利用卫星遥感能够获取大面积的空间地理数据信息，同时还可获取人工难以到达区域的信息，但是由于卫星的轨道周期较为固定且轨道高度较高，容易受到云层遮挡以及其他气象环境因素的影响。而传统的载人航空摄影方式虽然能够获取指定区域的高分辨率影像，但是其使用成本较高，缺乏快速性和机动性，特别是在情况紧急的情况下难以快速完成数据获取工作。使用人工勘探的方式，不仅要消耗大量的物力和人力，而且还受到天气、地形以及人为因素的干扰，使得数据采集的效率很低。而如果想针对管线的变化进行快速检测，利用传统的数据获取方式显然是不能满足要求的。

无人机因其成本低、受地面地形约束小的优点，目前已成为很多领域的新热点。由于无人机能实现影像实时获取，获取的影像数据分辨率高，并且带有地理位置等相关信息，因此能够保证各种监测任务以及结果的准确性。但是无人机在飞行过程中会出现机身震颤抖动，导致摄像位置和角度存在偏差等问题，从而造成影像之间出现几何形变，并且在一些特定拍摄场景，一幅影像不能涵盖所有的检测目标和区域。除此之外，虽然随着人工智能技术的迅速发展，关于机器学习和深度学习在图像检测和图像识别等方面的研究日益增多。但目前将深度学习引入无人机影像图像处理领域的研究大多是对目标进行识别和目标检测，并且其用到的数据都是单幅影像或视频，并没有考虑到一张影像中目标物拍摄不全的问题。因此，对于目标物在一张影像上显示不全，并且同时出现在多幅无人机遥感影像上的情况来说，如要实现对整个目标物的变化检测，则对影像进行配准和拼接的预处理是相当重要的。

因此，利用无人机获取管道线影像，而管线长度不能由一张影像完全显示，那么必须先对影像进行高精度配准和拼接的预处理，然后再利用学习改进算法才能实现管道线前后的变化检测。

发明内容

针对背景技术所存在的问题，本发明的目的在于提供一种基于深度学习和无人机影像的管道线变化检测方法。该方法通过无人机获取多幅管道线影像，基于优化后的SIFT(Scale I nvariant Feature Transform,尺度不变特征变化)算法，结合对影像进行高精度配准和拼接的预处理，然后再利用深度学习改进算法实现管道线的变化检测。优化后的SIFT算法以传统的 SIFT算法为基础，采用RANSAC算法(Random Sample Consensus，随机采样一致性)和L evenberg-Marquardt算法对传统SIFT算法处理结果进行进一步地的求精。

为实现上述目的，本发明的技术方案如下：

一种基于深度学习和无人机影像的管道线变化检测方法，包括以下步骤：

步骤1.获取无人机遥感影像，并进行预处理；

步骤2.使用优化的SIFT算法，并结合多级分组方式，对步骤1预处理后的影像进行拼接处理，具体的处理过程为：

步骤2.1.基于传统的SIFT算法进行特征点的提取，获取匹配点集S；

步骤2.2.通过RANSAC算法对匹配点集S进行筛选，消除异常值，具体过程为：

步骤2.2.1.设置阈值R，在匹配集合S中随机选择n(n≥4)对匹配点(任意3对不共线 )，并将这些匹配点作为初始内点计算得到初始单应矩阵；

步骤2.2.2.将集合S中其余匹配点与初始单应矩阵进行拟合，并计算对应点位置坐标与实际位置的距离d；

步骤2.2.3.若d>R，则该点为外点；若d<R，则该点为内点，并添加到内点集合中，用线性最小二乘法更新单应矩阵。

步骤2.2.4.重复上述步骤，选择内点数最多的一组集合作为正确匹配点集合；

步骤2.2.5.基于步骤2.2.4消除异常值后的匹配点集进行计算得到单应矩阵M；

步骤2.3.基于Levenberg-Marquardt(L-M)算法对步骤2.2得到的单应矩阵M进一步求精，得到最优单应矩阵H，具体过程为：

先基于L-M算法获得初始线性最小二乘解，然后将这个解作为初始猜测，并使用成本函数来找到函数达到最小值的位置，多次迭代后，获得优单应矩阵H；

步骤2.4.使用多级分组的方式拼接影像，具体过程为：

将无人机拍摄的n张影像中的每相邻的两张影像两两分为一组，则可以将全部影像分为 n-1组，并对每一组影像使用基于步骤2.1至步骤2.3的优化SIFT算法进行特征点提取、匹配等过程，直至匹配结束获得n-1组一级拼接影像；

然后再将拼接后的n-1组拼接影像中的每相邻的两张影像两两分为一组，采用优化SIFT 算法进行匹配拼接，获得二级拼接影像；

重复上述分组拼接过程，直至最后获得一张拼接后的全景影像；

步骤3.通过多任务的损失函数和Adam优化器来训练Mask R-CNN模型：

首先在步骤2拼接后的影像输入时通过一个神经网络层(CNN)从而获取到影像的feature Map(特征地图)，然后再通过RPN(Region Proposal Network)选定部分RoI(Region of Interest )，并且对RoI的feature map进行RoI Align(双线性插值方法)处理，RoI Align层用来解决特征不对准的问题，最后再将RoI Align输出的feature map通过一个全卷积网络进行处理，输出像素级别的mask；

步骤4.将步骤2拼接后的全景影像输入步骤3训练好的Mask R-CNN模型进行管道线变换检测，输出对比图像：

使用经过本发明优化SIFT算法拼接好的两幅影像进行变化检测，在整个变化检测过程中，首先会对目标物即管线进行检测和分割，然后使用逐像素比对算法对识别和分割后的物体进行变化区域的计算，然后输出对比图像。

进一步地，无人机获取影像时以管线为中心进行影像拍摄，可以通过设置航高控制拍摄范围。

进一步地，预处理包括对影像进行几何校正，然后进行进行匀光匀色处理。

进一步地，步骤2.1基于传统的SIFT算法进行特征点的提取，获取匹配点集S的具体过程为：

步骤2.1.1.尺度空间极值提取：假设一幅二维影像为I(x,y)，其尺度空间函数为L(x,y,σ)，则由高斯核函数G(x,y,σ)和影像数据I(x,y)可得：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

经过变换后，高斯核函数可表示为：

其中，x和y表示像素点在空间中的横纵坐标，σ代表高斯核函数的尺度因子，σ的大小决定影像的平滑程度，σ越大，影像越平滑，细节信息越少；σ越小，影像细节信息越多； *表示卷积；由于不同大小的尺度因子可使图像在不同尺度上的特征得到突出显示，从而保证了检测出的特征点具有尺度不变性；

为了能有效的在尺度空间里检测出稳定的特征点，通过高斯差分(Difference ofGaussia n，DoG)极值作为判断依据，设高斯差分函数为D(x,y,σ)，则：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y) (3)

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ) (4)

其中，k为两相邻尺度空间倍数的常数；

将高斯差分图像中的每个像素与它的3*3领域，它对应的上一邻近尺度和下一邻近尺度图像的3*3领域，共26个像素点比较，若此点DoG值为最大或最小，则判定该点为极值点，然后进行记录和保存，得到以整数形式表示的特征点的坐标位置；

步骤2.1.2.特征点筛选：为了能精确定位极值点，采取的方式为拟合三维二次函数，然后通过该函数来定位关键点，并且把稳定性较差的边缘响应点和对比度较低的点剔除，使得匹配稳定性增强，抗噪声能力提高；

对尺度空间DoG函数进行曲线拟合，利用DoG函数在尺度空间的Taylor展开式(拟合函数)为：

其中，X＝(x,y,σ)^T，X为候选特征点；

对D(X)求导并让方程等于零，得到候选特征点的偏移量为：

再将候选极值点的偏移量

代入D(X)的泰勒展开式中，因为过小的点易受噪声的干扰而变得不稳定，设对比度的阈值为T，若

(一般T取0.03)，则去除这个极值点；得到筛选后的特征点；

步骤2.1.3.特征方向赋值：特征点描述向量是不具备旋转不变性的，为了使其具有旋转不变性，就要对每一个特征点进行计算，并给它们赋予一个主方向，通过关键点邻域像素之间的梯度方向分布特征可以求出方向参数；

梯度方向m(x,y)和梯度的模θ(x,y)可通过如下公式计算得到：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (8)

其中，L(x,y)是关键点所在的尺度空间，通过直方图对特征点邻域像素的梯度方向进行统计，在直方图中峰值对应的方向即为特征点的主方向；若在直方图中出现一个局部大于主峰值80％能量的峰值，则生成一个新特征点，该新特征点的主方向由此局部峰值确定；

步骤2.1.4.特征描述：

在确定了特征点的尺度、方向参数和位置之后，需要对每个关键点建立一个描述符，即用一个向量来描述关键点使其不随光照、视角等变化而变化：按照特征点的方向旋转坐标轴；以特征点为中心取8×8的窗口，然后将该窗口分为16个2×2的小块，同时对每个小块内各点的梯度方向进行计算，由于每个小块都对应了8个方向，因此一个特征点可对应16×8＝128 维的向量；

步骤2.1.4.特征匹配：对于提取的多个特征点，每个特征点都包含128维特征向量，进行特征点匹配；

计算两个特征点之间的近似度通常使用欧氏距离表示，欧式距离具体公式为：

其中，x_i为匹配影像的某个特征点，y_i为待匹配影像的某个特征点；

然后对匹配点进行筛除，该特征点最近与次近欧氏距离的比值与阈值T进行对比，若比值比阈值小，则匹配成功，若比值比阈值大，则匹配失败，并删除该匹配点对，得到匹配点的集合S；

其中，Min{Distance}代表欧式距离的最近距离，用SecMin{Distance}代表欧式距离的次近距离，T为阈值。

进一步地，将阈值T设置的越小，则SIFT匹配点的数目也会随之减少，但是结果却更加稳定。通常T的取值为0.2到0.6之间时特征点匹配效果较好。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

标准SIFT算法在对地面下的管线对应的地面进行拼接时，由于地面缺少建筑物等标志性物体，且影像色彩变化不明显，因此使得在对影像进行特征提取时获得的特征点数目较少，同时在匹配时容易出现误匹配，从而影响后续影像拼接效果。针对所拍摄到的管线影像存在特征不明显、特征点提取效果不理想、误差匹配等问题，本文提出一种优化SIFT算法，该优化算法能够在特征匹配时剔除大量的误差匹配点，同时对单应矩阵高度求精，并且使用的影像拼接方式能最大限度的使得拼接累计误差减小。

附图说明

图1为优化SIFT算法流程图。

图2为串行影像拼接流程图。

图3为多级分组影像拼接流程图。

图4为基于Mask R-CNN的管线变化检测优化结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

一种基于深度学习和无人机影像的管道线变化检测方法，包括以下步骤：

步骤1.获取无人机遥感影像，并进行预处理；

为了避免无人机相机对影像产生影响，故在飞行之前已对无人机的相机进行过标定等处理。为了能每次对一条固定的管线进行变化检测任务，所以将飞行的航线固定，采用的航线生成方式为定点任务飞行。定点任务飞行可以根据管线的走向和位置任意设定飞行轨迹，从而能拍摄到有效的数据；

步骤2.使用优化的SIFT算法，优化SIFT算法流程图如图1所示，并结合多级分组方式，对步骤1预处理后的影像进行拼接处理，具体的处理过程为：

步骤2.1.基于传统的SIFT算法进行特征点的提取，获取匹配点集S，具体过程为：

步骤2.1.1.尺度空间极值提取：假设一幅二维影像为I(x,y)，其尺度空间函数为L(x,y,σ)，则由高斯核函数G(x,y,σ)和影像数据I(x,y)可得：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

经过变换后，高斯核函数可表示为：

其中，x和y表示像素点在空间中的横纵坐标，σ代表高斯核函数的尺度因子，σ的大小决定影像的平滑程度，σ越大，影像越平滑，细节信息越少；σ越小，影像细节信息越多； *表示卷积；由于不同大小的尺度因子可使图像在不同尺度上的特征得到突出显示，从而保证了检测出的特征点具有尺度不变性；构建高斯金字塔G；

为了能有效的在尺度空间里检测出稳定的特征点，通过高斯差分(Difference ofGaussia n，DoG)极值作为判断依据，设高斯差分函数为D(x,y,σ)，则：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y) (3)

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ) (4)

其中，k为两相邻尺度空间倍数的常数；

将高斯差分图像中的每个像素与它的3*3领域，它对应的上一邻近尺度和下一邻近尺度图像的3*3领域，共26个像素点比较，若此点DoG值为最大或最小，则判定该点为极值点，然后进行记录和保存，得到以整数形式表示的特征点的坐标位置；

基于高斯金字塔G构建高斯差分金字塔G，对同一个八度的两幅相邻的图像做差得到插值图像，所有八度的这些插值图像的集合，就构成了差分高斯金字塔；

步骤2.1.2.特征点筛选：为了能精确定位极值点，采取的方式为拟合三维二次函数，然后通过该函数来定位关键点，并且把稳定性较差的边缘响应点和对比度较低的点剔除，使得匹配稳定性增强，抗噪声能力提高；

对尺度空间DoG函数进行曲线拟合，利用DoG函数在尺度空间的Taylor展开式(拟合函数)为：

其中，X＝(x,y,σ)^T，X为候选特征点；

对D(X)求导并让方程等于零，得到候选特征点的偏移量为：

再将候选极值点的偏移量

代入D(X)的泰勒展开式中，因为过小的点易受噪声的干扰而变得不稳定，设对比度的阈值为T，若

(一般T取0.03)，则去除这个极值点；得到筛选后的特征点；

步骤2.1.3.特征方向赋值：特征点描述向量是不具备旋转不变性的，为了使其具有旋转不变性，就要对每一个特征点进行计算，并给它们赋予一个主方向，通过关键点邻域像素之间的梯度方向分布特征可以求出方向参数；

梯度方向m(x,y)和梯度的模θ(x,y)可通过如下公式计算得到：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (8)

其中，L(x,y)是关键点所在的尺度空间，通过直方图对特征点邻域像素的梯度方向进行统计，在直方图中峰值对应的方向即为特征点的主方向；如果在直方图中存在一个局部大于逐峰值80％的方向，那么这个方向可以作为特征点的辅方向；

步骤2.1.4.特征描述：

在确定了特征点的尺度、方向参数和位置之后，需要对每个关键点建立一个描述符，即用一个向量来描述关键点使其不随光照、视角等变化而变化：按照特征点的方向旋转坐标轴；以特征点为中心取8×8的窗口，然后将该窗口分为16个2×2的小块，同时对每个小块内各点的梯度方向进行计算，由于每个小块都对应了8个方向，因此一个特征点可对应16×8＝128 维的向量；

步骤2.1.4.特征匹配：对于提取的多个特征点，每个特征点都包含128维特征向量，进行特征点匹配；

计算两个特征点之间的近似度通常使用欧氏距离表示，欧式距离具体公式为：

其中，x_i为匹配影像的某个特征点，y_i为待匹配影像的某个特征点；

然后对匹配点进行筛除，该特征点最近与次近欧氏距离的比值与阈值T进行对比，若比值比阈值小，则匹配成功，若比值比阈值大，则匹配失败，并删除该匹配点对，得到匹配点的集合S；

其中，Min{Distance}代表欧式距离的最近距离，用SecMin{Distance}代表欧式距离的次近距离，T为阈值。

步骤2.2.通过RANSAC算法对匹配点集S进行筛选，消除异常值，具体过程为：

步骤2.2.1.设置阈值R为30，在匹配集合S中随机选择6对不共线的匹配点，并将这些匹配点作为初始内点计算得到初始单应矩阵；

步骤2.2.2.将集合S中其余匹配点与初始单应矩阵进行拟合，并计算对应点位置坐标与实际位置的距离d；

步骤2.2.3.若d>R，则该点为外点；若d<R，则该点为内点，并添加到内点集合中，用线性最小二乘法更新单应矩阵。

步骤2.2.4.重复上述步骤，选择内点数最多的一组集合作为正确匹配点集合；

步骤2.2.5.基于步骤2.2.4消除异常值后的匹配点集进行计算得到单应矩阵M；

步骤2.3.基于Levenberg-Marquardt(L-M)算法对步骤2.2得到的单应矩阵M进一步求精，得到最优单应矩阵H，具体过程为：

先基于L-M算法获得初始线性最小二乘解，然后将这个解作为初始猜测，并使用成本函数来找到函数达到最小值的位置，多次迭代后，获得优单应矩阵H；

步骤2.4.使用多级分组的方式拼接影像：

将无人机拍摄的5张影像中的每相邻的两张影像分为一组，则可以将全部影像分为4组，并对每一组影像使用基于步骤2.1至步骤2.3的优化SIFT算法进行特征点提取、匹配等过程，直至匹配结束获得4组一级拼接影像；

然后再将拼接后的4组拼接影像中的每相邻的两张影像分为一组，采用优化SIFT算法进行匹配拼接，获得二级拼接影像；

重复上述分组拼接过程，直至最后获得一张拼接后的全景影像；

步骤3.通过多任务的损失函数和Adam优化器来训练Mask R-CNN模型：

Mask R-CNN是一种深度神经网络，通过子采样层和卷积层多层组合的方式来不断学习输入样本影像数据的特征信息，最后得到样本影像数据的深度特征；Adam是一种计算每个参数的自适应学习率的方法。可以记录过去梯度指数的衰减平均值，并通过计算偏差校正后的指数来抵消这些偏差。

通过优化多任务的损失函数来训练Mask R-CNN，损失函数中包括分类的损失值、边框回归的损失值以及mask的损失值，通过优化mask的损失函数进一步优化整个损失函数，使其损失函数最优；

L＝L(class)+L(bbox)+L(mask) (11)

其中，L(class)为分类的损失值，L(bbox)为边框回归的损失值，L(mask)为mask的损失值。

优化结构图如图4所示，首先在步骤2拼接后的影像输入时通过一个神经网络层(CNN) 从而获取到影像的feature Map(特征地图)，然后再通过RPN(Region ProposalNetwork)选定一部分的RoI(Region of Interest)，并且对RoI的feature map进行RoIAlign(双线性插值方法)操作，RoI Align层用来解决特征不对准的问题，最后再将RoIAlign输出的feature map 通过一个全卷积网络进行处理，输出像素级别的mask；

步骤4.将步骤2拼接后的影像输入步骤3训练好的Mask R-CNN模型进行管道线变换检测，输出对比图像：

使用经过本发明优化SIFT算法拼接好的两幅影像进行变化检测，在整个变化检测过程中，首先会对目标物即管线进行检测和分割，然后使用逐像素比对算法对识别和分割后的物体进行变化区域的计算，然后输出对比图像。

传统的串行影像拼接如图2所示，首先以第一张影像为参考，拼接第一张和第二张影像，然后第三张影像和拼接完成的一二张影像再次拼接，后面的影像依次配准到前面拼接完成的影像上来。串行影像拼接，不仅会使影像的误差累计，导致后面拼接的影像误差越来越大，最终影响拼接效果，还相当耗时。

而本发明使用的多级分组影像流程能有效避免影像累积误差的产生，如图3所示。无人机影像分组思想为：一个航带中的n张影像，将相邻的两张影像分为一组，全部影像将分为 n-1组，并对每一组影像完成基于本发明的优化算法的特征点提取、匹配等过程；然后以中间影像为中心，基于上述步骤的分组，再用上述方法完成中心影像左右两边已分组影像的再次分组，并对每一组再次分组的影像完成基于本发明优化算法的特征点提取、匹配等过程；重复上述分组步骤，直到可以将所有影像以中心影像为对称轴分为两组，最后再将所有分组中，和中心影像分为一组的全部影像拼接在一起，完成拼接过程。

本发明实验选取的影像为无人机拍摄的5张影像，这些影像的像素大小都是5472*3648，为了对本文优化算法的特征点提取过程进行分析，将选取的影像分别在标准SIFT算法以及本文的优化算法下进行特征点提取分析，得到每张影像相应的特征点数如表1所示。

表1标准SIFT算法与优化SIFT算法生成的特征点数

从表中可以看出，使用标准SIFT算法提取到的特征点比优化SIFT算法提取到的特征点数目少，说明优化SIFT算法在特征点提取上的优化效果较好。

表2特征点匹配结果

通过表2可知，标准SIFT算法在匹配影像中找到的特征点为9504个，在待匹配影像中找到的特征点为9102个，而本文优化SIFT算法找到的特征点数目分别为19639和17511个。特征点的数目越多，则匹配点对的数量也越多，最后的拼接效果就会更好，通过分析可知，本文优化SIFT算法在特征点匹配结果上效果较好。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (7)

1.一种基于深度学习和无人机影像的管道线变化检测方法，其特征在于，包括以下步骤，

步骤1.获取无人机遥感影像，并进行预处理；

步骤2.使用优化的SIFT算法，并结合多级分组方式，对步骤1预处理后的影像进行拼接处理，具体的处理过程为：

步骤2.1.基于传统的SIFT算法进行特征点的提取，获取匹配点集S；

步骤2.2.通过RANSAC算法对匹配点集S进行筛选，消除异常值，具体过程为：

步骤2.2.1.设置阈值R，在匹配集合S中随机选择n对匹配点，并将这些匹配点作为初始内点计算得到初始单应矩阵；

步骤2.2.2.将集合S中其余匹配点与初始单应矩阵进行拟合，并计算对应点位置坐标与实际位置的距离d；

步骤2.2.3.若d>R，则该点为外点；若d<R，则该点为内点，并添加到内点集合中，用线性最小二乘法更新单应矩阵；

步骤2.2.4.重复上述步骤，选择内点数最多的一组集合作为正确匹配点集合；

步骤2.2.5.基于步骤2.2.4消除异常值后的匹配点集进行计算得到单应矩阵M；

步骤2.3.基于Levenberg-Marquardt(L-M)算法对步骤2.2得到的单应矩阵M进一步求精，得到最优单应矩阵H；

步骤2.4.使用多级分组的方式拼接影像，具体过程为：

将无人机拍摄的n张影像中的每相邻的两张影像两两分为一组，则可以将全部影像分为n-1组，并对每一组影像使用基于步骤2.1至步骤2.3的优化SIFT算法进行特征点提取、匹配等过程，直至匹配结束获得n-1组一级拼接影像；

然后再将拼接后的n-1组拼接影像中的每相邻的两张影像两两分为一组，采用优化SIFT算法进行匹配拼接，获得二级拼接影像；

重复上述分组拼接过程，直至最后获得一张拼接后的全景影像；

步骤3.通过多任务的损失函数和Adam优化器来训练Mask R-CNN模型：

步骤4.将步骤2拼接后的全景影像输入步骤3训练好的Mask R-CNN模型进行管道线变换检测，输出对比图像。

2.如权利要求1所述的管道线变化检测方法，其特征在于，步骤1中无人机获取影像时以管线为中心进行影像拍摄，通过设置航高控制拍摄范围。

3.如权利要求1所述的管道线变化检测方法，其特征在于，步骤1中预处理包括对影像进行几何校正，然后进行进行匀光匀色处理。

4.如权利要求1所述的管道线变化检测方法，其特征在于，步骤2.1基于传统的SIFT算法进行特征点的提取，获取匹配点集S的具体过程为：

步骤2.1.1.尺度空间极值提取：假设一幅二维影像为I(x,y)，其尺度空间函数为L(x,y,σ)，则由高斯核函数G(x,y,σ)和影像数据I(x,y)可得：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

经过变换后，高斯核函数可表示为：

其中，x和y表示像素点在空间中的横纵坐标，σ代表高斯核函数的尺度因子，σ的大小决定影像的平滑程度；

为了能有效的在尺度空间里检测出稳定的特征点，通过高斯差分(Difference ofGaussia n，DoG)极值作为判断依据，设高斯差分函数为D(x,y,σ)，则：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y) (3)

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ) (4)

其中，k为两相邻尺度空间倍数的常数；

将高斯差分图像中的每个像素与它的3*3领域，它对应的上一邻近尺度和下一邻近尺度图像的3*3领域，共26个像素点比较，若此点DoG值为最大或最小，则判定该点为极值点，然后进行记录和保存，得到以整数形式表示的特征点的坐标位置；

步骤2.1.2.特征点筛选：为了能精确定位极值点，采取的方式为拟合三维二次函数，然后通过该函数来定位关键点，并且把稳定性较差的边缘响应点和对比度较低的点剔除，使得匹配稳定性增强，抗噪声能力提高；

对尺度空间DoG函数进行曲线拟合，利用DoG函数在尺度空间的Taylor展开式(拟合函数)为，

其中，X＝(x,y,σ)^T，X为候选特征点；

对D(X)求导并让方程等于零，得到候选特征点的偏移量为：

再将候选极值点的偏移量

代入D(X)的泰勒展开式中，因为过小的点易受噪声的干扰而变得不稳定，设对比度的阈值为T，若

则去除这个极值点，得到筛选后的特征点；

步骤2.1.3.特征方向赋值：特征点描述向量是不具备旋转不变性的，为了使其具有旋转不变性，就要对每一个特征点进行计算，并给它们赋予一个主方向，通过关键点邻域像素之间的梯度方向分布特征可以求出方向参数；

梯度方向m(x,y)和梯度的模θ(x,y)通过如下公式计算得到：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (8)

其中，L(x,y)是关键点所在的尺度空间，通过直方图对特征点邻域像素的梯度方向进行统计，在直方图中峰值对应的方向即为特征点的主方向；如果在直方图中存在一个局部大于逐峰值80％的方向，那么这个方向可以作为特征点的辅方向；

步骤2.1.4.特征描述：在确定了特征点的尺度、方向参数和位置之后，需要对每个关键点建立一个描述符，即用一个向量来描述关键点使其不随光照、视角等变化而变化：按照特征点的方向旋转坐标轴，以特征点为中心取8×8的窗口，然后将该窗口分为16个2×2的小块，同时对每个小块内各点的梯度方向进行计算，由于每个小块都对应了8个方向，因此一个特征点可对应16×8＝128维的向量；

步骤2.1.4.特征匹配：对于提取的多个特征点，每个特征点都包含128维特征向量，进行特征点匹配；

计算两个特征点之间的近似度通常使用欧氏距离表示，欧式距离具体公式为：

其中，x_i为匹配影像的某个特征点，y_i为待匹配影像的某个特征点；

然后对匹配点进行筛除，该特征点最近与次近欧氏距离的比值与阈值T进行对比，若比值比阈值小，则匹配成功，若比值比阈值大，则匹配失败，并删除该匹配点对，得到匹配点的集合S；

其中，Min{Dis tan ce}代表欧式距离的最近距离，用Sec Min{Dis tan ce}代表欧式距离的次近距离，T为阈值。

5.如权利要求4所述的管道线变化检测方法，其特征在于，阈值T设置的越小，则SIFT匹配点的数目也会随之减少，但结果更加稳定。

6.如权利要求5所述的管道线变化检测方法，其特征在于，0.2＜T＜0.6。

7.如权利要求1所述的管道线变化检测方法，其特征在于，步骤2.2.1中匹配点的数目n≥4，且任意3对不共线。

Images