CN112308779A - 一种用于输电线路的图像拼接方法 - Google Patents

Abstract

本发明涉及一种用于输电线路的图像拼接方法，包括以下步骤：S1：获取无人机拍摄的多幅输电线路图像，并进行预处理；S2：对多幅图像分别进行特征点提取，并对特征点进行描述；S3：对各图像的特征点进行粗匹配；S4：对粗匹配中的错误匹配点进行剔除，完成各图像特征点的细匹配；S5：对待拼接图像的拼接临界部分进行加权融合处理，完成图像拼接，与现有技术相比，本发明具有匹配准确度高、速度快等优点。

Description

一种用于输电线路的图像拼接方法

技术领域

本发明涉及图像分析及处理技术领域，尤其是涉及一种用于输电线路的图像拼接方法。

背景技术

随着输电线路的增加，通过无人机巡检获得了大量的检测图像，为智能化巡检电力线路奠定了数据基础。但是由于缺乏自动化、批量化的图像处理技术，导致这些图像数据都不能及时地用于输电线路实时巡检。

现有技术中，图像拼接技术对于待拼接图像的成像质量有着较高的要求，电力线路巡检实时性要求较高，目前主流技术采用的大都是SIFT、SURT等算法进行图像特征点提取，描述等，较为耗费时间，尤其是输电线路图像拼接中，无法达到快速拼接的要求，不能较快较好的将得到的图像合成一幅大型的无缝高分辨率图像，这会很大程度上制约巡检员清晰、全方位地了解输电线路的状况，也使得巡检员对危险区域的电力线路巡检效率低，效果差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种快速准确进行实时拼接的用于输电线路的图像拼接方法，可应用于输电线路巡检等场景，使巡检员能够清晰、全方位地了解输电线路的状况，减少危险区域的人员活动的同时，更为快速全面的掌握线路情况。

本发明的目的可以通过以下技术方案来实现：

一种用于输电线路的图像拼接方法，包括以下步骤：

S1：获取无人机拍摄的多幅输电线路图像，并进行预处理；

S2：对多幅图像分别进行特征点提取，并对特征点进行描述；

S3：对各图像的特征点进行粗匹配；

S4：对粗匹配中的错误匹配点进行剔除，完成各图像特征点的细匹配；

S5：对待拼接图像的拼接临界部分进行加权融合处理，完成图像拼接。

进一步地，所述的步骤S2中，采用AKAZE算法对图像进行特征点提取，AKAZE算法在非线性尺度空间构造阶段，采用快速显式扩散算法，可以加速非线性尺度空间图像的生成。

进一步地，所述的步骤S2中，采用三元组描述符对特征点进行描述，三元组描述符在在计算过程中，保持了二进制描述符的优势，加快描述速度，且具有较好的鲁棒性。

进一步地，所述的步骤S3中，采用Grid-KNN算法对特征点进行粗匹配，采用Grid-KNN算法可以减少总遍历次数，从而减少匹配时间，加快匹配速度，实现图像的实时拼接。

进一步地，所述的步骤S4中，采用RANSAC算法对粗匹配中的错误匹配点进行剔除，使用Grid-KNN算法对特征点进行匹配会有匹配错误的特征点，采用RANSAC算法进行错误匹配点的剔除可以提高匹配准确率。

更进一步地，所述的三元组描述符采用三元组像素块的比对方式，确定二进制中相应位的取值，其对特征点进行描述的过程具体包括：

S21：在每个检测窗口W内获取T组三像素块，即每个检测窗口W内含有T个采样窗口，且每个采样窗口内含有三个像素块；

S22：选取每个采样窗口三个像素块中的一个像素块作为主像素块，剩余两个作为伴随像素块，并构建检测窗口W的像素块集S；

S23：比较主像素块与其他两个伴随像素块的平方和；

S24：根据比较结果，获取检测窗口W内的三元组描述符，建立特征向量描述。

所述的检测窗口W的像素块集S的表达式为：

S＝{s_t}_{t＝1，...，T}＝{[p_t，a，p_t，1，p_t，2]}_1，...，T

所述的三元组描述符b_W的表达式为：

其中，p_t，α、p_t，1和p_t，2分别为三个像素块中各像素块中心像素的坐标，p_t，a对应的像素块为主像素块，p_t,1和p_t,2对应的像素块为伴随像素块，s_t为第t组三像素块的像素块集合，||·||_F为范数运算符。

更进一步地，所述的采用Grid-KNN算法对特征点进行粗匹配，具体包括：

S31：随机选取待拼接图像中的图像作为参考图像，剩下的作为待配准图像，并将参考图像分为多个区域；

S32：对参考图像的每个区域分别与对应的待配准图像进行特征点匹配；

S33：返回执行步骤S31，直至所有图像都已完成特征点匹配。

更进一步地，所述的步骤S32中，首先对参考图像中每个区域的一个特征点，在所有待配准图像中搜索匹配特征点，得到待配准图像对应的匹配点，然后对该特征点所属区域中的所有特征点，在待配准图像匹配点的邻域中搜索匹配特征点，完成整个区域的特征点匹配。

更进一步地，所述的搜索匹配特征点具体包括以下步骤：

S321：从设定的搜索区域中搜索到距离参考图像中特征点最近的两个特征点，并获取对应的距离数值，记为最近邻距离和次近邻距离；

S322：分别比较设定阈值与最近邻距离和次近邻距离的大小，若结果均为小于设定阈值，则待配准图像中距离最近的特征点为匹配点。

更进一步地，所述的邻域的大小为3×3。

与现有技术相比，本发明具有以下优点：

1)本发明利用AKAZE算法进行特征点的提取，然后利用三元组描述符对特征点进行描述，再利用Grid-KNN算法进行特征点的粗匹配，最后采用随机一致性算法和加权平均融合算法对图像进行几何变换模型和图像融合，尽可能快速地将无人机拍摄的危险区域的电力线路巡检的多幅单张图片进行实时拼接，使巡检员能够清晰，全方位的了解输电线路的状况，减少危险区域的人员活动的同时，更为快速全面的掌握线路情况，提高巡检安全性和效率；

2)本发明利用AKAZE算法进行特征点的提取，然后利用三元组描述符对特征点进行描述，再利用Grid-KNN算法进行特征点粗匹配，相对于其他算法，三元组描述符是优化变种二值特征描述子，相关二值改进描述子使用滤波算法来降低局部邻域噪声的干扰，三元组描述符匹配性能要高于先前的二值描述特征，低于非二值描述特征；通过组合特征+描述符会发挥其作用，同时在特征匹配时增加运动平滑性约束，用来缩小特征匹配的区域，因为运动平稳的相邻的特征在运动空间中具有一致性，能够较快地加速图像特征点的描述与匹配，比较现在主流算法速度方面具有一定优势；

3)本发明利用AKZAE算法对特征点进行提取，在特征点描述阶段选用三元组描述符，三元组描述符在计算过程中，保持了二进制描述符的优势，与此描述符相比，基于直方图的描述子在速度上慢了一个数量级，而且该描述符还具有较好的鲁棒性，提高图像拼接的准确性；

4)本发明在特征点粗匹配阶段，采用Grid-KNN算法在特征匹配时增加运动平滑性约束，以缩小特征匹配区域，在匹配过程中，特征的运动空间都是平滑的，平滑相邻运动的特征在运动空间中是一致的，与相邻特征点对应的匹配特征点区域也是相邻的，在参考图像中的特征点搜索待配准图像中的匹配特征点后，只需在待配准图像中匹配点的邻域中去搜索该特征点邻域中的所有特征点，耗时短，提高拼接速度，实现实时拼接。

附图说明

图1为本发明实现算法流程图；

图2为Grid-KNN匹配区域示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示，本发明提供一种输电线路的图像拼接方法，包括对图像的预处理、图像配准、图像融合等。主要步骤是利用AKAZE算法进行特征点的提取，然后利用三元组描述符对特征点进行描述，再利用Grid-KNN算法进行特征点的粗匹配，若两张待拼接图像的特征点相互匹配，则对两张待拼接图像进行拼接，最后采用随机一致性算法和加权平均融合算法对图像进行几何变换模型和图像融合。

具体步骤如下：

1)利用加速AKAZE算法对特征点进行提取，相比于KAZE算法，AKAZE算法在非线性尺度空间构造阶段，采用快速显式扩散算法(FED算法)代替AOS算法，加速非线性尺度空间图像的生成。

2)采用三元组描述符对特征点进行描述，三元组描述符属于二进制描述符，其采用三元组像素块的比对方式，从而确定二进制中相应位的取值，在每个检测窗口W内定义T组三像素块，假设以特征点为中心的采样窗口内有p₁、p₂、p₃三个像素块，每个像素块中包含m×m个像素，即每个检测窗口W内含有T个采样窗口，且每个采样窗口内含有三个像素块，选取每个采样窗口三个像素块中的一个像素块作为主像素块，剩余两个作为伴随像素块，并构建检测窗口W的像素块集S，像素块集S的表达式为：

S＝{S_t}_{t＝1，...，T}＝{[p_t，a，p_t，1，p_t，2]}_1，...，T

比较主像素块与其他两个伴随像素块的平方和，可表示为：

则三元组描述符b_W可表示为：

其中，p_t，α、p_t，1和p_t，2分别为三个像素块中各像素块中心像素的坐标，p_t，a对应的像素块为主像素块，p_t，1和p_t，2对应的像素块为伴随像素块，s_t为第t组三像素块的像素块集合，||·||_F为范数运算符。

三元组描述符在计算过程中，保持了二进制描述符的优势，与此描述符相比，基于直方图的描述子在速度上慢了一个数量级，而且该描述符还具有较好的鲁棒性。

3)提取出图像特征点，经过三元组描述符建立特征向量描述后，就需要匹配特征向量。

KNN算法在图像拼接中较为常用，具体为：

首先在待拼接图像提取的所有特征点中，为每一幅待拼接图像的特征点搜索到距离其最近的两个特征点；

然后用设定的阈值与最近邻距离与次近邻距离的壁纸进行比较，如果得到的结果小于设定的阈值，就可以认为此特征点与其距离最近的特征点是一对匹配特征点。不过这种方法需要对待拼接图像内的全部特征点进行遍历，若待拼接图像的提取出的特征点个数是R，待配准图像的特征点是S，则需要R×S次遍历该图像，这个步骤会耗费较长的时间。所以，本发明在特征匹配时增加运动平滑性约束，用来缩小特征匹配区域，减少匹配时间。

在匹配过程中，特征的运动空间都是平滑的，平滑相邻运动的特征在运动空间中是一致的。与相邻特征点对应的匹配特征点区域也是相邻的。在参考图像中的特征点搜索待配准图像中的匹配特征点后，只需在待配准图像中匹配点的邻域中去搜索该特征点邻域中的所有特征点。特征点匹配示意如图2所示，若参考图像区域a的首个匹配点出现在待配准图像区域b中，则区域a中的余下特征点均在区域b的3×3邻域内寻找匹配点.因此，总遍历次数将远小于M x N，从而减少匹配时间，加快匹配速度。但是由于影像区域特征具有相似性，经常会导致相邻特征点的误匹配，使用Grid-KNN算法对特征点进行匹配会有匹配错误的特征点。

4)采用RANSAC算法进行错误匹配点的剔除，RANSAC的基本假设是：(1)数据由“局内点”组成，例如：数据的分布可以用一些模型参数来解释；(2)“局外点”不能适应该模型的数据；(3)除此之外的数据属于噪声。“局外点”产生的原因有：噪声的极值、错误的测量方法、对数据的错误假设等。RANSAC也做了以下假设：给定一组(通常很小的)局内点，存在一个可以估计模型参数的过程；而该模型能够解释或者适用于局内点。

5)采用加权平均融合算法对图像拼接裂缝进行融合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于输电线路的图像拼接方法，其特征在于，包括以下步骤：

S1：获取无人机拍摄的多幅输电线路图像，并进行预处理；

S2：对多幅图像分别进行特征点提取，并对特征点进行描述；

S3：对各图像的特征点进行粗匹配；

S4：对粗匹配中的错误匹配点进行剔除，完成各图像特征点的细匹配；

S5：对待拼接图像的拼接临界部分进行加权融合处理，完成图像拼接。

2.根据权利要求1所述的一种用于输电线路的图像拼接方法，其特征在于，所述的步骤S2中，采用AKAZE算法对图像进行特征点提取，采用三元组描述符对特征点进行描述。

3.根据权利要求1所述的一种用于输电线路的图像拼接方法，其特征在于，所述的步骤S3中，采用Grid-KNN算法对特征点进行粗匹配。

4.根据权利要求1所述的一种用于输电线路的图像拼接方法，其特征在于，所述的步骤S4中，采用RANSAC算法对粗匹配中的错误匹配点进行剔除。

5.根据权利要求2所述的一种用于输电线路的图像拼接方法，其特征在于，所述的三元组描述符采用三元组像素块的比对方式，确定二进制中相应位的取值，其对特征点进行描述的过程具体包括：

S21：在每个检测窗口W内获取T组三像素块，即每个检测窗口W内含有T个采样窗口，且每个采样窗口内含有三个像素块；

S22：选取每个采样窗口三个像素块中的一个像素块作为主像素块，剩余两个作为伴随像素块，并构建检测窗口W的像素块集S；

S23：比较主像素块与其他两个伴随像素块的平方和；

S24：根据比较结果，获取检测窗口W内的三元组描述符，建立特征向量描述。

6.根据权利要求5所述的一种用于输电线路的图像拼接方法，其特征在于，

所述的检测窗口W的像素块集S的表达式为：

S＝{s_t}_t＝1,…,T＝{[p_t,a,p_t,1,p_t,2]}_1,…,T

所述的三元组描述符b_W的表达式为：

其中，p_t,α、p_t,1和p_t,2分别为三个像素块中各像素块中心像素的坐标，p_t,α对应的像素块为主像素块，p_t,1和p_t,2对应的像素块为伴随像素块，s_t为第t组三像素块的像素块集合，||·||_F为范数运算符。

7.根据权利要求3所述的一种用于输电线路的图像拼接方法，其特征在于，所述的采用Grid-KNN算法对特征点进行粗匹配，具体包括：

S31：随机选取待拼接图像中的图像作为参考图像，剩下的作为待配准图像，并将参考图像分为多个区域；

S32：对参考图像的每个区域分别与对应的待配准图像进行特征点匹配；

S33：返回执行步骤S31，直至所有图像都已完成特征点匹配。

8.根据权利要求7所述的一种用于输电线路的图像拼接方法，其特征在于，所述的步骤S32中，首先对参考图像中每个区域的一个特征点，在所有待配准图像中搜索匹配特征点，得到待配准图像对应的匹配点，然后对该特征点所属区域中的所有特征点，在待配准图像匹配点的邻域中搜索匹配特征点，完成整个区域的特征点匹配。

9.根据权利要求8所述的一种用于输电线路的图像拼接方法，其特征在于，所述的搜索匹配特征点具体包括以下步骤：

S321：从设定的搜索区域中搜索到距离参考图像中特征点最近的两个特征点，并获取对应的距离数值，记为最近邻距离和次近邻距离；

S322：分别比较设定阈值与最近邻距离和次近邻距离的大小，若结果均为小于设定阈值，则待配准图像中距离最近的特征点为匹配点。

10.根据权利要求8所述的一种用于输电线路的图像拼接方法，其特征在于，所述的邻域的大小为3×3。

Images