CN114663789A - 一种输电线路无人机航拍图像拼接方法 - Google Patents

一种输电线路无人机航拍图像拼接方法 Download PDF

Info

Publication number
CN114663789A
CN114663789A CN202210341737.4A CN202210341737A CN114663789A CN 114663789 A CN114663789 A CN 114663789A CN 202210341737 A CN202210341737 A CN 202210341737A CN 114663789 A CN114663789 A CN 114663789A
Authority
CN
China
Prior art keywords
images
image
calculating
aerial
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210341737.4A
Other languages
English (en)
Inventor
朱株
张杰兰
庄振华
邹文凯
张晓航
何茂丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Aomaite Intelligent Technology Co ltd
Original Assignee
Zhejiang Aomaite Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Aomaite Intelligent Technology Co ltd filed Critical Zhejiang Aomaite Intelligent Technology Co ltd
Priority to CN202210341737.4A priority Critical patent/CN114663789A/zh
Publication of CN114663789A publication Critical patent/CN114663789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种输电线路无人机航拍图像拼接方法，包括：获取多张航拍图像；检测有重叠区域的两张航拍图像的SIFT特征点及其匹配点；基于SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；基于对齐项、局部相似项和全局相似项，进行图像合成。本发明通过特征点检测与匹配、对齐项、局部相似项、焦距和旋转估计、全局相似项将无人机拍摄的线路局部图像拼接成完整的全景图，供相关人员掌握线路的整体情况。

Description

一种输电线路无人机航拍图像拼接方法
技术领域
本发明涉及输电线路巡检技术领域，具体涉及一种输电线路无人机航拍图像拼接方法。
背景技术
输电线路巡视检查是沿着线路详细巡视线路设备的运行情况，及时发现设备存在的缺陷和故障点，并详细记录，以作为线路检修的依据。
传统的人工巡线不仅工作量大而且条件艰苦，特别是对山区和跨越大江大河的输电线路的巡查，因此现有多采用无人机巡检。但，无人机在高空飞行拍摄只能获取局部线路的图像，巡检范围有限。
因此需采用图像拼接技术，将无人机的航拍图像集拼成一张完整的输电线路全景图，供相关人员观察。
发明内容
针对现有技术中存在的上述问题，本发明提供一种输电线路无人机航拍图像拼接方法。
本发明公开了一种输电线路无人机航拍图像拼接方法，包括：
获取多张航拍图像；
检测有重叠区域的两张航拍图像的SIFT特征点及其匹配点；
基于所述SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；
采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；
执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；
航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；
基于所述对齐项、局部相似项和全局相似项，进行图像合成。
作为本发明的进一步改进，所述对齐项的计算方法，包括：
将每个图像划分成m×n个四边形网格，用特征点所在网格的四个顶点的线性组合表示特征点；
单个图像的所有网格顶点从1到(m+1)×(n+1)进行编号，第i个图像网格顶点集合Vi：
Figure BDA0003570704030000021
Figure BDA0003570704030000022
式中，
Figure BDA0003570704030000023
为第i个图像第k个顶点的坐标；
第i个图像网格边集合E：
Figure BDA0003570704030000024
式中，
Figure BDA0003570704030000025
与
Figure BDA0003570704030000026
为相邻顶点；
APAP两个图像重叠区域在一张图像Ii上的特征点用
Figure BDA0003570704030000027
表示，在另一张图像Ij上的对应点用
Figure BDA0003570704030000028
表示，
Figure BDA0003570704030000029
为特征点匹配对，对齐项能量函数：
Figure BDA00035707040300000210
式中，
Figure BDA00035707040300000211
表示特征点所在网格的四个顶点的线性组合，J是有重叠区域的图像集合，N表示所拼图像总数，
Figure BDA00035707040300000212
是最终要求的所有网格变换之后的顶点。
作为本发明的进一步改进，所述局部相似项的能量函数为：
Figure BDA00035707040300000213
Figure BDA00035707040300000214
其中
Figure BDA00035707040300000215
表示边
Figure BDA00035707040300000216
表示该边变形之后的结果，
Figure BDA00035707040300000217
是边(k,l)旋转变换，
Figure BDA00035707040300000218
和
Figure BDA00035707040300000219
表示为该边顶点坐标的线性组合，c作用于横坐标，s作用于纵坐标，这种组合就使得该边进行旋转变换。
作为本发明的进一步改进，所述焦距和最佳旋转角度的计算方法，包括：
根据两个图像的单应性，估计两个图像的焦距；
将这些估计的中位数作为焦距的初始化，初始化矩阵为Ki；
根据相机参数估计模型，通过投影误差估计两张图像相机相对旋转矩阵Rij；
计算得到所有初始的Ki和Rij后，使用捆绑调整算法计算得到图像Ii的焦距fi和旋转矩阵Ri；其中，若以I1为全景图基准，Ii的相对尺度大小为：
si＝f1/fi
将旋转矩阵Rij分解得到相对于相机z轴的旋转角度，使用线特征匹配估计和捆绑调整估计的相结合计算图像最佳选转角的方法得到最佳旋转角度θi。
作为本发明的进一步改进，所述全局相似项的能量函数为：
Figure BDA0003570704030000031
Figure BDA0003570704030000032
Ii中每条边
Figure BDA0003570704030000033
的都进行旋转变换；其中，权重函数
Figure BDA0003570704030000034
为远离重叠区域的边缘分配更多的权重，β和γ为控制参数，
Figure BDA0003570704030000035
表示具有公共边(j,k)∈Ei的网格集合，Mi表示重叠区域，
Figure BDA0003570704030000036
表示网格
Figure BDA0003570704030000037
中心到重叠区域的距离，mi和ni分别表示图像Ii的行列网格数；
总的能量函数为：
Figure BDA0003570704030000038
Figure BDA0003570704030000039
其中Aa,Als,Ags和0,0,bgs分别表示对齐项，局部相似项和全局相似项在顶点集对应的雅可比矩阵和残差向量；通过最优化计算，得到最终顶点集
Figure BDA00035707040300000310
作为本发明的进一步改进，所述图像合成，包括：
两张航拍图像的网格顶点坐标经过最优化计算后，得到其对应的全景图顶点坐标；
将单个四边形网格分割成两个三角形网格，切割从四边形右上角坐标到左下角坐标；
由三对顶点的映射关系计算得到三角形之间的仿射变换，完成纹理映射；
在建立了输出图像像素点与输入图像像素点之间的映射关系后，使用线性融合方式融合图像。
与现有技术相比，本发明的有益效果为：
本发明通过特征点检测与匹配、对齐项、局部相似项、焦距和旋转估计、全局相似项将无人机拍摄的线路局部图像拼接成完整的全景图，供相关人员掌握线路的整体情况。
附图说明
图1为本发明一种实施例公开的输电线路无人机航拍图像拼接方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种输电线路无人机航拍图像拼接方法，包括：
步骤1、获取多张航拍图像；
步骤2、检测有重叠区域的两张航拍图像Ii,Ij的SIFT特征点及其匹配点，配准两个图像；
步骤3、基于SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；具体为：
通过保持匹配点与其对应点对齐来确保变形后的对齐质量，对齐项使用APAP算法，该算法是一种基于网格对齐的图像配准算法；APAP根据步骤2得到的特征点及其匹配点来对齐两个图像，将每个图像划分成m×n个四边形网格，用特征点所在网格的四个顶点的线性组合表示特征点，四个顶点线性组合对齐，也就表示特征点对齐；
单个图像的所有网格顶点从1到(m+1)×(n+1)进行编号，第i个图像网格顶点集合Vi：
Figure BDA0003570704030000041
Figure BDA0003570704030000042
式中，
Figure BDA0003570704030000043
为第i个图像第k个顶点的坐标；
第i个图像网格边集合E：
Figure BDA0003570704030000051
式中，
Figure BDA0003570704030000052
与
Figure BDA0003570704030000053
为相邻顶点；
APAP两个图像重叠区域在一张图像Ii上的特征点用
Figure BDA0003570704030000054
表示，在另一张图像Ij上的对应点用
Figure BDA0003570704030000055
表示，
Figure BDA0003570704030000056
为特征点匹配对，对齐项能量函数：
Figure BDA0003570704030000057
式中，
Figure BDA0003570704030000058
表示特征点所在网格的四个顶点的线性组合，J是有重叠区域的图像集合，N表示所拼图像总数，
Figure BDA0003570704030000059
是最终要求的所有网格变换之后的顶点。该公式求所有匹配点对的误差，误差越小，对齐效果越好。相较于特征点，匹配点分布更加均匀，对齐效果更加优秀。
步骤4、采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；具体为：
将对齐约束从重叠区域传播到非重叠区域，ARAP算法是一种基于网格的变形算法，该算法的效果是目标整体发生变形，但局部变化很小。变形过程中假设网格仅仅发生旋转变换，使得某顶点对于邻域顶点的相对位置保持不变，从而有效地保持了变形目标局部的细节。
局部相似项的能量函数为：
Figure BDA00035707040300000510
Figure BDA00035707040300000511
其中
Figure BDA00035707040300000512
表示边
Figure BDA00035707040300000513
表示该边变形之后的结果，
Figure BDA00035707040300000514
是边(k,l)旋转变换，
Figure BDA00035707040300000515
和
Figure BDA00035707040300000516
表示为该边顶点坐标的线性组合，c作用于横坐标，s作用于纵坐标，这种组合就使得该边进行旋转变换；求出该边变形前后的误差，误差越小，局部越相似。
步骤5、执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；具体为：
根据两个图像的单应性，可以估计两个图像的焦距；执行APAP算法后，每个四边形网格都有一个单应性，每个四边形都提供了对图像焦距的估计。将这些估计的中位数作为焦距的初始化，初始化矩阵为Ki；根据相机参数估计模型，假设相机光心重合或基线距离较小，可通过投影误差估计两张图像相机相对旋转矩阵Rij。计算得到了所有初始的Ki和Rij后，使用捆绑调整算法可以计算得到图像Ii的焦距fi和旋转矩阵Ri；若以I1为全景图基准，Ii的相对尺度大小为：
si＝f1/fi
上述得到的旋转矩阵Rij，可以分解得到相对于相机z轴的旋转角度，使用线特征匹配估计和捆绑调整估计的相结合计算图像最佳选转角的方法，基于该方法可得到最佳旋转角度θi。
步骤6、航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；具体为：
每个图像尽可能地进行旋转变换，保证拼接图像的自然性。全局相似项能量函数：
Figure BDA0003570704030000061
Figure BDA0003570704030000062
Ii中每条边
Figure BDA0003570704030000063
的都进行旋转变换；其中，权重函数
Figure BDA0003570704030000064
为远离重叠区域的边缘分配更多的权重，β和γ为控制参数，
Figure BDA0003570704030000065
表示具有公共边(j,k)∈Ei的网格集合，Mi表示重叠区域，
Figure BDA0003570704030000066
表示网格
Figure BDA0003570704030000067
中心到重叠区域的距离，ki和ni分别表示图像Ji的行列网格数；
总的能量函数为：
Figure BDA0003570704030000068
Figure BDA0003570704030000069
其中Aa,Als,Ags和0,0,bgs分别表示对齐项，局部相似项和全局相似项在顶点集对应的雅可比矩阵和残差向量；通过最优化计算，得到最终顶点集
Figure BDA00035707040300000610
步骤7、基于对齐项、局部相似项和全局相似项，进行图像合成；具体为：
两张航拍图像的网格顶点坐标经过最优化计算后，得到其对应的全景图顶点坐标；将单个四边形网格分割成两个三角形网格，切割从四边形右上角坐标到左下角坐标；由三对顶点的映射关系计算得到三角形之间的仿射变换，完成纹理映射；在建立了输出图像像素点与输入图像像素点之间的映射关系后，使用线性融合方式融合图像。
本发明的优点为：
本发明通过特征点检测与匹配、对齐项、局部相似项、焦距和旋转估计、全局相似项将无人机拍摄的线路局部图像拼接成完整的全景图，供相关人员掌握线路的整体情况。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种输电线路无人机航拍图像拼接方法，其特征在于，包括：
获取多张航拍图像；
检测有重叠区域的两张航拍图像的SIFT特征点及其匹配点；
基于所述SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；
采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；
执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；
航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；
基于所述对齐项、局部相似项和全局相似项，进行图像合成。
2.如权利要求1所述的输电线路无人机航拍图像拼接方法，其特征在于，所述对齐项的计算方法，包括：
将每个图像划分成m×n个四边形网格，用特征点所在网格的四个顶点的线性组合表示特征点；
单个图像的所有网格顶点从1到(m+1)×(n+1)进行编号，第i个图像网格顶点集合Vi：
Figure FDA0003570704020000011
Figure FDA0003570704020000012
式中，
Figure FDA0003570704020000013
为第i个图像第k个顶点的坐标；
第i个图像网格边集合E：
Figure FDA0003570704020000014
式中，
Figure FDA0003570704020000015
与
Figure FDA0003570704020000016
为相邻顶点；
APAP两个图像重叠区域在一张图像Ii上的特征点用
Figure FDA0003570704020000017
表示，在另一张图像Ij上的对应点用
Figure FDA0003570704020000018
表示，
Figure FDA0003570704020000019
为特征点匹配对，对齐项能量函数：
Figure FDA00035707040200000110
式中，
Figure FDA00035707040200000111
表示特征点所在网格的四个顶点的线性组合，J是有重叠区域的图像集合，N表示所拼图像总数，
Figure FDA00035707040200000112
是最终要求的所有网格变换之后的顶点。
3.如权利要求2所述的输电线路无人机航拍图像拼接方法，其特征在于，所述局部相似项的能量函数为：
Figure FDA0003570704020000021
Figure FDA0003570704020000022
其中
Figure FDA0003570704020000023
表示边
Figure FDA0003570704020000024
Figure FDA0003570704020000025
表示该边变形之后的结果，
Figure FDA0003570704020000026
是边(k,l)旋转变换，
Figure FDA0003570704020000027
和
Figure FDA0003570704020000028
表示为该边顶点坐标的线性组合，c作用于横坐标，s作用于纵坐标，这种组合就使得该边进行旋转变换。
4.如权利要求3所述的输电线路无人机航拍图像拼接方法，其特征在于，所述焦距和最佳旋转角度的计算方法，包括：
根据两个图像的单应性，估计两个图像的焦距；
将这些估计的中位数作为焦距的初始化，初始化矩阵为Ki；
根据相机参数估计模型，通过投影误差估计两张图像相机相对旋转矩阵Rij；
计算得到所有初始的Ki和Rij后，使用捆绑调整算法计算得到图像Ii的焦距fi和旋转矩阵Ri；其中，若以I1为全景图基准，Ii的相对尺度大小为：
si＝f1/fi
将旋转矩阵Rij分解得到相对于相机z轴的旋转角度，使用线特征匹配估计和捆绑调整估计的相结合计算图像最佳选转角的方法得到最佳旋转角度θi。
5.如权利要求4所述的输电线路无人机航拍图像拼接方法，其特征在于，所述全局相似项的能量函数为：
Figure FDA0003570704020000029
Figure FDA00035707040200000210
Ii中每条边
Figure FDA00035707040200000211
的都进行旋转变换；其中，权重函数
Figure FDA00035707040200000212
为远离重叠区域的边缘分配更多的权重，β和γ为控制参数，
Figure FDA00035707040200000213
表示具有公共边(j,k)∈Ei的网格集合，Mi表示重叠区域，
Figure FDA00035707040200000214
表示网格
Figure FDA00035707040200000215
中心到重叠区域的距离，mi和ni分别表示图像Ii的行列网格数；
总的能量函数为：
Figure FDA0003570704020000031
Figure FDA0003570704020000032
其中Aa，Als,Ags和0，O，bgs分别表示对齐项，局部相似项和全局相似项在顶点集对应的雅可比矩阵和残差向量；通过最优化计算，得到最终顶点集
Figure FDA0003570704020000033
6.如权利要求5所述的输电线路无人机航拍图像拼接方法，其特征在于，所述图像合成，包括：
两张航拍图像的网格顶点坐标经过最优化计算后，得到其对应的全景图顶点坐标；
将单个四边形网格分割成两个三角形网格，切割从四边形右上角坐标到左下角坐标；
由三对顶点的映射关系计算得到三角形之间的仿射变换，完成纹理映射；
在建立了输出图像像素点与输入图像像素点之间的映射关系后，使用线性融合方式融合图像。
CN202210341737.4A 2022-03-29 2022-03-29 一种输电线路无人机航拍图像拼接方法 Pending CN114663789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210341737.4A CN114663789A (zh) 2022-03-29 2022-03-29 一种输电线路无人机航拍图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210341737.4A CN114663789A (zh) 2022-03-29 2022-03-29 一种输电线路无人机航拍图像拼接方法

Publications (1)

Publication Number Publication Date
CN114663789A true CN114663789A (zh) 2022-06-24

Family

ID=82033325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210341737.4A Pending CN114663789A (zh) 2022-03-29 2022-03-29 一种输电线路无人机航拍图像拼接方法

Country Status (1)

Country Link
CN (1) CN114663789A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294482A (zh) * 2022-09-26 2022-11-04 山东常生源生物科技股份有限公司 一种基于无人机遥感图像的食用菌产量估算方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294482A (zh) * 2022-09-26 2022-11-04 山东常生源生物科技股份有限公司 一种基于无人机遥感图像的食用菌产量估算方法
CN115294482B (zh) * 2022-09-26 2022-12-20 山东常生源生物科技股份有限公司 一种基于无人机遥感图像的食用菌产量估算方法

Similar Documents

Publication Publication Date Title
CN109993696B (zh) 基于多视点图像的结构物表观全景图矫正拼接方法
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN107808362A (zh) 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
JP5134784B2 (ja) 空中写真測量方法
US20090153669A1 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN109945841B (zh) 一种无编码点的工业摄影测量方法
CN106127683A (zh) 一种无人机载sar图像实时拼接方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN109472778B (zh) 一种基于无人机的高耸结构外观检测方法
CN105809706A (zh) 一种分布式多像机系统的全局标定方法
CN116883251B (zh) 基于无人机视频的图像定向拼接与三维建模方法
CN110807815A (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN114663789A (zh) 一种输电线路无人机航拍图像拼接方法
CN112750075A (zh) 一种低空遥感影像拼接方法以及装置
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN108898550B (zh) 基于空间三角面片拟合的图像拼接方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination