CN117670667A - 一种无人机实时红外图像全景拼接方法 - Google Patents
一种无人机实时红外图像全景拼接方法 Download PDFInfo
- Publication number
- CN117670667A CN117670667A CN202311487881.XA CN202311487881A CN117670667A CN 117670667 A CN117670667 A CN 117670667A CN 202311487881 A CN202311487881 A CN 202311487881A CN 117670667 A CN117670667 A CN 117670667A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- algorithm
- image data
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 75
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000007499 fusion processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 12
- 210000001503 joint Anatomy 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种无人机实时红外图像全景拼接方法，通过获取多张图像数据；所述图像数据包括无人机在不同角度拍摄的图像；通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域；根据所述视角重叠区域，得到匹配关系和匹配图像；根据所述匹配关系和所述匹配图像，得到矫正图像；根据所述矫正图像进行图像扭曲，得到平面图像；通过无缝连接线寻找算法对所述平面图像进行缝隙查找，得到拼接缝隙；根据所述拼接缝隙，对所述图像数据进行多波段融合处理，得到全景图。本发明实现了对航拍图像的移动设备硬件端拼接，解决使用传统的图像拼接算法计算量大、拼接耗时等缺点。
Description
技术领域
本发明属于无人机图像处理技术领域，尤其涉及一种无人机实时红外图像全景拼接方法。
背景技术
无人机由于飞行高度及自身负载问题所带来的相机焦距的限制,通常拍摄的图像视野范围较小,仅仅依靠单幅红外图像很难反映真实的场景信息，为了快速获取宽视域、高分辨率的图像,需将多个角度的图像结合进行全景拼接，不仅局限于360度全景，亦要满足多行多列的图像拼接任务。
目前的实际应用中，无人机的航拍红外图像大多是借助PC端中photoshop、PTGUI等图像后期处理软件来完成拼接任务。这些传统的图像拼接算法具有计算量大、拼接耗时等缺点。这对传输以及实时性有一定的不便。
发明内容
本发明的目的在于针对上述问题，本发明提出一种无人机实时红外图像全景拼接方法，基于热成像云台相机平台，以及OpenCV计算机视觉库和SIFT图像匹配算法，实现对航拍图像的移动设备硬件端拼接。
本发明所采取的技术方案是：
第一方面，本发明实施例提供了一种无人机实时红外图像全景拼接方法，所述无人机实时红外图像全景拼接方法包括：
获取多张图像数据；所述图像数据包括无人机在不同角度拍摄的图像；
通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域；
根据所述视角重叠区域，得到匹配关系和匹配图像；
根据所述匹配关系和所述匹配图像，得到矫正图像；
根据所述矫正图像进行图像扭曲，得到平面图像；
通过无缝连接线寻找算法对所述平面图像进行缝隙查找，得到拼接缝隙；
根据所述拼接缝隙，对所述图像数据进行多波段融合处理，得到全景图。
进一步地，在所述通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域之前，还包括：
对所述图像数据使用二维离散小波变换的方法完成下采样处理。
进一步地，所述通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域，包括：
确定返回特征点的个数；
使用所述返回特征点的个数对SIFT算法进行设定，提取出所述图像数据的特征点；
根据所述特征点，通过基于最佳近邻比的匹配算法对所述图像数据进行处理，得到多张所述图像数据中的视角重叠区域。
进一步地，所述根据所述视角重叠区域，得到匹配关系和匹配图像，包括：
设置两两所述图像数据为一个图像组合，根据每个所述图像组合的所述视角重叠区域的情况，获得相应的匹配矩阵；
设置一个置信度；
遍历每一个所述图像组合，判断所述匹配矩阵是否满足所述置信度阈值要求；若是，则绘制出所述图像组合中两张所述图像数据之间的匹配关系；
得到匹配图像；所述匹配图像为满足所述置信度阈值要求的所述图像数据。
进一步地，所述根据所述匹配关系和所述匹配图像，得到矫正图像，包括：
通过所述匹配图像的特征点信息和所述匹配关系获取每个所述匹配图像的焦距；
获取匹配图像主点；
将每张所述匹配图像主点的x坐标减去所述匹配图像宽度的一半；
将每张所述匹配图像主点的y坐标减去所述匹配图像高度的一半，得到调整图像；
根据所述匹配关系构建最大生成树并找到树的中心点，利用广度优先遍历和RANSAC方法对所述调整图像的焦距进行剔除，生成旋转矩阵；
根据所述旋转矩阵得到旋转修正后的矫正图像。
进一步地，所述根据所述匹配关系和所述匹配图像，得到矫正图像，包括：
设置畸变参数；
将所述匹配图像的像素坐标转换为极坐标，使用所述畸变参数对所述极坐标进行修正；
对于所述匹配图像的径向畸变，使用所述畸变系数对极径进行加权修正；
通过插值算法计算出所述匹配图像对应的像素值，将修正后的所述极坐标转换回所述像素坐标，并映射到所述匹配图像中，得到畸变修正后的矫正图像。
进一步地，所述根据所述矫正图像进行图像扭曲，得到平面图像，包括：
使用Spherical Warper算法，将所述矫正图像的柱状平面变成球形显示。
进一步地，所述通过无缝连接线寻找算法对所述平面图像进行缝隙查找，得到拼接缝隙，包括：
使用动态规划的无缝连接线寻找算法来进行颜色平滑的对接缝隙查找，得到拼接缝隙。
进一步地，所述根据所述拼接缝隙，对所述图像数据进行多波段融合处理，得到全景图，包括：
根据所述拼接缝隙对所述图像数据进行拼接，得到拼接图；
使用opencv曝光补偿增益算法对所述拼接图进行曝光补偿，得到待融合图；
对每个所述待融合图构建金字塔；所述金字塔中每个尺度的图像都是前一层尺度图像的降采样结果；
在所述金字塔中的每两层图像之间计算拉普拉斯差分，得到多张拉普拉斯差分图像；
根据所述拉普拉斯差分图像的像素位置的距离进行调整权重；
通过控制所述权重对所述拉普拉斯差分图像进行融合；
将融合后的任一所述拉普拉斯差分图像与下一层相应的所述拉普拉斯差分图像进行叠加，得到重建金字塔；
根据所述重建金字塔，从底层到顶层进行逐步上采样并叠加图像，得到全景图。
进一步地，还包括：
对所述全景图裁剪所需的图像区域，得到无黑边全景图像。
第二方面，本发明实施例还提供了一种无人机实时红外图像全景拼接方法的实现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的无人机实时红外图像全景拼接方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上述第一方面所述的无人机实时红外图像全景拼接方法。
本发明的有益效果是：本发明提出一种无人机实时红外图像全景拼接方法，通过获取多张图像数据；所述图像数据包括无人机在不同角度拍摄的图像；通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域；根据所述视角重叠区域，得到匹配关系和匹配图像；根据所述匹配关系和所述匹配图像，得到矫正图像；根据所述矫正图像进行图像扭曲，得到平面图像；通过无缝连接线寻找算法对所述平面图像进行缝隙查找，得到拼接缝隙；根据所述拼接缝隙，对所述图像数据进行多波段融合处理，得到全景图。本发明实现了对航拍图像的移动设备硬件端拼接，解决使用传统的图像拼接算法计算量大、拼接耗时等缺点。
附图说明
图1是本发明实施例提供的无人机实时红外图像全景拼接方法的流程图；
图2是本发明实施例提供的自动全景拼接控制流程图；
图3(a)是本发明实施例提供的使用Bicubic插值完成下采样处理的效果图；
图3(b)是本发明实施例提供的使用二维离散小波插值完成下采样处理的效果图；
图4(a)是本发明实施例提供的使用二维离散小波插值完成下采样处理的效果图；
图4(b)是本发明实施例提供的使用Bicubic插值完成下采样处理的效果图；
图5(a)是本发明实施例提供的nfeatures＝500时的图像匹配效果图；
图5(b)是本发明实施例提供的nfeatures＝1000时的图像匹配效果图；
图6是本发明实施例提供的图片A匹配图片B；
图7是本发明实施例提供的图片A匹配图片C；
图8是本发明实施例提供的有无关图像的全景图匹配树；
图9是本发明实施例提供的全景图匹配树；
图10是本发明实施例提供的PTGUI生成的全景图；
图11是本发明实施例提供的拼接后不做曝光增益补偿的图片；
图12是本发明实施例提供的ExposureCompensator_GAIN曝光增益补偿的图片；
图13是本发明实施例提供的动态规划的无缝连接线寻找算法效果图；
图14是本发明实施例提供的普通缝隙寻找算法效果图；
图15是本发明实施例提供的自动裁剪黑边流程图；
图16是本发明实施例提供的保留黑边的全景图片；
图17是本发明实施例提供的去除黑边的全景图片；
图18是本发明实施例提供的60张图像部分拼接缝缝图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到本领域的相关技术存在的问题，本发明技术方案针对以下技术问题进行改进：
1.无人机视角下，单幅红外图像视野较小，需要设计一种可以对数十张图像结合进行全景拼接的算法，拼接时能够尽量不损坏图像质量，获取宽视域、高分辨率的图像；
2.不同角度的红外图像拼接时存在曝光差异，需要对拼接后的红外图像的进行曝光融合；
3.在移动设备硬件端上，传统的图像拼接算法具有计算量大、拼接耗时，需要设计一种速度快且效果好的算法；
4.该算法既要实现360全景拼接，也需满足多行多列的图像拼接任务；
5.现有技术需要飞手自行控制飞机和云台然后再后期导入pc端通过软件合成，存在着图片质量差、失败率高且不能在线生成，需要一种自动化且成功率高能在线生成并预览的方式实现全景拍摄的功能。
下面结合附图，对本发明实施例作进一步阐述。
第一方面，本发明实施例提供了一种无人机实时红外图像全景拼接方法。
本实施例公开了一种无人机实时红外图像全景拼接方法，实现对航拍图像的移动设备硬件端拼接，解决使用传统的图像拼接算法计算量大、拼接耗时等缺点。
本发明实施例公开了一种无人机实时红外图像全景拼接方法，具体地，参考图1，该方法包括：
S100、获取多张图像数据；图像数据包括无人机在不同角度拍摄的图像；
S200、通过SIFT算法对多张图像数据进行特征匹配，得到视角重叠区域；
S300、根据视角重叠区域，得到匹配关系和匹配图像；
S400、根据匹配关系和匹配图像，得到矫正图像；
S500、根据矫正图像进行图像扭曲，得到平面图像；
S600、通过无缝连接线寻找算法对平面图像进行缝隙查找，得到拼接缝隙；
S700、根据拼接缝隙，对图像数据进行多波段融合处理，得到全景图。
可以理解的是，参考图2的自动全景拼接控制流程图，自动全景拼接控制流程如下：
开始全景拍摄：通过移动端app操作点击开始自动全景拍摄拼接，程序首先会根据镜头参数和设定的图像重叠率进行计算云台进行自动拍摄的运动路径，然后控制云台按照设定的计算后的运动轨迹进行运动，每到一个指定点位后停留1s待相机稳定后进行拍照保存，直到全部设定角度拍摄完成后云台回中结束拍摄。
可以理解的是，读取到拍摄下来的所有图片数据传输给全景拼接算法进行处理，图像算法全景拼接完成后将结果保存在SD卡存储介质中，到此即拼接完成。
本发明实施例具体公开了在步骤S200通过SIFT算法对多张图像数据进行特征匹配，得到视角重叠区域之前，还包括：
S110、对图像数据使用二维离散小波变换的方法完成下采样处理。
可以理解的是，本发明实施例的步骤S110，能够进行图像下采样，调整图像大小：因为要对拼接前需要对图像进行下采样预处理，减少计算量。相较于传统的使用opencv中resize函数对图像进行缩小，本算法使用二维离散小波变换的方法完成下采样处理。参考图3(a)的使用Bicubic插值完成下采样处理的效果图与图3(b)的使用二维离散小波插值完成下采样处理的效果图做对比，图4(a)使用二维离散小波插值完成下采样处理的效果图和图4(b)使用Bicubic插值完成下采样处理的效果图做对比，效果来看，对缩小后的图像比较，本发明实施例的算法即使是下采样后也保留了更多的图片特征，减少图像质量的损失。
本发明实施例具体公开了步骤S200通过SIFT算法对多张图像数据进行特征匹配，得到视角重叠区域，包括：
S210、确定返回特征点的个数；
S220、使用返回特征点的个数对SIFT算法进行设定，提取出图像数据的特征点；
S230、根据特征点，通过基于最佳近邻比的匹配算法对图像数据进行处理，得到多张图像数据中的视角重叠区域。
可以理解的是，本发明实施例能够进行特征点提取匹配：OpenCV视觉库有很多特征描述算子，比如sift、surf、harris角点、ORB等。经过对不同方法的测试研究，以及对稳定性和精确度的考虑，最后采用SIFT特征来实现图像拼接。特征点提取中，nfeatures是确定返回特征点的个数。因为无人机航拍影像分辨率非常高，特征点数量巨大，会大大影响后续的特征点匹配效率，甚至导致计算量过大。所以需要对返回的特征点数进行限定，但测试发现，若nfeature数值较小时，特征点较少，特征匹配失败变多，后续步骤拼接画面出现黑格的数量也随之越多。参考图5(a)nfeatures＝500时的图像匹配效果图和图5(b)nfeatures＝1000时的图像匹配效果图对比可知，经试验比较，nfeatures＝1000时，能够得到最好的图像匹配的效果。
可以理解的是，本发明实施例步骤S230根据特征点，通过基于最佳近邻比的匹配算法对图像数据进行处理，得到多张图像数据中的视角重叠区域，cv.detail_BestOf2NearestMatcher是一个基于“最佳近邻比”的匹配算法。它用于在多幅图像或视频帧中查找视角重叠的区域，并且对这些区域进行匹配，该算法使用快速近似最近邻算法来加速匹配过程，且适用范围广，可以用于包括平移、旋转、缩放、透视变换等场景，除此之外可以得到更准确的特征点匹配结果，有效地排除错误的特征点匹配。
本发明实施例具体公开了步骤S300根据视角重叠区域，得到匹配关系和匹配图像，包括：
S310、设置两两图像数据为一个图像组合，根据每个图像组合的视角重叠区域的情况，获得相应的匹配矩阵；
S320、设置一个置信度；
S330、遍历每一个图像组合，判断匹配矩阵是否满足置信度阈值要求；若是，则绘制出图像组合中两张图像数据之间的匹配关系；
S340、得到匹配图像；匹配图像为满足置信度阈值要求的图像数据。
可以理解的是，本发明实施例能够创建相关关联子集：为了排除噪点或者无关图片对图像匹配的影响，我们执行子集选择操作，将前两步得到的匹配结果、图像集合、特征以及其他参数传入，通过每两张图像之间的特征匹配情况获取匹配矩阵。然后生成所有图像组合的索引对。接着依次遍历每一对图像，判断其中的匹配矩阵是否满足置信度阈值要求。其中设置了一个置信度来界定哪对图片之间的匹配结果是我们想要的，选择一部分关键帧用于生成全景图像，而不是使用所有的输入图像。这样做可以减少计算量，提高拼接速度并降低内存需求。如果满足，则绘制两张图像之间的匹配关系，并将所有相关的匹配图像保存下来，来继续接下来的运算。
可以理解的是，参考图6的图片A匹配图片B，其中，左边的图片是图片A，右边的图片是图片B，图片A和图片B是一个图像组合；参考图7的图片A匹配图片C，其中，左边的图片是图片A，右边的图片是图片B，图片A和图片C是一个图像组合。
我们使用了匹配图可视化了我们在置信度矩阵中看到的内容，"Ni"表示归一化信息，较高的"Ni"值表示该特征点与其他特征点有更好的一致性。"Nm"表示匹配对数量，"C"代表"置信度。通过这种形式，我们就可以实现对图片的大范围检索和匹配，找到每张图片与附近的关联，保证每张图片至少有两张以上的匹配结果，可以实现大视野的多行多列的拼接目标。参考图8的有无关图像的全景图匹配树，其中，标号分别表示图片，图片41与图片50相连，但是他们不是全景的一部分。
本发明实施例具体公开了步骤S400根据匹配关系和匹配图像，得到矫正图像，包括：
S410、通过匹配图像的特征点信息和匹配关系获取每个匹配图像的焦距；
S420、获取匹配图像主点；
S430、将每张匹配图像主点的x坐标减去匹配图像宽度的一半；
S440、将每张匹配图像主点的y坐标减去匹配图像高度的一半，得到调整图像；
S450、根据匹配关系构建最大生成树并找到树的中心点，利用广度优先遍历和RANSAC方法对调整图像的焦距进行剔除，生成旋转矩阵；
S460、根据旋转矩阵得到旋转修正后的矫正图像。
可以理解的是，本发明实施例能够预估相机参数，并做波矫正：cv.detail_HomographyBasedEstimator函数能够根据图像的特征点和匹配关系得到相机的内参和图像的旋转矩阵。首先通过特征点信息和匹配信息估计每个图像的焦距，将每张图片主点的x坐标和y坐标减去图像宽度和高度的一半，以使假设相机主点位于图像中心。然后，恢复全局运动。参考图9的全景图匹配树，其中的标号分别表示图片，根据匹配信息构建最大生成树并找到树的中心点，利用广度优先遍历和RANSAC方法对估计的结果进行剔除，预估生成单应性矩阵，以此来恢复每张图像的旋转矩阵。最后，将每个相机主点的x坐标和y坐标加上图像宽度和高度的一半，以还原相机主点在图像中的位置。
本发明实施例具体公开了步骤S400根据匹配关系和匹配图像，得到矫正图像，包括：
S470、设置畸变参数；
S480、将匹配图像的像素坐标转换为极坐标，使用畸变参数对极坐标进行修正；
S490、对于匹配图像的径向畸变，使用畸变系数对极径进行加权修正；
S4A0、通过插值算法计算出匹配图像对应的像素值，将修正后的极坐标转换回像素坐标，并映射到匹配图像中，得到畸变修正后的矫正图像。
可以理解的是，本发明实施例得到预估的相机的畸变参数，利用波矫正对输入的图像进行畸变处理。首先将像素坐标转换为极坐标，使用畸变参数对极坐标进行修正。对于径向畸变，可以使用畸变系数对极径进行加权修正。最后，通过插值算法计算出对应的像素值，将畸变后的极坐标转换回像素坐标，并映射到原始图像中。这种方法修正了不同相机或不同视角拍摄的图像可能存在畸变、旋转或平移等差异问题。
本发明实施例具体公开了步骤S500根据矫正图像进行图像扭曲，得到平面图像，包括：
S510、使用Spherical Warper算法，将矫正图像的柱状平面变成球形显示。
本发明实施例具体公开了步骤S600通过无缝连接线寻找算法对平面图像进行缝隙查找，得到拼接缝隙，包括：
S610、使用动态规划的无缝连接线寻找算法来进行颜色平滑的对接缝隙查找，得到拼接缝隙。
可以理解的是，本发明实施例因为考虑到无人机摄影高度以及成像的特性，使用Spherical Warper算法，将柱状平面变成球形显示。这种扭曲可以模拟广角摄影镜头或全景相机的效果，使图像呈现出一种立体、全景的视觉感受。全自动扭曲，可以使成像观感更好。参考图10的PTGUI生成的全景图，后续仍需拉伸，且无法去除黑边，本发明实施例减少了这种像pc端处理软件所需要的手动拉直全景，提高了便捷性和实用性。
可以理解的是，本发明实施例的步骤S610使用动态规划的无缝连接线寻找算法来进行颜色平滑的对接缝隙查找，得到拼接缝隙，参考图13的动态规划的无缝连接线寻找算法效果图和图14的普通缝隙寻找算法效果图，可知使用动态规划的无缝连接线寻找算法来进行颜色平滑的对接缝隙查找的效果更好。
本发明实施例具体公开了步骤S700根据拼接缝隙，对图像数据进行多波段融合处理，得到全景图，包括：
S710、根据拼接缝隙对图像数据进行拼接，得到拼接图；
S720、使用opencv曝光补偿增益算法对拼接图进行曝光补偿，得到待融合图；
S730、对每个待融合图构建金字塔；金字塔中每个尺度的图像都是前一层尺度图像的降采样结果；
S740、在金字塔中的每两层图像之间计算拉普拉斯差分，得到多张拉普拉斯差分图像；
S750、根据拉普拉斯差分图像的像素位置的距离进行调整权重；
S760、通过控制权重对拉普拉斯差分图像进行融合；
S770、将融合后的任一拉普拉斯差分图像与下一层相应的拉普拉斯差分图像进行叠加，得到重建金字塔；
S780、根据重建金字塔，从底层到顶层进行逐步上采样并叠加图像，得到全景图。
可以理解的是，本发明实施例首先使用cv.detail_DpSeamFinder("COLOR_GRAD")动态规划的无缝连接线寻找算法来进行颜色平滑的拼接缝隙查找。该算法相较于单纯的无缝连接线寻找算法，以动态规划的方式计算代价时，还考虑了像素之间的梯度信息，能够使拼接后的图像在拼接位置的像素值过渡自然平滑，避免出现明显的过渡线,。除此之外因为每张拼接图片的角度不同，且由于热成像的特性，不同时间的同一位置的灰度值也会随温度发生一定变化，容易出现曝光错误，图像之间的曝光差异会导致最终全景中的伪影或亮度不一致，影响最后的成像质量，参考图11的拼接后不做曝光增益补偿的图片以及图12的ExposureCompensator_GAIN曝光增益补偿的图片，经测试对比后，最终选用了opencv曝光补偿增益算法进行曝光补偿。
最后的融合阶段，则采用了多波段融合处理。多波段融合首先对每个待融合的图像进行金字塔构建。金字塔中每个尺度的图像都是前一层尺度图像的降采样结果。在金字塔中的每两层之间计算拉普拉斯差分，得到的图像保留了高频细节信息。融合阶段对于每个层级的拉普拉斯差分图像，根据像素位置的距离来调整权重，并通过控制权重来混合图像。通常，对于高频部分(较细节的部分)，融合需要较慢，以保留更多的细节信息。对于低频部分(较整体的部分)，融合可以较快进行，以保持整体一致性。最后按照相同的顺序，将融合后的拉普拉斯差分图像与下一层的图像进行叠加，得到重建的金字塔。最终，从底层到顶层逐步上采样并叠加，最终得到融合后的图像。这个方法可以令图像的低频部分的融合可以较为平缓地进行过渡，而高频部分则更加关注细节和边缘的保持。
本发明实施例具体公开了无人机实时红外图像全景拼接方法，还包括：
S800、对全景图裁剪所需的图像区域，得到无黑边全景图像。
可以理解的是，参考图15的自动裁剪黑边流程图，本发明实施例全景拼接图片的黑边去除：先为每个图像逐个生成并变换相应的掩码，并以生成器的形式输出。参考图16的保留黑边的全景图片和图17的去除黑边的全景图片，这种方法可以逐步生成结果，节省内存空间，对于一些大规模任务或需要延迟处理的情况非常有用。利用拼接所需的图像的掩码、角点和大小进行估计全景图的掩码，该掩码用于确定要保留的有效区域。随后估计全景图中最大的内部矩形，该矩形为有效区域的最大矩形。然后再裁剪所需的图像区域，即为无黑边的图像。参考图18的60张图像部分拼接缝缝图，是本发明实施例提供的多张图片部分经过无人机实时红外图像全景拼接方法处理的效果图。
可以理解的是，本发明技术方案的全景图像拼接耗时算法优化：
(1)对输入图片进行下采样处理操作，通过减少图片的分辨率，可以减少计算机在处理图像时所需要的计算量。在需要快速处理大量图像的图像拼接中，下采样可以显著提高图像处理的速度，减少图片所占用的存储空间、加载时间和存储成本。除此之外还可以去除噪声和不必要的细节信息，从而提高算法的效率。使得图像中的特征更加明显，从而提高特征提取的效果。
(2)因为OpenCV提供了对OpenCL(开放运算语言)的支持，因此我们将SIFT算法的计算任务分发到多个计算设备上，包括CPU和GPU。这样可以更充分地利用计算资源，并提高算法的效率。除此之外在某些情况下，SIFT算法可能会生成大量的特征点，导致计算和存储的开销增加。为了解决这个问题，使用主成分分析(PCA)对特征进行降维，以减少计算和存储的负担。利用opencv我们对SIFT算法使用了多线程和并行计算来加快特征提取和匹配的速度。通过充分利用多核处理器的计算能力，可以同时处理多个图像区域，提高算法的效率。使其更适用于实时应用和大规模图像处理任务。
(3)在图像拼接融合阶段对缝隙进行查找时，DpSeamFinder动态规划的无缝连接线寻找算法充分利用了子问题的重叠性质，通过保存并复用中间结果，避免冗余的计算，从而提高了算法的效率。
(4)去除黑边步骤中以生成器的形式逐步生成掩码结果，节省内存空间，提高了运行速度。
可以理解的是，本发明技术方案具有以下创新点：
1.该算法可以适用于移动设备硬件端，速度快且效果好；
2.该算法既能够完成360全景拼接，又能拼接多行多列的大视野全景；
3.该算法能够自动实现图像扭曲功能，并对红外热成像做曝光融合处理，自动裁剪去除黑边。
第二方面，本发明实施例还提供了一种无人机实时红外图像全景拼接方法的实现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的无人机实时红外图像全景拼接方法。
处理器和存储器可以通过总线或者其他方式连接。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的无人机实时红外图像全景拼接方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的无人机实时红外图像全景拼接方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行如上述第一方面的无人机实时红外图像全景拼接方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (10)
1.一种无人机实时红外图像全景拼接方法，其特征在于，所述无人机实时红外图像全景拼接方法包括：
获取多张图像数据；所述图像数据包括无人机在不同角度拍摄的图像；
通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域；
根据所述视角重叠区域，得到匹配关系和匹配图像；
根据所述匹配关系和所述匹配图像，得到矫正图像；
根据所述矫正图像进行图像扭曲，得到平面图像；
通过无缝连接线寻找算法对所述平面图像进行缝隙查找，得到拼接缝隙；
根据所述拼接缝隙，对所述图像数据进行多波段融合处理，得到全景图。
2.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，在所述通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域之前，还包括：
对所述图像数据使用二维离散小波变换的方法完成下采样处理。
3.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，所述通过SIFT算法对多张所述图像数据进行特征匹配，得到视角重叠区域，包括：
确定返回特征点的个数；
使用所述返回特征点的个数对SIFT算法进行设定，提取出所述图像数据的特征点；
根据所述特征点，通过基于最佳近邻比的匹配算法对所述图像数据进行处理，得到多张所述图像数据中的视角重叠区域。
4.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，所述根据所述视角重叠区域，得到匹配关系和匹配图像，包括：
设置两两所述图像数据为一个图像组合，根据每个所述图像组合的所述视角重叠区域的情况，获得相应的匹配矩阵；
设置一个置信度；
遍历每一个所述图像组合，判断所述匹配矩阵是否满足所述置信度阈值要求；若是，则绘制出所述图像组合中两张所述图像数据之间的匹配关系；
得到匹配图像；所述匹配图像为满足所述置信度阈值要求的所述图像数据。
5.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，所述根据所述匹配关系和所述匹配图像，得到矫正图像，包括：
通过所述匹配图像的特征点信息和所述匹配关系获取每个所述匹配图像的焦距；
获取匹配图像主点；
将每张所述匹配图像主点的x坐标减去所述匹配图像宽度的一半；
将每张所述匹配图像主点的y坐标减去所述匹配图像高度的一半，得到调整图像；
根据所述匹配关系构建最大生成树并找到树的中心点，利用广度优先遍历和RANSAC方法对所述调整图像的焦距进行剔除，生成旋转矩阵；
根据所述旋转矩阵得到旋转修正后的矫正图像。
6.根据权利要求5所述的无人机实时红外图像全景拼接方法，其特征在于，所述根据所述匹配关系和所述匹配图像，得到矫正图像，包括：
设置畸变参数；
将所述匹配图像的像素坐标转换为极坐标，使用所述畸变参数对所述极坐标进行修正；
对于所述匹配图像的径向畸变，使用所述畸变系数对极径进行加权修正；
通过插值算法计算出所述匹配图像对应的像素值，将修正后的所述极坐标转换回所述像素坐标，并映射到所述匹配图像中，得到畸变修正后的矫正图像。
7.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，所述根据所述矫正图像进行图像扭曲，得到平面图像，包括：
使用Spherical Warper算法，将所述矫正图像的柱状平面变成球形显示。
8.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，所述通过无缝连接线寻找算法对所述平面图像进行缝隙查找，得到拼接缝隙，包括：
使用动态规划的无缝连接线寻找算法来进行颜色平滑的对接缝隙查找，得到拼接缝隙。
9.根据权利要求8所述的无人机实时红外图像全景拼接方法，其特征在于，所述根据所述拼接缝隙，对所述图像数据进行多波段融合处理，得到全景图，包括：
根据所述拼接缝隙对所述图像数据进行拼接，得到拼接图；
使用opencv曝光补偿增益算法对所述拼接图进行曝光补偿，得到待融合图；
对每个所述待融合图构建金字塔；所述金字塔中每个尺度的图像都是前一层尺度图像的降采样结果；
在所述金字塔中的每两层图像之间计算拉普拉斯差分，得到多张拉普拉斯差分图像；
根据所述拉普拉斯差分图像的像素位置的距离进行调整权重；
通过控制所述权重对所述拉普拉斯差分图像进行融合；
将融合后的任一所述拉普拉斯差分图像与下一层相应的所述拉普拉斯差分图像进行叠加，得到重建金字塔；
根据所述重建金字塔，从底层到顶层进行逐步上采样并叠加图像，得到全景图。
10.根据权利要求1所述的无人机实时红外图像全景拼接方法，其特征在于，还包括：
对所述全景图裁剪所需的图像区域，得到无黑边全景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311487881.XA CN117670667B (zh) | 2023-11-08 | 2023-11-08 | 一种无人机实时红外图像全景拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311487881.XA CN117670667B (zh) | 2023-11-08 | 2023-11-08 | 一种无人机实时红外图像全景拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117670667A true CN117670667A (zh) | 2024-03-08 |
| CN117670667B CN117670667B (zh) | 2024-05-28 |
Family
ID=90074313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311487881.XA Active CN117670667B (zh) | 2023-11-08 | 2023-11-08 | 一种无人机实时红外图像全景拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670667B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791623A (zh) * | 2016-12-09 | 2017-05-31 | 深圳市云宙多媒体技术有限公司 | 一种全景视频拼接方法及装置 |
| CN106851092A (zh) * | 2016-12-30 | 2017-06-13 | 中国人民解放军空军预警学院监控系统工程研究所 | 一种红外视频拼接方法和装置 |
| CN106952225A (zh) * | 2017-02-15 | 2017-07-14 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
| CN108038822A (zh) * | 2017-11-23 | 2018-05-15 | 极翼机器人(上海)有限公司 | 一种手机云台全景照片拼接方法 |
| CN108416732A (zh) * | 2018-02-02 | 2018-08-17 | 重庆邮电大学 | 一种基于图像配准与多分辨率融合的全景图像拼接方法 |
| KR20190014771A (ko) * | 2017-08-03 | 2019-02-13 | (주)아이피티브이코리아 | 초고해상도 영상 스티칭 방법 및 시스템 |
| CN112991176A (zh) * | 2021-03-19 | 2021-06-18 | 南京工程学院 | 一种基于最佳缝合线的全景图像拼接方法 |
| CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
| CN115631094A (zh) * | 2022-11-09 | 2023-01-20 | 北京航空航天大学 | 基于球形校正的无人机实时图像拼接方法 |
-
2023
- 2023-11-08 CN CN202311487881.XA patent/CN117670667B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791623A (zh) * | 2016-12-09 | 2017-05-31 | 深圳市云宙多媒体技术有限公司 | 一种全景视频拼接方法及装置 |
| CN106851092A (zh) * | 2016-12-30 | 2017-06-13 | 中国人民解放军空军预警学院监控系统工程研究所 | 一种红外视频拼接方法和装置 |
| CN106952225A (zh) * | 2017-02-15 | 2017-07-14 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
| KR20190014771A (ko) * | 2017-08-03 | 2019-02-13 | (주)아이피티브이코리아 | 초고해상도 영상 스티칭 방법 및 시스템 |
| CN108038822A (zh) * | 2017-11-23 | 2018-05-15 | 极翼机器人(上海)有限公司 | 一种手机云台全景照片拼接方法 |
| CN108416732A (zh) * | 2018-02-02 | 2018-08-17 | 重庆邮电大学 | 一种基于图像配准与多分辨率融合的全景图像拼接方法 |
| CN112991176A (zh) * | 2021-03-19 | 2021-06-18 | 南京工程学院 | 一种基于最佳缝合线的全景图像拼接方法 |
| CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
| CN115631094A (zh) * | 2022-11-09 | 2023-01-20 | 北京航空航天大学 | 基于球形校正的无人机实时图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王天云: "基于SIFT特征的图像配准与拼接技术研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 February 2018 (2018-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117670667B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
| US9019426B2 (en) | Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data | |
| CN109035145B (zh) | 基于视频帧匹配信息的视频图像自适应拼接方法及装置 | |
| CN106952225B (zh) | 一种面向森林防火的全景拼接方法 | |
| CN111062881A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| US20220148129A1 (en) | Image fusion method and portable terminal | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
| WO2021098567A1 (zh) | 生成带深度信息的全景图的方法、装置及存储介质 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| KR101853269B1 (ko) | 스테레오 이미지들에 관한 깊이 맵 스티칭 장치 | |
| CN110689476A (zh) | 全景图像拼接方法及其装置、可读存储介质和电子设备 | |
| CN107610045B (zh) | 鱼眼图片拼接中的亮度补偿方法、装置、设备及存储介质 | |
| CN110276714B (zh) | 快速扫描式全景图图像合成方法及装置 | |
| KR20190044439A (ko) | 스테레오 이미지들에 관한 깊이 맵 스티칭 방법 | |
| CN117114997B (zh) | 基于缝合线搜索算法的图像拼接方法及装置 | |
| Weibel et al. | Contrast-enhancing seam detection and blending using graph cuts | |
| CN117670667B (zh) | 一种无人机实时红外图像全景拼接方法 | |
| CN116801115A (zh) | 一种稀疏阵列相机部署方法 | |
| CN116109484A (zh) | 前景信息保留的图像拼接方法、装置、设备及存储介质 | |
| Yu et al. | Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration | |
| CN112640420B (zh) | 电子装置的控制方法、装置、设备及系统 | |
| US11893704B2 (en) | Image processing method and device therefor | |
| CN112150355B (zh) | 一种图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |