CN104156968B - 大面积地形复杂区域无人机序列影像快速无缝拼接方法 - Google Patents

大面积地形复杂区域无人机序列影像快速无缝拼接方法 Download PDF

Info

Publication number
CN104156968B
CN104156968B CN201410408652.9A CN201410408652A CN104156968B CN 104156968 B CN104156968 B CN 104156968B CN 201410408652 A CN201410408652 A CN 201410408652A CN 104156968 B CN104156968 B CN 104156968B
Authority
CN
China
Prior art keywords
image
point
unmanned plane
splicing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410408652.9A
Other languages
English (en)
Other versions
CN104156968A (zh
Inventor
董梅
苏建东
刘广玉
杨举田
林祥国
孙晓峰
程云吉
王梅勋
张彦东
宗浩
田雷
刘勇
徐硕
武博
谭效磊
朱先志
刘莉
王苜华
王丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Linyi Tobacco Co Ltd
Original Assignee
Shandong Linyi Tobacco Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Linyi Tobacco Co Ltd filed Critical Shandong Linyi Tobacco Co Ltd
Priority to CN201410408652.9A priority Critical patent/CN104156968B/zh
Publication of CN104156968A publication Critical patent/CN104156968A/zh
Application granted granted Critical
Publication of CN104156968B publication Critical patent/CN104156968B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

一种大面积地形复杂区域无人机序列影像快速无缝拼接方法,首先以无人机影像序列的航带排布特性作为先验知识,进行影像间多度重叠SIFT特征点的提取和匹配;然后开展基于随机采样一致性算法的匹配点粗差剔除和提纯,并通过Levenberg-Marquardt算法平差求解拼接区域各影像的变换参数;接着根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选,并确定拼接线;最后进行接边处影像匀色和融合、输出拼接影像,实现海量无人机影像的无缝拼接。本发明避提高了SIFT特征点的提取效率,保证了拼接影像的几何精度,消除了影像拼接线两侧的微小色彩差异,得到了色彩过渡自然、地物地貌连续性好的拼接影像。

Description

大面积地形复杂区域无人机序列影像快速无缝拼接方法
技术领域
本发明涉及一种无人机遥感影像处理方法,具体地说是一种大面积地形复杂区域无人机序列影像快速无缝拼接方法,属于图像处理技术领域。
背景技术
无人机遥感是近年来兴起的一种新型遥感系统,因具有快速、灵活、低成本、高影像分辨率等特点,正日益成为一项空间数据获取的重要手段,在农作物监测、国土资源监测、灾害应急、灾害评估、战场侦察、火灾监测等领域发挥重要的作用。由于无人机遥感具有广阔的应用前景,相应的图像处理技术也得到了广泛的关注和重视,大范围地形复杂区域(山区、丘陵)无人机序列影像拼接就是其中的一个研究热点。
现有的影像拼接主要包括影像配准和影像融合两个关键环节。在国内外影像拼接技术研究中,主要的重点都放在了影像配准这一核心环节上。根据影像配准的方法大致可将影像拼接技术分为三类:①基于影像灰度的方法,该类方法通过计算图像间重叠部分灰度差等相似度衡量指标,来对模型参数做优化,因为计算出的参数对于光照条件,旋转角度等比较敏感,所以对于无人机影像并不适合。②基于变换域的方法,该类方法利用傅立叶变换首先将影像由空域变换到频域,然后通过它们的相互功率直接计算得出两幅影像间的平移矢量,进而实现影像的配准,但是,因为算法要求欲配准影像间有较大的重叠度,且对于无人机影像中存在的镜头旋转和比例尺不一致等情况很难处理,所以无法满足无人机影像拼接要求。③基于图像特征的方法,该类方法主要由特征提取、特征匹配、选取变换模型和求取参数、坐标变换及插值四个部分组成,是航空影像拼接的主要方法,其关键在于特征因子的选取。为此,研究人员提出了基于SUSAN算子的配准方法,该算法分成粗细两级匹配,但是对于小区域重叠的航空影像难以配准。同时,研究人员也提出了基于层次法的配准方法,但只适用于图像间存在小角度旋转(大约0-5度)的情况,而由于无人机平台的不稳定导致无人机影像可能存在大角度旋转的情况。研究人员采用Harris提取角点,利用最小中值法去除局外点,实现图像拼接,但是由于最小中值法计算复杂度较高且不能处理小区域重叠的影像,所提取的特征点为像素级的,定位精度有待提高。还有研究人员利用SIFT算子实现了无人机影像的自动拼接,但因为采用的是依次向后传递拼接参数的方式,在进行多张影像拼接时存在误差累积的问题,无法实现大区域的无缝拼接。
发明内容
针对现有技术的不足,本发明提供了一种大面积地形复杂区域无人机序列影像快速无缝拼接方法,克服了现有无人机影像拼接技术的不足,不仅能够实现无人机影像大区域的无缝拼接,而且定位精度高。
本发明解决其技术问题采取的技术方案是:大面积地形复杂区域无人机序列影像快速无缝拼接方法,其特征是,包括以下步骤:
步骤一,以无人机影像序列的航带排布特性作为先验知识,进行影像间多度重叠SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征点的提取以及SIFT特征匹配;
步骤二,选择投影变换模型作为影像间的几何变换模型,开展基于RANSAC(RANdom SAmple Consensus,随机采样一致性)算法的匹配点粗差剔除和提纯,基于投影变换模型建立匹配点的非线性方程组,并通过Levenberg-Marquardt(LM)算法平差求解拼接区域各影像的变换参数;
步骤三,根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选,并确定拼接线;
步骤四,进行接边处影像匀色和融合,并输出无缝拼接影像,从而实现海量无人机影像的无缝拼接。
优选地,在步骤一中,从以下几个方面对同名点的匹配策略进行优化:
(1)在SIFT特征点极值探测时,当差分影像中的极值点大于10时,才提取该点作为特征点;
(2)在进行匹配时利用金子塔匹配策略,当上层金字塔匹配完成后,利用匹配点求解影像间的投影矩阵,然后在下一层影像匹配时利用这种投影变换关系进行匹配点搜索范围约束;
(3)对于处在匹配搜索范围内的点集,采用128维特征向量间的欧式距离作为衡量关键点之间相似度的准则,在匹配过程中首先找出与待匹配关键点欧式距离最近的两个关键点,然后计算最近距离与次近距离之间的比值,当该比值小于0.3时,则接受该匹配点对;
(4)每张影像只与其航带内部左右相邻的几张影像和上下航带间一定范围内的影像进行匹配。
优选地,所述步骤二包括以下具体步骤:
(1)选择投影变换模型作为影像间的几何变换模型
当完成图像间的同名特征点匹配之后,需要选择合适的几何变换模型,并通过这些同名特征点集的映射关系来估算影像间的变换参数。在众多的变换模型中,投影变换是一种复杂的几何变换模型,又称为透视变换,它可以描述图像间存在平移、旋转、水平和垂直方向位移、缩放等多种变换情况。其他常见的二维变换,包括平移变换、旋转变变换、刚体变换、相似变换、仿射变换等均为投影变换的子变换。因为投影变换模型与无人机影像的中心投影构象模型最为接近,所以本申请将其作为影像拼接参数的模型基准。
假定(x1,y1)、(x2,y2)分别为图像变换前后的像素坐标,则投影变换矩阵模型的齐次坐标变换式如式1所示:
ρ = x 1 y 1 1 = m 0 m 1 m 2 m 3 m 4 m 5 m 6 m 7 1 x 2 y 2 1 - - - ( 1 )
式1的非线性形式如式2所示:
x 1 = m 0 x 2 + m 1 y 2 + m 2 m 6 x 2 + m 7 y 2 + 1
         (2)
y 1 = m 3 x 2 + m 4 y 2 + m 5 m 6 x 2 + m 7 y 2 + 1
式中,m0、m1、m3、m4代表图像的尺度和旋转量,m2和m5分别代表图像在水平和垂直方向上的位移,m6和m7则代表图像在水平和垂直方向上的变形量,比例系数ρ为标量。
(2)利用RANSAC算法进行匹配点粗差剔除和提纯
对SIFT匹配点中的误匹配点进行粗差剔除,并对粗差剔除后的正确匹配点集中进一步优选出满足拼接模型的点集。RANSAC算法的基本思想是通过迭代地随机抽取最小点集来找出能够使得所谓内点(Inliers)所占比例最高的最小点集,然后用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化,从而得到最终的基本矩阵估计值。本申请以待拼接影像中的第一幅影像为基准,设其投影矩阵为单位阵H0,然后利用RANSAC算法依次估计出第j(j>1)幅影像相对于第j-1幅影像的投影矩阵Hj,同时从原始的匹配点集中挑选出支持Hj的内点用于构建法方程。利用这种相邻影像间的传递关系,可以得到第j幅影像相对于拼接后影像的绝对投影矩阵初始值Hj'为:
H j ′ = Π 0 j H j - - - ( 3 )
以优选出的内点集合Inliers为基础,按照下一步所述方法进行方程组的建立,并以绝对投影矩阵Hj'作为求解方程组时的迭代初始值。
(3)建立非线性方程组
与传统的依次利用相邻影像间匹配点最小化两幅影像间的重投影误差、然后通过影像间的临近关系进行递推拼接不同,本发明利用影像间的多度重叠点对待拼接的所有影像进行整体平差、最终得到全局最优的变换参数。
在方程组构建过程中,对应每张影像的变换矩阵有8个独立未知数(如式2所示),而每个多度重叠点在拼接后影像上的水平坐标包含两个未知数。而对应一个k度重叠点可以按照式2所示的方程式构建k*2个非线性方程。为了增加影像间的关联度、增强匹配点的可靠性,本发明只取三度以上且满足投影变换模型的重叠点构建法方程进行平差解算。
(4)非线性方程组求解
利用经典的Levenberg-Marquardt算法对式2所示非线性投影变换模型的变换参数进行求解。
优选地,在步骤三中,根据影像间的空间排布关系,以像点位移最小化为影像优选准则,通过对原始影像的投影区域进行逐级裁剪尽而获取最优的影像区域及其拼接线。
优选地,在步骤四中,利用拼接线两侧区域外扩与外扩后重叠区域影像加权融合的方法消除影像拼接线两侧的微小色彩差异,从而得到了色彩过渡自然、地物地貌连续性好的拼接影像。
本发明的有益效果如下:
(1)本发明以无人机影像的航带排布关系作为先验知识,避免了在众多无关影像间的盲目匹配,缩小了匹配点的搜索范围,提高了多度重叠SIFT特征点的提取效率。
(2)本发明结合了RANSAC算法与Levenberg-Marquardt算法的优势,首先将误匹配点进行剔除,然后进行匹配点提纯,最后进行变换参数初值求解,拼接参数整体平差融为一体,有利的保证了拼接影像的几何精度。
(3)本发明根据影像间的空间排布关系,以像点位移最小化为影像优选准则,通过对原始影像的投影区域进行逐级裁剪尽而获取最优的方式,给出了一种影像优选与影像拼接线求取的有效方法。
(4)本发明利用拼接线两侧区域外扩与外扩后重叠区域影像加权融合的方法消除了影像拼接线两侧的微小色彩差异,最终得到了色彩过渡自然、地物地貌连续性好的拼接影像。
附图说明
图1为本发明的方法流程图;
图2为本发明进行大面积地形复杂区域无人机序列影像快速无缝拼接的技术流程图;
图3为绵竹试验区平差前后影像拼接效果对比图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图1所示,本发明的一种大面积地形复杂区域无人机序列影像快速无缝拼接方法,它包括以下步骤:
步骤一,以无人机影像序列的航带排布特性作为先验知识,进行影像间多度重叠SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征点的提取以及SIFT特征匹配;
步骤二,选择投影变换模型作为影像间的几何变换模型,开展基于RANSAC(RANdom SAmple Consensus,随机采样一致性)算法的匹配点粗差剔除和提纯,基于投影变换模型建立匹配点的非线性方程组,并通过Levenberg-Marquardt(LM)算法平差求解拼接区域各影像的变换参数;
步骤三,根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选,并确定拼接线;
步骤四,进行接边处影像匀色和融合,并输出无缝拼接影像,从而实现海量无人机影像的无缝拼接。
优选地,在步骤一中,SIFT特征对旋转、尺度缩放、亮度变化保持不变性,因而特别适用于飞行姿态不稳定的低空无人机影像匹配。但是SIFT算子具有多量性,即使很小的影像或少数几个物体也能产生大量的特征点。如果利用标准的SIFT算法来遍历比较每个特征点是不现实的。因此将SIFT算子应用于遥感影像匹配时必需利用各种约束条件来减少遍历。对于多航带无人机序列影像拼接而言,匹配点主要是作为观测值用来平差求解各影像的拼接参数。根据平差理论可知,一定数量的高精度多度重叠点可以获得最优的平差结果。为此,本发明针对大区域地形复杂区域无人机影像拼接的需求,从以下几个方面对同名点的匹配策略进行优化:
(1)为了减少特征点的个数和匹配遍历次数、提高特征点的鲁棒性,在SIFT特征点极值探测时增大了极值点阈值,当差分影像中的极值点大于10时,才提取该点作为特征点。
(2)为了提高匹配效率、增加匹配结果的可靠性,在进行匹配时利用了金子塔匹配策略,当上层金字塔匹配完成后,利用匹配点求解影像间的投影矩阵,然后在下一层影像匹配时利用这种投影变换关系进行匹配点搜索范围约束。
(3)为了提高匹配结果的正确率,对于处在匹配搜索范围内的点集,采用128维特征向量间的欧式距离作为衡量关键点之间相似度的准则。匹配过程中首先找出与待匹配关键点欧式距离最近的两个关键点,然后计算最近距离与次近距离之间的比值,当该比值小于0.3时,则接受该匹配点对。
(4)为了快速的获得多度重叠点,避免摄区范围内所有影像间进行盲目的两两匹配,充分利用了无人机影像的航带分布特性,最终对于每张影像只与其航带内部左右相邻的几张影像和上下航带间一定范围内的影像进行匹配,大大提高了算法效率。
优选地,所述步骤二包括以下三个关键步骤:
(1)选择投影变换模型作为影像间的几何变换模型
当完成图像间的同名特征点匹配之后,需要选择合适的几何变换模型,并通过这些同名特征点集的映射关系来估算影像间的变换参数。在众多的变换模型中,投影变换是一种复杂的几何变换模型,又称为透视变换,它可以描述图像间存在平移、旋转、水平和垂直方向位移、缩放等多种变换情况。其他常见的二维变换,包括平移变换、旋转变变换、刚体变换、相似变换、仿射变换等均为投影变换的子变换。因为投影变换模型与无人机影像的中心投影构象模型最为接近,所以本申请将其作为影像拼接参数的模型基准。
假定(x1,y1)、(x2,y2)分别为图像变换前后的像素坐标,则投影变换矩阵模型的齐次坐标变换式如式1所示:
ρ = x 1 y 1 1 = m 0 m 1 m 2 m 3 m 4 m 5 m 6 m 7 1 x 2 y 2 1 - - - ( 1 )
式1的非线性形式如式2所示:
x 1 = m 0 x 2 + m 1 y 2 + m 2 m 6 x 2 + m 7 y 2 + 1
          (2)
y 1 = m 3 x 2 + m 4 y 2 + m 5 m 6 x 2 + m 7 y 2 + 1
式中,m0、m1、m3、m4代表图像的尺度和旋转量,m2和m5分别代表图像在水平和垂直方向上的位移,m6和m7则代表图像在水平和垂直方向上的变形量,比例系数ρ为标量。
(2)利用RANSAC算法进行匹配点粗差剔除和提纯
对SIFT匹配点中的误匹配点进行粗差剔除,并对粗差剔除后的正确匹配点集中进一步优选出满足拼接模型的点集。RANSAC算法的基本思想是通过迭代地随机抽取最小点集来找出能够使得所谓内点(Inliers)所占比例最高的最小点集,然后用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化,从而得到最终的基本矩阵估计值。本申请以待拼接影像中的第一幅影像为基准,设其投影矩阵为单位阵H0,然后利用RANSAC算法依次估计出第j(j>1)幅影像相对于第j-1幅影像的投影矩阵Hj,同时从原始的匹配点集中挑选出支持Hj的内点用于构建法方程。利用这种相邻影像间的传递关系,可以得到第j幅影像相对于拼接后影像的绝对投影矩阵初始值Hj'为:
H j ′ = Π 0 j H j - - - ( 3 )
以优选出的内点集合Inliers为基础,按照下一步所述方法进行方程组的建立,并以绝对投影矩阵Hj'作为求解方程组时的迭代初始值。
(3)建立非线性方程组
与传统的依次利用相邻影像间匹配点最小化两幅影像间的重投影误差、然后通过影像间的临近关系进行递推拼接不同,本发明利用影像间的多度重叠点对待拼接的所有影像进行整体平差、最终得到全局最优的变换参数。
在方程组构建过程中,对应每张影像的变换矩阵有8个独立未知数(如式2所示),而每个多度重叠点在拼接后影像上的水平坐标包含两个未知数。而对应一个k度重叠点可以按照式2所示的方程式构建k*2个非线性方程。为了增加影像间的关联度、增强匹配点的可靠性,本发明只取三度以上且满足投影变换模型的重叠点构建法方程进行平差解算。
(4)非线性方程组求解
利用经典的Levenberg-Marquardt算法对式2所示非线性投影变换模型的变换参数进行求解。
优选地,在步骤三中,根据影像间的空间排布关系,以像点位移最小化为影像优选准则,通过对原始影像的投影区域进行逐级裁剪尽而获取最优的影像区域及其拼接线。一般而言,无人机影像的航向重叠度大于60%,旁向重叠度大于30%,所以在拼接影像上,除了航区边界,任一像素点都可以找到至少两张(有时可能会达到8张)原始影像与之对应。由于地形起伏与无人机飞行平台的不稳定性,同一地物点在不同影像上的像点位移往往不同。而我们所采取的投影变换,无法完全纠正这种复杂的像点位移差异。因此,严格来说对于拼接影像的某一像素点用不同的原始影像填充结果会有微小差异,如何选取最优的像素源填充拼接影像是此步骤的关键。
优选地,在步骤四中,利用拼接线两侧区域外扩与外扩后重叠区域影像加权融合的方法消除了影像拼接线两侧的微小色彩差异,从而得到了色彩过渡自然、地物地貌连续性好的拼接影像。
本方法涉及一种大面积地形复杂区域无人机序列影像快速无缝拼接方法,首先以无人机影像序列的航带排布特性作为先验知识,进行影像间多度重叠尺度不变特征变换(Scale Invariant Feature Transform,SIFT)特征点的提取和匹配;然后,以无人机影像序列的航带排布特性作为先验知识辅助影像SIFT特征匹配;接着,开展基于随机采样一致性(RANSAC)算法的匹配点粗差剔除和提纯,并通过Levenberg-Marquardt(LM)方法平差求解拼接区域各影像的变换参数;再接着,根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选,并确定拼接线;最后,进行接边处影像匀色和融合、输出拼接影像,实现海量无人机影像的无缝拼接。本发明属于图像处理技术领域,可应用于高分辨率遥感图像的处理,特别是国土资源监测、农作物监测、自然灾害应急、战场侦察等领域。
如图2所示,本发明进行大面积地形复杂区域无人机序列影像快速无缝拼接的数值计算流程如下:
(I)加载待拼接的无人机序列影像数据;
(II)对每一张影像进行尺度不变特征变换(Scale Invariant FeatureTransform,SIFT)特征点提取
(III)以无人机影像序列的航带排布特性作为先验知识辅助影像SIFT特征匹配;
(IV)开展基于随机采样一致性(RANSAC)算法的匹配点粗差剔除和提纯;
(V)开展区域网整体平差,通过Levenberg-Marquardt(LM)方法平差求解拼接区域各影像的变换参数;
(VI)根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选,并确定拼接线;
(VII)进行接边处影像匀色和融合、输出拼接影像,实现海量无人机影像的无缝拼接。
本发明在处理器为2.4GHz,主存1GB,操作系统为Windows 7的微机上进行了实验。编译平台为Microsoft Visual Studio 2008。为了验证本发明的适应性,试验分别选取了河北省满城县、内蒙古浑河区域、四川省绵竹市的无人机影像进行了拼接试验。三组试验区的地形依次为平地、丘陵、山区,详细信息如下表1所示。
表1:试验数据信息
在上述三个实验区的拼接试验中,绵竹市的无人机影像最为复杂,其拼接的结果最有代表性,如图3所示。
本发明的算法对不同地形的无人机影像数据都取得了较好的拼接效果。由于利用了对旋转、尺度缩放、亮度变化等均保持不变的SIFT特征算子进行影像间的特征匹配,所以算法适应性较强,可以克服不同地形、不同地貌、影像间存在色彩差异等因素的影响。同时,由于利用了LM方法对整个拼接区域进行了整体平差,同时在拼接过程中利用了像点位移最小准则对待拼接影像进行了优选,所以拼接后的影像在几何精度方面有了保证,最终得到的平差后匹配点平均投影误差均小于2个像素,对平坦地区而言可以达到亚像素精度,基本实现了几何无缝拼接。另外,由于拼接过程中对影像间接边处采用了渐进渐出的影像融合方法,拼接影像接边处色彩过渡自然,没有出现明显的色彩跳跃,基本实现了色彩无缝拼接。
以上所述只是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也被视为本发明的保护范围。

Claims (4)

1.大面积地形复杂区域无人机序列影像快速无缝拼接方法,其特征是,包括以下步骤:
步骤一,以无人机影像序列的航带排布特性作为先验知识,进行影像间多度重叠SIFT特征点的提取以及SIFT特征匹配;
步骤二,选择投影变换模型作为影像间的几何变换模型,开展基于RANSAC算法的匹配点粗差剔除和提纯,基于投影变换模型建立匹配点的非线性方程组,并通过Levenberg-Marquardt算法平差求解拼接区域各影像的变换参数;
步骤三,根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选,并确定拼接线;
步骤四,进行接边处影像匀色和融合,并输出无缝拼接影像;
在步骤一中, 从以下几个方面对同名点的匹配策略进行优化:
(1)在SIFT特征点极值探测时,当差分影像中的极值点大于10时, 才提取该点作为特征点;
(2)在进行匹配时利用金子塔匹配策略, 当上层金字塔匹配完成后,利用匹配点求解影像间的投影矩阵,然后在下一层影像匹配时利用这种投影变换关系进行匹配点搜索范围约束;
(3)对于处在匹配搜索范围内的点集,采用128维特征向量间的欧式距离作为衡量关键点之间相似度的准则,在匹配过程中首先找出与待匹配关键点欧式距离最近的两个关键点,然后计算最近距离与次近距离之间的比值,当该比值小于0.3时,则接受该匹配点对;
(4)每张影像只与其航带内部左右相邻的几张影像和上下航带间一定范围内的影像进行匹配。
2.根据权利要求1所述的大面积地形复杂区域无人机序列影像快速无缝拼接方法,其特征是,所述步骤二包括以下具体步骤:
(1)选择投影变换模型作为影像间的几何变换模型
当完成图像间的同名特征点匹配之后,需要选择合适的几何变换模型,并通过这些同名特征点集的映射关系来估算影像间的变换参数;在众多的变换模型中,投影变换是一种复杂的几何变换模型,可以描述图像间存在平移、旋转、水平和垂直方向位移、缩放等多种变换情况,将投影变换模型作为影像拼接参数的模型基准;
假定                                               分别为图像变换前后的像素坐标,则投影变换矩阵模型的齐次坐标变换式如式1所示:
                   (1)
式1的非线性形式如式2所示:
                      (2)
式中,代表图像的尺度和旋转量,分别代表图像在水平和垂直方向上的位移,则代表图像在水平和垂直方向上的变形量,比例系数为标量;
(2)利用RANSAC算法进行匹配点粗差剔除和提纯
对SIFT匹配点中的误匹配点进行粗差剔除,并对粗差剔除后的正确匹配点集中进一步优选出满足拼接模型的点集,以待拼接影像中的第一幅影像为基准,设其投影矩阵为单位阵,然后利用RANSAC算法依次估计出第 幅影像相对于第幅影像的投影矩阵,同时从原始的匹配点集中挑选出支持的内点用于构建法方程,最后利用这种相邻影像间的传递关系得到第幅影像相对于拼接后影像的绝对投影矩阵初始值为:
                      (3)
以优选出的内点集合Inliers为基础,按照下一步所述方法进行方程组的建立,并以绝对投影矩阵作为求解方程组时的迭代初始值;
(3)建立非线性方程组
利用影像间的多度重叠点对待拼接的所有影像进行整体平差、最终得到全局最优的变换参数;在方程组构建过程中,对应每张影像的变换矩阵有8个独立未知数,而每个多度重叠点在拼接后影像上的水平坐标包含两个未知数;而对应一个k度重叠点按照式2所示的方程式构建k*2个非线性方程;选取三度以上且满足投影变换模型的重叠点构建法方程进行平差解算;
(4)非线性方程组求解
利用经典的Levenberg-Marquardt算法对式2所示非线性投影变换模型的变换参数进行求解。
3.根据权利要求1所述的大面积地形复杂区域无人机序列影像快速无缝拼接方法,其特征是,在步骤三中,根据影像间的空间排布关系,以像点位移最小化为影像优选准则,通过对原始影像的投影区域进行逐级裁剪尽而获取最优的影像区域及其拼接线。
4.根据权利要求1所述的大面积地形复杂区域无人机序列影像快速无缝拼接方法,其特征是,在步骤四中,利用拼接线两侧区域外扩与外扩后重叠区域影像加权融合的方法消除影像拼接线两侧的微小色彩差异,从而得到色彩过渡自然、地物地貌连续性好的拼接影像。
CN201410408652.9A 2014-08-19 2014-08-19 大面积地形复杂区域无人机序列影像快速无缝拼接方法 Expired - Fee Related CN104156968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410408652.9A CN104156968B (zh) 2014-08-19 2014-08-19 大面积地形复杂区域无人机序列影像快速无缝拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410408652.9A CN104156968B (zh) 2014-08-19 2014-08-19 大面积地形复杂区域无人机序列影像快速无缝拼接方法

Publications (2)

Publication Number Publication Date
CN104156968A CN104156968A (zh) 2014-11-19
CN104156968B true CN104156968B (zh) 2015-06-10

Family

ID=51882458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410408652.9A Expired - Fee Related CN104156968B (zh) 2014-08-19 2014-08-19 大面积地形复杂区域无人机序列影像快速无缝拼接方法

Country Status (1)

Country Link
CN (1) CN104156968B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579796A (zh) * 2018-12-24 2019-04-05 中国科学院遥感与数字地球研究所 一种投影后影像的区域网平差方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463786B (zh) * 2014-12-03 2017-06-16 中国科学院自动化研究所 一种移动机器人图像拼接方法及装置
CN104506826B (zh) * 2015-01-13 2017-09-12 中南大学 一种无有效重叠区域的定点定向视频实时拼接装置
CN104776827B (zh) * 2015-04-03 2017-04-05 东南大学 Gps高程异常数据的粗差探测方法
TWI597405B (zh) * 2016-04-01 2017-09-01 System and method for monitoring slope with tree displacement
CN107369168B (zh) * 2017-06-07 2021-04-02 安徽师范大学 一种大污染背景下配准点的提纯方法
CN108986025B (zh) * 2018-06-08 2023-02-10 西北工业大学 基于不完备姿轨信息的高精度异时图像拼接及校正方法
CN109409387B (zh) * 2018-11-06 2022-03-15 深圳增强现实技术有限公司 图像采集设备的采集方向确定方法、装置及电子设备
CN109658370A (zh) * 2018-11-29 2019-04-19 天津大学 基于混合变换的图像拼接方法
CN110084743B (zh) * 2019-01-25 2023-04-14 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110895791A (zh) * 2019-11-15 2020-03-20 国网福建省电力有限公司漳州供电公司 一种提高输电线路无人机影像快速拼接质量的方法
CN110889818A (zh) * 2019-11-22 2020-03-17 华南农业大学 低空无人机影像拼接方法、系统、计算机设备及存储介质
CN110969145B (zh) * 2019-12-19 2020-08-28 珠海大横琴科技发展有限公司 一种遥感图像匹配优化方法、装置、电子设备及存储介质
CN111695396A (zh) * 2019-12-19 2020-09-22 珠海大横琴科技发展有限公司 一种遥感图像匹配方法、装置、电子设备及可读存储介质
CN111932592A (zh) * 2020-03-26 2020-11-13 中国科学院空天信息创新研究院 一种分视场滤光片型多光谱影像数据的处理方法
CN111507287B (zh) * 2020-04-22 2023-10-24 山东省国土测绘院 一种航空影像中道路斑马线角点提取方法及系统
CN111526302A (zh) * 2020-04-28 2020-08-11 飞友科技有限公司 一种可堆叠的全景视频实时拼接方法
CN112101475A (zh) * 2020-09-22 2020-12-18 王程 若干幅无序影像智能分类与拼接方法
CN113269817A (zh) * 2021-06-04 2021-08-17 北京中航世科电子技术有限公司 空间域和频域相结合的实时遥感地图拼接方法及装置
CN114279412A (zh) * 2021-11-26 2022-04-05 武汉大势智慧科技有限公司 一种基于航空倾斜摄影影像的多区块空三调整合并方法
CN114519671B (zh) * 2022-02-16 2022-11-01 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN115393196B (zh) * 2022-10-25 2023-03-24 之江实验室 一种无人机面阵摆扫的红外多序列影像无缝拼接方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916452A (zh) * 2010-07-26 2010-12-15 中国科学院遥感应用研究所 一种基于飞行控制信息的无人机遥感影像自动拼接方法
CN103886569A (zh) * 2014-04-03 2014-06-25 北京航空航天大学 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916452A (zh) * 2010-07-26 2010-12-15 中国科学院遥感应用研究所 一种基于飞行控制信息的无人机遥感影像自动拼接方法
CN103886569A (zh) * 2014-04-03 2014-06-25 北京航空航天大学 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579796A (zh) * 2018-12-24 2019-04-05 中国科学院遥感与数字地球研究所 一种投影后影像的区域网平差方法
CN109579796B (zh) * 2018-12-24 2020-11-10 中国科学院遥感与数字地球研究所 一种投影后影像的区域网平差方法

Also Published As

Publication number Publication date
CN104156968A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
CN104156968B (zh) 大面积地形复杂区域无人机序列影像快速无缝拼接方法
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
Häne et al. 3D visual perception for self-driving cars using a multi-camera system: Calibration, mapping, localization, and obstacle detection
CN103822616B (zh) 一种图分割与地形起伏约束相结合的遥感影像匹配方法
Seok et al. Rovo: Robust omnidirectional visual odometry for wide-baseline wide-fov camera systems
CN102073874B (zh) 附加几何约束的航天三线阵ccd相机多影像立体匹配方法
Baltsavias et al. DSM generation and interior orientation determination of IKONOS images using a testfield in Switzerland
Wan et al. Illumination-invariant image matching for autonomous UAV localisation based on optical sensing
CN105096386A (zh) 大范围复杂城市环境几何地图自动生成方法
CN105160702A (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN105809687A (zh) 一种基于图像中边沿点信息的单目视觉测程方法
CN104809689A (zh) 一种基于轮廓的建筑物点云模型底图配准方法
CN106485751B (zh) 应用于基桩检测中的无人机摄影成像及数据处理方法及系统
CN103761739B (zh) 一种基于半全局能量优化的影像配准方法
Gao et al. Ground and aerial meta-data integration for localization and reconstruction: A review
CN104732482A (zh) 一种基于控制点的多分辨率图像拼接方法
CN102750537A (zh) 一种高精度图像自动配准方法
CN103985133A (zh) 基于图割能量优化的影像间最优拼接线寻找方法及系统
CN110033411A (zh) 基于无人机的公路施工现场全景图像高效拼接方法
CN104820991A (zh) 一种基于代价矩阵的多重软约束立体匹配方法
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN104574278B (zh) 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法
CN106023230A (zh) 一种适合变形图像的稠密匹配方法
Tian et al. Adaptive and azimuth-aware fusion network of multimodal local features for 3D object detection
CN113658337A (zh) 一种基于车辙线的多模态里程计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150610

Termination date: 20160819

CF01 Termination of patent right due to non-payment of annual fee