背景技术
随着遥感技术的迅速发展,使得人们对地探测的精度需求越来越高,而高光谱技术具有图谱合一等特点,使其迅速成为定量遥感的研究热点之一。高光谱图像不仅可以准确的反映地物自身特有的光谱特征还可以反映地物之间的光谱差异,将地物的空间分布与光谱反射特性有机的结合起来,突破以往的单方面研究现状,因此其在诸多领域都得到了广泛的应用与研究。其中在农业领域的应用取得了长足进展,其在农作物长势监测,病虫害预防治,产量估测等方面的研究已经十分深入。
目前,高光谱图像的观测获取涵盖了卫星,航空,地面多层次,多角度的搭载平台,由于卫星平台飞行高度与技术制约,高光谱数据的质量无论是在空间分辨率还是光谱分辨率上都不能满足人们对于定量化研究的需求。而无人机平台的出现可以有效的弥补卫星平台采集数据质量不理想的这一缺陷,为农业遥感定量化研究,精准农业,智慧农业的实现提供有力的数据保障及技术支持。
对于无人机平台而言,受到平台稳定差,荷载量有限等因素的制约,使得传统的推扫式光谱成像仪无法适用,而框幅式高光谱仪可以有效的克服没有地理参考的数据处理工作,因此在无人机高光谱遥感领域有广泛的发展前景。框幅式高光谱成像仪获取同一景原始数据中不同的波段图像是在飞行过程中逐一进行采集的。因此,波段图像间存在较大的位移与姿态差异,这会使得原始图像无法直接投入使用,在数据投入使用前要进行波段配准工作来消除这种波段图像间空间位置上的差异。由于框幅式高光谱成像仪获取的波段图像反映的是同一地物在不同波段的反射特性,因此,波段图像间因地物的不同存在灰度变化差异,且即使同一地物在不同波段的灰度也不相同,这种灰度差异较大的图像配准在传统配准问题中甚少涉及,因此,传统的配准方式在波段配准问题上受到制约无法实现稳定配准。本发明主要针对这一问题提出了一套适用于无人机框幅式高光谱图像可实现自动且稳定性较高的配准方案。
由于波段配准是在一般的配准问题上,针对存在较大灰度差异变化的波段图像配准的加强算法,因此波段配准的过程依然符合配准的一般流程。首先,基准图像的选择,也就是匹配策略的确定,将确定待配准图像的匹配方式及顺序;接下来,寻找两图像间变换关系,通过变化模型参数的建立完成待配准图像的变换,这一步是核心部分。
第一,匹配策略的选择:
Automatic Descriptor-Based Co-Registration of Frame HyperspectralData一文对框幅式高光谱图像的波段配准工作进行了研究,它通过将已有的波段图像按照中心波长的顺序进行了分组将已有的全部图像分为三个大组,完成分组后使得组内图像首先进行组内配准,得到三组已经完成组内配准的三组图像,最后将三组之间通过选择的波段进行组间配准。这种算法虽然可以得到自动化处理,但是由于配准过程中没有考虑多次采样问题,使得原图像的光谱信息在重复采样过程中受到损失,这会对后期的研究造成一定影响,同时由于没有考虑到拍摄顺序问题的影响,无法得到最优的配准精度。
第二,图像间关系的确定:
基于特征点的配准,在遥感领域基于特征点的配准方法运用较为广泛,一般基于点特征的配准主要分为特征点的确定与描述,同名点的搜索确定,几何变换模型的确定及参数解算,以及待配准图像坐标的转换及灰度的重采样四个部分。而前两部分是配准实现的核心部分,直接影响到后期的配准效果及精度等问题(ZitováB el.al.,2003)。对于第一部分特征点的检测而言,目前方法众多,且均有较好的应用(Mikolajczyk el.al.,2005;Tuytelaars el.al.,2007),其中表现较好的算法为SIFT,SURF等一类较为复杂的算法,这类算法可以有效的应对图像间的复杂变换情况,如光线差异,角度变换,尺度变化等。在复杂的变换场景下依然可以保持算法的稳定性,提取出质量较好的特征点,特征点提取完成后需要按照一定的统计规律得到特征点的描述子。对于第二部分特征点的匹配工作,即同名点的提取过程而言,则是运用描述子之间的相关性确定,对于SIFT,SURF算法的同名点提取通常较为常用的方式是利用描述子之间的欧式距离方法确定,然而,这种方法在配准灰度一致或灰度存在线性变化的图像来说具有十分稳定的性质,在灰度存在非线性变换的图像间的配准问题上存在一定的制约,尤其是当图像间存在全局性的灰度变换时,此时由于描述子的生成过程依赖于描述区域灰度梯度变化,当这种梯度变换没有线性关系时将很难获取质量较高的同名点。
基于互信息(Mutual Information,MI)方式的配准,互信息的方法是基于全局图像出发,在医学领域基于多模态情况提出的,这种方法通过两变量间的统计信息判断相关性,在一定程度上可以有效的应对图像间灰度的非线性变换的问题,其在医学领域应用十分广泛,在遥感领域也取得了一定的研究进展。然而由于它全局性的性质,对于图像间的复杂几何变换的问题应对能力不足,且由于需要大量的优化计算,当优化算法不同时,结果也会存在一定的差异性。同时,这种算法由于是基于像元级的配准,因此配准精度难以达到亚像元级。因此,此方法较为适用于存在刚性变换的图像配准,对于存在复杂的几何变换的图像适用性较差。
综上所述,在现有技术中,图像匹配策略的选择需要进行多次匹配过程,这导致了图像的重复采样,而大量损失原图像的原有信息,且对拍摄顺序造成的误差影响也没有进行考虑,得到的配准结果的匹配精度将不是最优的结果。
现有的技术在配准弱纹理的波段图像时将出现变形甚至失配的现象,对于基于特征点的配准而言,这主要是传统方法在灰度非线性变换增大的波段图像间难以提取有效的同名点造成的,基于梯度变换生成的描述子,在进行这些波段的图像配准时相关性受到较大影响,从而无法稳定实现同名点的提取。
具体实施方式
下面参照附图描述本发明的实施方式,其中相同的部件用相同的附图标记表示。
第一实施方式
如图1所示,本发明的方法包括:
在S1中,将光谱相机拍摄的波段图像按波段顺序进行排列,并且利用已知的拍摄顺序的先验知识将波段图像分组。
由于光谱相机的成像原理使得原始波段图像的获取顺序未按照波段顺序进行,而是根据一个固定的乱序完成拍摄。即时间上的顺序拍摄不是在波段上的顺序。在本发明中,先将单景波段图像按波段顺序进行排列,然后利用已知的拍摄顺序的先验知识将景图像分组。
如图2所示的示例,横轴表示波段,一共采用了50个波段,纵轴表示拍摄顺序,一共拍摄了50次,如此,得到单景50景波段图像。按波段顺序排序然后将50景波段图像分为五组。本发明的分组方法是将同一时间段依次拍摄的图像归为一组,从图2中看到曲线比较直的部分,表示波动较小,表明是同一时间段依次拍摄的。其中,第1、12、20、38、43波段图像为所在分组的第一景波段图像,将五组图像按拍摄顺序进行排列,拍摄顺序如图2所示,由于最后两组的拍摄顺序连续,因此合并为一个分组。
再次参考图1,在S2中,对每分好的分组进行排序,按照拍摄顺序把分组依次首尾相连的排好顺序。
具体地,如图3所示,每分组内图像的配准原则为变换参考图像的方式来实现,这样可以保证算法实现的稳定性。
再次参考图1,在S3中,首先,完成第一分组的配准任务,按照变换基准的方式,选择第一景图像作为组内的基准,依次完成组内配准,接下来以第一分组的最后一景为基准配准第二分组内的第一景图像,以配准后的第二分组第一景图像为基准完成第二分组的配准,依次按此思路完成组间与组内的配准工作。图4显示了配准的流程示意图。本发明通过改变参考图像来减小因图像间灰度差异对配准精度造成的影响,进而研究位移对于配准精度的影响。在本发明中,所选择的基准图像为组内第一景图像。
具体的,组内的配准过程如图3所示,每分组内图像的配准原则为变换参考图像的方式来实现,这样可以保证算法实现的稳定性。
在S3-1,首先是第一分组组内选定该组的第一景图像作为配准基准的参考图像,接下来按照图3所示方式依次改变参考图像的方式,以上一景完成配准的图像最为新的基准进行下一景图像的配准。
在S3-2,当第一分组内所有波段图像依次完成配准后,如图4所示,以第一分组为基准完成第二分组的配准,而这时,以第一大组内最后一景影像作为参考图像配准第二分组的第一景图像,当这一步完成后,第二分组组内依旧按照图3所示变换参考的方式完成组内所有图像的配准。
在S3-3,按照以上思路利用上一分组最后一景图像先完成下一分组第一景图像的配准后,再利用这幅配准好的图像完成组内所有图像的配准,如此反复,直到所有图像完成配准工作。
以上介绍了匹配策略的选择模式,图像配准的具体实现步骤为:
1)按照匹配策略选择好适当的匹配方式,即确定好参考图像与待配准图像。
2)利用SURF算法完成特征点提取,并利用适当匹配算法完成同名点的提取,同时,选用合理的方法提取误配点。
3)将最终正确的同名点输入到几何变换模型中解算变换参数。
利用求解得到的几何变换模型完成待配准图像的坐标变换与重采样,并进行精度评定。
通过优化的匹配策略可以实现单次所有波段的配准工作,无需多次采样造成原始信息的丢失,且配准精度可以得到优化。
现有的技术对于框幅式高光谱波段图像间存在的灰度非线性变换问题存在一定的制约,无法实现稳定且高精度的自动配准工作。因此,本发明针对以上问题提出了改进算法,对于匹配策略问题,采用引入拍摄顺序的方式,实现了单景高光谱图像立方体内的配准,在此种模式下不仅可以实现单景波段图像直接完成配准任务,避免多次采样的问题,还可以实现配准精度的最优化。
图5A-5B显示了按照波段顺序,与引入拍摄顺序的两者配准精度对比。图中从上到下分别表示综合方向、飞行方向和飞行旁向下的配准误差。其中图5为按波段顺序配准的误差曲线,图6为按拍摄顺序配准的误差曲线。可以看出当按拍摄顺序方式配准时,图6中图像间灰度差异可以得到有效的解决,使配准的稳定性大大提升,精度有所提高。下表1给出了两个方式的配准误差均值对比。
表1变换基准模式下两方式误差均值
通过定量分析可以看出,引入拍摄顺序后的误差得到了提升,在多景误差的匹配误差上没有较大的波动,出现误差较大的峰值出现,总体误差较为平缓,且精度均在亚像元级。
图6A-6D显示了配准后的目视效果。图6A为未配准棋盘图像示意图,图6B为未配准假彩色合成图像示意图,图6C为配准后棋盘图像示意图,图6D为配准后假彩色合成图像示意图。从图6C与6D可以看出,改进后的匹配策略下配准的整体效果良好,地物清晰,纹理清楚。
第二实施方式
在本实施方式中,提出一种改进的特征点的配准方法。
如图7所示,本发明的同名点提取方法包括:
在T1中,采用SURF算法提取局部特征点。
当提取的同名点数量足够,分布合理时,配准的精度才有所保证,而特征点的提取质量将直接影响到后续配准的精度,因此,特征点的提取较为重要。SURF算法所提取的特征点具有良好的稳定性,且可以达到亚像元级,对于后续的几何变换模型的建立提供了较好的输入参数。实验证明当对同一图像进行多次特征点提取时,多次的结果均稳定在相同的点位,且这种算法对光照旋转位移等图像变换应对能力较强,为后续配准的实现可以提供稳定的数据基础。
在T2中,选择适当的特征匹配方法。
当特征点提取完成后,需要进行特征匹配来进行同名点提取。SURF算法包含两个步骤:特征检测与特征匹配,通过以上两步即可完成同名点的提取。但是其在特征匹配上的方法是利用描述子间的欧氏距离来评价相似性,当相似性符合一定标准时,被认为选定为同名特征点,这种方法应对图像间灰度相差较小或者有线性关系的变化的配准比较理想,高光谱图像在有些波段会发生灰度信息非线性变换,欧式距离方法表现就会变差,SURF算法在特征匹配上对于高光谱的配准任务稳定性变差。
因此,本发明进行了如下所述的选择合适的特征匹配的步骤。也就是优化了SURF算法提取完成特征点之后的特征匹配过程。通过算法框架的计算流程选择适当的特征匹配方法提取同名点。
本发明提供了三种同名点提取方式进行选择,可以通过如图8所示的判断方法来选取适当的模式完成同名点的提取,通过这一步可以得到兼顾配准的效率与精度的较好的结果。步骤T2包括:
T2-1,输入参考图像A和待配准图像B至空间约束欧式距离匹配算法进行同名点的提取,提取完成后判断同名点的分布与数量是否稳定,如果稳定则选择该提取方式,如果不稳定则跳转到步骤T2-2;
T2-2,输入参考图像A和待配准图像B至空间约束MI_std匹配算法进行同名点的提取,提取完成后判断同名点的分布与数量是否稳定,如果稳定则选择该提取方式,如果不稳定则跳转到步骤T2-3;
T2-3,选择无约束欧式距离匹配算法进行同名点的提取。
选择了合适的特征匹配算法,可以保证后续配准的高精度进行。其中,空间约束欧式距离匹配算法和空间约束MI_std匹配算法均采取了空间约束搜索,这里的空间约束是指在待配准图像上寻找对应参考图像上的同名点时的搜索范围不再是整幅图像,而是经过了搜索范围的约束,搜索范围的约束不仅可以加速配准算法,同时可以使得提取的同名点数量增加且质量得到提升。
再次参考图7,在T3,使用选择的特征匹配方法进行同名点的提取,搜索范围的约束采用了对灰度变化不敏感的相位相关算法,通过相位相关算法估计出两图像间的位移情况,在待配准图像上以位移量为中心取周围一定范围为搜索区域,可以有效的实现加速匹配的效果。算法进行同名点提取。
另外,空间约束MI_std算法为本发明针对灰度非线性变换较大图像间的配准进行设计的匹配方法,这种方法同时结合了多种算法联合实现。步骤T3包括:
T3-1,利用相位相关算法进行待配准两图像间的位移估算,以此结果作为搜索空间约束的范围(即,待匹配的区域范围),以加速匹配过程。具体的实现过程为:寻找到待配准图像相对于参考图像的位移后,获得约束搜索区域内的搜索点集(区域内检测到的特征点),并以参考图像对应点的局部图像为模板与待匹配图像约束区域内的搜索点集内的每个特征点所在的局部区域进行匹配运算,如图9所示,左图为参考图像,右图为待配准图像,在找到位移量(Δx,Δy)后,求得在待配准图像上的对应点位,并以此确定以此点为中心±N个像素(N以图像大小确定)范围内的搜索点集。
T3-2,局部图像的匹配:针对T3-1中确定的约束范围内收集的特征点作为搜索点集,以点集内每个特征点为中心一定范围内的局部图像灰度信息与参考图像对应特征点的局部图像进行归一化的互信息计算,当满足特征点间灰度差异最小与互信息最大时,认为在待配准图像上获取一个同名点候选点。
其中,对于特征点局部图像间的量化评价采用计算参考图像与待配准图像局部图像间的差值,并求取差值的标准差,当两局部图像为真实的匹配位置时,标准差应最小,也就是两图像间的差异最小,为保证算法的稳定,对搜索区域内所有局部图像求得的标准差进行排序,对前两位的标准差进行比值计算,当比值小于距离阈值T(0~1之间,阈值越小,距离越远,在一定程度上约束稳定性)时,标准差最小的局部图像对应的点位才可以进入到待匹配点的候选。因此当两局部图像的互信息最大位置等于符合要求的标准差最小位置时认为获得一个匹配点,如图9中曲线3所示,认为此点符合要求,被确定为ai的同名点。
以图10所示的示例再次描述本实施方式。
在A1中,对于参考图像A、待配准图像B,采用SURF算法提取局部特征点A{a1,a2,…,an},B{b1,b2,…,bn}。
在A2中,使用相位相关算法提取参考图像A和待配置图像B的位移量(Δx,Δy),具体步骤见步骤T3-1。
在A3中,以参考图像A的局部特征点ai为例,在ai+(Δx,Δy)±N的像素范围内寻找符合条件的待配准图像B中的点b{1,2,…,j}。
在A4中,对符合条件的b{1,2,…,j}中的每个点bi,取bi±M的局部图像与ai±M的局部图像进行运算,分别计算MI(ai,bi),std(ai-bi)。
在A5中,计算Sort(std),std(1)/std(2)<T,判断如下等式是否成立:
num(max(MI))==num(min(std(1)))
在A6中,等式成立则认为ai与bi互为同名点。
因此,实现多波段图像配准任务时,将待配准图像依次加入到配准流程中,依次完成配准,当加入新的图像后需要利用图8所示流程图选择适当的同名点匹配方法提取有效同名点,当同名点提取后进入到图7流程图中所示的一般配准流程中,最终完成配准。
优选地,在一个实施方式中,如图11所示,在图7所示的步骤中还包括如下后续步骤:
在T4中,使用RANSAC算法来剔除误匹配点。
RANSAC算法是一种剔除误配点的算法,方法也有很多,我选择了一类经典常见的方法,这种方法主要针对上一步提取同名点错误点筛选的,与变换模型的选择没有关系。
当参考图像与待配准图像间所有点位经过计算获取初始同名点后,利用RANSAC(Fischler el.al.,1981)算法进行误配点的剔除,默认为正确率为0.5,迭代次数根据正确率的最低迭代次数进行设计,剔除错误点后根据正确特征点解算变换模型完成坐标转换,本发明采用了透视变换模型的方法完成坐标转换,当然,本领域技术人员可以选择其他变换模型。
透视变换为描述图像间变化的一般式,其可以应对复杂的变换结构,因此透视模型(邵向鑫,数字图像拼接核心算法研究[D],吉林:吉林大学2010)具有一般性,是配准中应用较为广泛的一种模型,它具有8个自由度,数学模型为:
在T5中,把待配准图像上的特征点作为透视变换模型输入参数,解得变换系数。
在T6中,利用求解系数完成待配准图形的几何纠正(见:李德仁,王树根,周月琴,摄影测量与遥感概论[M],北京:测绘出版社,2011,140-142)。利用解算的变换模型完成两幅图像间的坐标关系转换,随后进行待匹配图像的重采样工作,完成配准。
在T7中,进行波段配准的精度评定。分别从飞行方向,垂轨方向与综合方向综合评价。
表2给出了第二实施方式的改进的匹配方法下的同名点数量对比:
表2同名点数量对比
表3给出了第二实施方式的改进的匹配方法下的配准误差对比:
表3配准误差精度评定
由以上两部分定量的对比分析可以看出,改进方法可以在过渡波段(传统方式难以获取数量足够特征点的波段)提取数量更多的同名点,且这些同名点的质量较好,正确率相较于未改进的传统方式有较大提升,通过这些同名点解算的配准模型精度可以达到亚像元级,通过表3可以看出在传方式难以稳定配准的几个波段图像的配准精度上仍可达到亚像元精度。
定性上看,图12A-12B显示了传统欧式距离法提取同名点分布情况,图12C-12D显示了MI_std法提取同名点分布情况。也是本发明的方法提取了数量更多的同名点。图13显示了配准结果对比示意图。图14显示了多景图像的配准示意图。
由以上目视效果可以看出,改进算法提取的同名点不仅数量足够,同时可以保证在空间上的分布较为均匀,没有出现局部过于密集或局部过于稀疏的情况,所提取同名特征点均匀分布在整幅图像上,利用这些同名点完成的配准目视效果也较为精确,如图12A-12D,与传统的方法对比可以看出,传统方式由于同名点分布情况较差,出现配准局部変形的情况,而本发明所提出的算法可以有效的解决这一问题,配准结果目视效果良好,图14所示为按照整体配准流程,完成的9景图像的配准结果,每景包含50景波段图像,可以看出目视效果良好,地物清晰,细节明确,本发明所提方法在弱纹理区域配准效果良好。
可见,当前常用的配准方法均存在一定的制约,尤其是在弱纹理区域的图像,导致在波段图像间灰度非线性变化差异增大时无法实现稳定且精度较为理想的配准结果。本发明的第二实施方式的配准方法可以保证波段配准的顺利进行,其中,对同名点提取的方式进行了优化,使得波段配准在传统方法下配准变形的情况得到解决,并保证整体的配准精度可以达到亚像元级。
综上所述,本发明主要解决了传统方法无法有效实现框幅式高光谱波段图像配准问题,提出了一套有效且亚像元级精度的配准方法。
以上所述的实施例,只是本发明较优选的具体实施方式,本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。