CN110246082B

CN110246082B - 一种遥感全景图像拼接方法

Info

Publication number: CN110246082B
Application number: CN201910376932.9A
Authority: CN
Inventors: 钟胜; 商雄; 王建辉; 乐铭扬; 周锡雄
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-05-07
Filing date: 2019-05-07
Publication date: 2020-12-18
Anticipated expiration: 2039-05-07
Also published as: CN110246082A

Abstract

本发明公开了一种遥感全景图像拼接方法，包括：实时获取序列图像，采用灰度模板匹配算法计算相邻图像序列的相对位置关系，并结合投票机制选出每条图像带中的最佳配准结果，在此基础上再进行整个条图像带上图像的拼接；在每条图像带拼接完成之后，对所有图像进行融合。本发明采用投票机制，并结合快速的模板匹配算法，消除了拼接中的累计误差，既满足了在线拼接的实时性要求，也增强了大范围全景拼接算法的鲁棒性，极大提高了遥感全景图像拼接的质量。

Description

一种遥感全景图像拼接方法

技术领域

本发明属于遥感全景图像拼接领域，更具体地，涉及一种遥感全景图像拼接方法。

背景技术

经济社会的迅猛发展使得地表形态变化频繁，极大的促进了数字化进程的发展，需要实时准确地监测地表及其土地利用情况，及时准确地更新地理信息数据库，从而满足社会各个行业对高分辨率遥感影像的迫切需求。

传统的测量方法主要用水准仪、经纬仪、全站仪及GPS等测量仪器，但它们具有工作时间长、劳动强度大、效率低、周期长、成本高等缺点，而且无法对困难地区进行实时测量，尤其是对自然灾害突发区域无法迅速地提供所需要的地理数据及影像信息。而以卫星遥感和摄影测量技术为主的测量手段由于数据获取能力的限制和现势性差的缺陷，无法满足各个领域的基本需求。无人机由于体型较小，可远程操作低空飞行，机动灵活，抵抗气候环境干扰的能力更强，即便在极端环境条件下也可直接拍摄影像资料。因此无人机遥感测量有着十分广阔的应用前景。

图像拼接是指将数张有重叠部分的图像(可能是不同视角、不同时间或不同传感器获得的)拼接成一幅大型的高分辨率的无缝图像的技术。图像拼接完成的标志是原始图像中的细节信息得以保存，所获图像能覆盖整个观测区域。图像拼接主要包括图像预处理、图像配准和图像融合，而图像配准是研究的重中之重，一般情况下也是相对最耗时的处理。

现阶段，在多幅图像拼接的图像配准环节，主要应用的有基于灰度的模板匹配方法或基于特征的图像配准方法。虽然基于灰度的模板匹配方法在运算速度上具有很大的速度优势，但是这种方法对噪声敏感，容易产生误匹配，鲁棒性不高。而基于特征的图像配准方法相对具有较高的鲁棒性，但是计算复杂度较大，在通用的ARM或者X86架构上，很难实现在线实时拼接，并且对于背景简单的图像误匹配的概率很大。此外，这两类方法在面对多幅图像连续拼接时，若其中某一幅产生误匹配，后续的图像拼接将可能产生很大的累计误差，导致整体的拼接效果很差。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种遥感全景图像拼接方法，其目的在于解决现有技术存在的遥感全景图像拼接时因个别图像的误匹配而产生较大的累计误差的技术问题。

本发明解决上述技术问题的技术方案如下：一种遥感全景图像拼接方法，包括：

步骤1、实时获取遥感全景的序列图像及其对应的指向信息；

步骤2、基于所述遥感全景的第一条图像带中每张所述序列图像的所述指向信息，对该张所述序列图像进行横向配准；

步骤3、基于所述横向配准的结果及所述第一条图像带之后的每条图像带中各张所述序列图像的所述指向信息，对该条图像带中各张序列图像进行纵向配准，得到该条图像带的纵向配准结果集；

步骤4、基于所述纵向配准结果集和纵向配准一致性约束条件，投票确定该条图像带中各张所述序列图像的纵向配准结果，并基于所述纵向配准结果，修正该条图像带中各张所述序列图像的纵向配准；

步骤5、融合配准后的各张所述序列图像，完成遥感全景图像的拼接。

本发明的有益效果是：在采集每一条图像带的图像序列时，因各图像带有指向信息，相邻图像具有固定重叠率且没有上下对齐误差，在图像横向重叠区呈现为几个像素偏差，几乎可以忽略不计。因此对第一条图像带直接根据指向信息进行横向配准，对第一条图像带之后的各条图像带进行纵向配准时，基于横向配准结果，进行纵向配准。而在进行“换带”过程中，采集器的状态变化为匀速—加速—减速—匀速，中间的非匀速过程导致采集器有较大的控制误差，使得“换带”处上下相邻图像，存在较大的纵向重叠率偏差和左右对齐误差。因此采用纵向配准，结合投票机制，大大提高第一条图像带之后的各条图像带的配准精确度，避免因其中某一幅产生误匹配而后续的图像拼接产生很大的累计误差导致整体的拼接效果差的问题。

上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述指向信息包括：每张所述序列图像与其相邻的所有所述序列图像之间的预设相对位置关系。

本发明的进一步有益效果是：指向信息为接收的该张序列图像与前面接收的序列图像之间的相对位置关系，由于获取的每一条图像带内的各张序列图像的重叠情况与采集器预设的相对位置关系差别不大，因此基于指向信息进行图像配准，提高图像的配准精度。

进一步，所述步骤2之前，所述方法还包括：

步骤6、对每张所述序列图像进行滤波处理，得到新的序列图像。

本发明的进一步有益效果是：对序列图像进行滤波，提高配准效率和精度。

进一步，所述步骤2包括：

步骤2.1、基于所述遥感全景的第一条图像带中每张所述序列图像与其前一张所述序列图像之间的所述预设相对位置关系，确定横向匹配模板；

步骤2.2、基于所述横向匹配模板，采用灰度模板匹配算法，确定该张序列图像与其前一张所述序列图像之间的计算相对位置关系；

步骤2.3、基于所述计算相对位置关系和横向配准约束条件，进行该张序列图像的横向配准并得到横向配准结果。

本发明的进一步有益效果是：采用灰度模板匹配算法，保证了较高的运算速度。另外，本方法引入横向配准约束条件，采用灰度模板算法计算得到配准结果后，需要进一步根据横向配准约束条件，来判断配准结果是否准确，提高横向配准的精确度。

进一步，所述横向配准约束条件为：以所述预设相对位置关系的大小为中心的预设数值范围；

则所述步骤2.3包括：

若所述计算相对位置关系位于所述预设数值范围内，则将所述计算相对位置关系确定为该张序列图像的横向配准结果，并基于该横向配准结果，对该张序列图像进行横向配准，否则，将所述预设相对位置关系确定为该张序列图像的横向配准结果，并基于该横向配准结果，对该张序列图像进行横向配准。

本发明的进一步有益效果是：如果计算得到的相对位置关系不在预设数值范围内，说明计算得到的相对位置关系有极大概率是不准确的，则直接将指向信息对应的预设相对位置关系作为该次横向配置的配准结果，进行配准，若计算得到的相对位置关系在预设数值范围内，则认为计算得到的结果有极大概率是准确的，并按照计算得到的相对位置关系进行该次横向配准。引入约束相对位置关系，极大提高横向配准的准确性。

进一步，所述纵向配准一致性约束条件为：每条图像带中各个所述序列图像的纵向配准结果之间的差值小于预设阈值；

则所述步骤4包括：

步骤4.1、基于两个纵向配准候选结果之间的差值小于所述预设阈值的分组条件，对所述纵向配准结果集中的各纵向配准候选结果进行分组，并将含所述纵向配准候选结果的数目最多的组确定为纵向配准结果目标集合；

步骤4.2、基于所述纵向配准结果目标集合，确定纵向配准修正结果，并基于所述纵向配准修正结果，修正该条图像带中各张所述序列图像的纵向配准。

本发明的进一步有益效果是：由于在采集序列图像时，每条图像带对应的每相邻两张序列图像之间的重叠率基本固定不变，即每张序列图像的指向信息基本一致，因此，理论上每条图像带中各个序列图像的纵向配准结果基本一致，基于该理论基础，引入纵向配准一致性约束条件，基于该约束条件进行纵向配准结果的投票，选出每条图像带中匹配的最佳纵向配准结果，在此基础上再进行整条图像带上各序列图像的拼接，以修正整条图像带的纵向配准，从而大大消除了拼接中的累计误差。本发明通过基于灰度的模板匹配与投票机制相结合的方法实现图像的拼接，相比传统的仅仅利用基于模板匹配或者基于特征的图像配准方式，既满足了在线拼接的实时性要求，也大大增强了大范围全景拼接算法的鲁棒性。

进一步，所述步骤4.2包括：

将所述纵向配准结果目标集合中的任一配准结果确定为纵向配准修正结果；或者，

计算所述纵向配准结果目标集合中的各个结果之间的平均值，将所述平均值确定为纵向配准修正结果。

进一步，基于多线程同步对每张所述序列图像执行所述步骤1～步骤5。

本发明的进一步有益效果是：多线程同步进行，提高遥感全景图像的配准速度。

进一步，所述步骤5包括：

采用拉普拉斯金字塔的多分辨图像融合算法，分别对配准后的每条图像带进行融合，得到带状图像，并对每相邻两张所述带状图像进行融合，完成遥感全景图像的拼接。

本发明的进一步有益效果是：本发明采用拉普拉斯金字塔对拼接后的图像进行了多分辨率图像融合，优化了图像拼接的细节，提高了图像拼接的质量。

本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一种遥感全景图像拼接方法。

附图说明

图1为本发明一个实施例提供的一种遥感全景图像拼接方法的流程框图；

图2为本发明一个实施例提供的无人机编程飞行轨迹示意图；

图3为本发明一个实施例提供的获取到的序列图像所构成的图像序列示意图；

图4为本发明一个实施例提供的灰度模板匹配算法对应的模板匹配示意图；

图5为本发明一个实施例提供的投票机制示意图；

图6为本发明一个实施例提供的高斯金字塔的构造示意图；

图7为本发明一个实施例提供的拉普拉斯金字塔单层构造示意图；

图8为本发明一个实施例提供的图像重建示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种遥感全景图像拼接方法100，如图1所示，包括：

步骤110、实时获取遥感全景的序列图像及其对应的指向信息；

步骤120、基于遥感全景的第一条图像带中每张序列图像的指向信息，对该张序列图像进行横向配准；

步骤130、基于横向配准的结果及第一条图像带之后的每条图像带中各张序列图像的指向信息，对该条图像带中各张序列图像进行纵向配准，得到该条图像带的纵向配准结果集；

步骤140、基于纵向配准结果集和纵向配准一致性约束条件，投票确定该条图像带中各张序列图像的纵向配准结果，并基于纵向配准结果，修正该条图像带中各张序列图像的纵向配准；

步骤150、融合配准后的各张序列图像，完成遥感全景图像的拼接。

一般采用无人机采集序列图像，在采集每一条带图像序列时，无人机在地面站控制下沿直线匀速飞行，定时曝光成像，获取的相邻图像序列具有固定重叠率且没有上下对齐误差，无人机的控制误差在图像横向重叠区呈现为几个像素偏差，几乎可以忽略不计。因此对第一条图像带直接根据指向信息进行横向配准，对第一条图像带之后的各条图像带进行纵向配准时，基于横向配准结果，进行纵向配准。

理想情况下，无人机得到的序列图像基于指向信息，得到的应是具有相对固定的带内重叠率和带间重叠率的序列图像，例如，用大疆M100四旋翼无人机编程实现按照如图2所示的带状轨迹匀速飞行，机头方向如箭头所示，相机定时曝光，丢弃转弯区域的图像，从而获取到如图2所示具有相对固定带内重叠率和带间重叠率的序列图像。

但是，在进行“换带”过程中，无人机的飞行状态变化为匀速—加速—减速—匀速。中间的非匀速过程导致无人机有较大的控制误差，使得“换带”处上下相邻图像存在较大的纵向重叠率偏差和左右对齐误差，如图3所示。本实施例图像配准的任务是减少系统偏差的影响，找到图像序列间精确位置关系。因此，采用纵向配准，结合投票机制，大大提高第一条图像带之后的各条图像带的配准精确度，避免因其中某一幅产生误匹配而后续的图像拼接产生很大的累计误差导致整体的拼接效果差的问题。

优选的，指向信息包括：每张序列图像与其相邻的所有序列图像之间的预设相对位置关系。

指向信息为接收的该张序列图像与前面接收的序列图像之间的相对位置关系，由于获取的每一条图像带内的各张序列图像的重叠情况与采集器预设的相对位置关系差别不大，因此基于指向信息进行图像配准，提高图像的配准精度。

优选的，步骤120之前，方法100还包括：

步骤160、对每张序列图像进行滤波处理，得到新的序列图像。

现有拼接软件有多种去噪算法可选，分别有均值滤波、中值滤波、高斯滤波、双边滤波。均值滤波通过邻域均值来替换当前值达到去噪的效果，这种方法适合去除颗粒噪声，不过会丢失图像细节，导致图像变模糊。中值滤波使用某一像素点邻域中所有像素值的中值来代替当前像素点的值，这种方式使得当前点与周围点的像素值更接近，用于消除像素值与周围点差异较大的孤立的噪声，因此适用于消除椒盐噪声。高斯滤波将以当前像素点为中心的窗口与高斯核进行卷积，然后用卷积和取代当前像素值。双边滤波器可以达到保边去噪的效果。在实际情况下，因为噪声类型不一致，针对不同的情况需要选用不同的处理算法。

对序列图像进行滤波，提高配准效率和精度。

优选的，步骤120包括：

步骤121、基于遥感全景的第一条图像带中每张序列图像与其前一张序列图像之间的预设相对位置关系，确定横向匹配模板；

步骤122、基于横向匹配模板，采用灰度模板匹配算法，确定该张序列图像与其前一张序列图像之间的计算相对位置关系；

步骤123、基于计算相对位置关系和横向配准约束条件，确定相邻序列图像的最终位置关系，作为最终横向配准结果。

本实施例采用的图像配准算法为标准相关匹配算法(灰度模板匹配算法)，该算法首先从相邻图像(包括左右相邻和上下相邻)中选择其中一幅图像，从该图像的重叠安全区选择适当大小的图像子区作为模板，遍历另一幅图像重叠试探区的每一个位置，并在每个位置给出一个相似度评估值，认为相似度最高的地方为目标位置，并计算得到两张序列图像的相对位置关系。

相邻序列图像只存在两种关系，横向相邻(左右关系)和纵向相邻(上下关系)，故配准也分为横向配准(与左右相邻的图像进行配准)和纵向配准(与上下相邻的图像进行配准)。横向配准和纵向配准的区别在于模板选区和搜索区的不同。以横向配准为例，其模板选择区和搜索区如图4所示，c、e、f、d分别表示横向相邻图像序列的四种极端的相对位置关系，为保证待配准图像的重叠区域(图像交集)完全包含匹配模板，故在提取匹配模板时应充分考虑图像重叠率和系统控制误差等因素，图4中的重叠安全区完全属于图像重叠区域，在进行匹配时，可以将重叠安全区的子区或者全部作为匹配模板；重叠试探区完全包含匹配模板，在进行匹配时，可以将重叠试探区或者重叠试探区的扩展区域作为模板搜索区，其中，将重叠试探区作为搜索区可以到达最高的匹配效率。

采用灰度模板匹配算法，保证了较高的运算速度。另外，本方法引入横向配准约束条件，采用灰度模板算法计算得到配准结果后，需要进一步根据横向配准约束条件来判断配准结果是否准确，提高横向配准的精确度。

优选的，横向配准约束条件为：以预设相对位置关系的大小为中心的预设数值范围；

则步骤123包括：若计算相对位置关系位于预设数值范围内，则将计算相对位置关系确定为该张序列图像的横向配准结果，并基于该横向配准结果，对该张序列图像进行横向配准，否则，将预设相对位置关系确定为该张序列图像的横向配准结果，并基于该横向配准结果，对该张序列图像进行后续横向拼接。

例如，对于第一条图像带内的每组相邻图像，进行横向配准，配准步骤为：

1)获取一张序列图像。

2)若是第一帧，初始化第一帧图像左上角的全局坐标为(0,0)；若不是第一帧图像，执行步骤3)。

3)与上一帧图像进行横向配准，得到配准结果(xoffset,yoffset)。

4)判断下列条件是否同时成立：

yoffset∈(-Δ_y,Δ_y)

若条件成立，执行步骤6)；若条件不成立，执行步骤5)。

5)xoffset＝(1-hoverlap)*w，yoffset＝0，执行步骤6)。

6)计算图像的全局坐标，执行步骤1)。

其中，xoffset和yoffset为相对前一张序列图像的左上角像素偏移量，hoverlap为理论横向重叠率(例如10％，)，即预设相对位置关系，Δ_x为控制误差引起的横向重叠像素误差边界值(例如2％)，Δ_y为上下对齐像素误差边界值(例如2％)。实际试验中，Δ_y几乎为0，Δ_x一般为很小的数值。

如果计算得到的相对位置关系不在预设数值范围内，说明计算得到的相对位置关系有极大概率是不准确的，则直接将指向信息对应的预设相对位置关系作为该次横向配置的配准结果，进行配准，若计算得到的相对位置关系在预设数值范围内，则认为计算得到的结果是准确的，并按照计算得到的相对位置关系进行该次横向配准。引入约束相对位置关系，极大提高横向配准的准确性。

优选的，纵向配准一致性约束条件为：每条图像带中各个序列图像的纵向配准结果之间的差值小于预设阈值；

则步骤140包括：

步骤141、基于两个纵向配准候选结果之间的差值小于预设阈值的分组条件，对纵向配准结果集中的各纵向配准候选结果进行分组，并将含纵向配准候选结果的数目最多的组确定为纵向配准结果目标集合；

步骤142、基于纵向配准结果目标集合，确定纵向配准修正结果，并基于纵向配准修正结果，修正该条图像带中各张序列图像的纵向配准。

对于第一条图像带后的图像序列，不进行横向配准，只进行纵向配准。以第二条图像带为例，为了方便描述，将第二条图像带内的序列图像进行编号1到n，如图5所示的上图。

将第一条图像带和第二条图像带中编号为k的图像进行配准，假设得到了正确的配准结果，即获得这两幅图像正确的相对位置关系。由于每一条图像带内相邻图像具有相对稳定的重叠率，通过计算可以得到任意一组编号相同上下相邻图像间的相对位置关系，故进行一次上下相邻图像配准可以得到所有上下相邻图像的相对位置关系。

如果对n个编号相同的上下相邻图像分别进行配准，则任意编号相同的上下相邻图像具有n个相对位置关系。考虑两种极端情况，若n个编号上下相邻图像配准结果均为真，属于同一编号的n个位置关系将趋于一致；若n个编号上下相邻图像配准结果均为假，属于同一编号的n个位置关系将随机发散。更一般的情况，n个编号上下相邻图像配准结果部分为真，属于同一编号的n个位置关系中，真结果趋于一致，假结果随机发散。这类似于生活中的投票，配准正确的结果几乎投票给同一个相对位置关系，配准错误的结果只投给自己，故称之投票机制，如图5中的中间位置的图。

具体的从第二条图像带开始，获取到序列图像后，纵向配准如下：

1)判断是否换带，若是，执行步骤3)，若否，执行步骤2)；

2)对编号相同的图像进行纵向配准，得到配准结果(xoffset_k，yoffset_k)，执行步骤1)；

3)每个配准结果范围的票数p(i)，并返回票数最多的配准结果范围的编号，如图5中的中间位置的图。

执行步骤4)。

4)步骤3)得到的配准结果范围，计算条带内其他图像的全局坐标，如图5中的下图所示，图中选中的图为配准准确的图，第二条图像带中的其它基于该图的配准结果进行修正。

将当前条带图像序列及其对应全局坐标送入图像融合池。其中，δ_x和δ_y是预设的误差均值，单位为像素，实际应用中可以通过多次试验统计获得。

由于在采集序列图像时，每条图像带对应的每相邻两张序列图像之间的重叠率基本固定不变，即每张序列图像的指向信息基本一致，因此，理论上每条图像带中各个序列图像的纵向配准结果基本一致，基于该理论基础，引入纵向配准一致性约束条件，基于该约束条件进行纵向配准结果的投票，选出每条图像带中匹配的最佳纵向配准结果，在此基础上再进行整条图像带上各序列图像的拼接，以修正整条图像带的纵向配准，从而大大消除了拼接中的累计误差。

本实施例通过基于灰度的模板匹配与投票机制相结合的方法实现图像的拼接，相比传统的仅仅利用基于模板匹配或者基于特征的图像配准方式，既满足了在线拼接的实时性要求，也大大增强了大范围全景拼接算法的鲁棒性。

优选的，步骤142包括：

将纵向配准结果目标集合中的任一配准结果确定为纵向配准修正结果；或者，

计算纵向配准结果目标集合中的各个结果之间的平均值，将平均值确定为纵向配准修正结果。

优选的，基于多线程同步对每张序列图像执行步骤110～步骤160。

多线程同步进行，提高遥感全景图像的配准速度。

优选的，步骤150包括：

采用拉普拉斯金字塔的多分辨图像融合算法，分别对配准后的每条图像带进行融合，得到带状图像，并对每相邻两张带状图像进行融合，完成遥感全景图像的拼接。

采用基于拉普拉斯金字塔的多分辨率图像融合方法对配准后的图像进行融合。多分辨率融合的基本思想是，图像可以分解为不同频率的图像的叠加(类似于傅里叶变换)，在不同的频率上，应该使用不同的权重在进行融合，在低频部分应该使用较宽的加权信号(例如高斯核函数中的sigma比较大)，在高频部分应该使用较窄的加权信号(例如高斯核函数的sigma比较小)。基本流程是：将参加融合的的每幅图像分解为多尺度的金字塔图像序列，将低分辨率的图像在上层，高分辨率的图像在下层，上层图像的大小为前一层图像大小的1/4。层数为0,1,2……N。将所有图像的金字塔在相应层上以一定的规则融合，就可得到合成金字塔，再将该合成金字塔按照金字塔生成的逆过程进行重构，得到融合后的图像。图像融合的目的是提高拼接的整体一致性，使得拼接完成的全景图像平滑自然。下面介绍图像融合的步骤，其中包含但不限于了金字塔的构造方法以及每层金字塔的的融合规则。

1)计算输入图像的高斯金字塔，这里的输入图像为待融合图像A和B，则计算GA0，GA1，GA2…和GB0，GB1，GB2…，最底层为G0，G0为原始图像。高斯金字塔的构造过程如图6所示。

则上层图像通过下一层图像的REDUCE操作得到，即：

G_l＝REDUCE(G_l-1),0＜l＜N (1)

式中，REDUCE的数学表达式为：

式中，w(m.n)表示5×5的高斯模板。

2)计算输入图像的拉普拉斯金字塔。图像A和B的拉普拉斯高斯金字塔的每一层分别记为LA0，LA1，LA2...和LB0，LB1，LB2…，拉普拉斯金字塔的构造过程如图7所示，Gi’由Gi+1插值得到。

通过对高斯金字塔相邻层作差得到带通图像，也就是拉普拉斯金字塔。因为高斯金字塔每层大小不一样，需要先对上层图像进行放大(EXPAND)，使得放大后图像与下层图像大小一致。令

表示G_l经过EXPAND操作后的图像，则有：

其中，EXPAND的数学表达式为：

令L₀,L₁,L₂,...,L_N表示N+1层拉普拉斯金字塔图像，则有：

3)将处于同一级的拉普拉斯金字塔进行融合。重叠部分使用加权平均法进行融合，得到融合拉普拉斯金字塔。记输出图像为LS0，LS1，LS2…，将A和B的高斯金字塔的顶层图像进行线性融合得到GS。融合公式如下：

其中，公式等号右侧的分子表示覆盖在(i,j)点的像素值的累加和，分母表示(i，j)点被覆盖的次数之和，公式左侧表示(i,j)点融合之后的结果。

4)图像重建。有了LS和GS后，依照金字塔的关系逆向重构得到与原始图像分辨率一致的融合图像。重建过程如图8所示，最后得到的图像就是融合完成的图像。

对于灰度图像直接操作即可，对于彩色图像则在不同的通道进行多分辨率融合，最后合成不同通道的全景图像得到最后的彩色全景图像。

该方法的优点在于1)允许增量式融合，每次进行图像融合时保留中间过程产生的金字塔数据，当有新的图像输入时，只需对新图像所覆盖的范围进行上述的操作即可；2)可并行处理，上述图像融合方法在像素间的处理关联性低，可将整个融合图像融合任务根据覆盖范围划分为对融合子任务并行处理，在数据量较大或者系统实时性要求较高的应用中，采用多线程并行处理可以有效提高处理速度。

(5)可视化显示及存储

将(4)中融合后得到全景大图在软件界面中可视化滚动显示，同时解算全景图像中每一个小子图图像中心点对应的地理坐标，将该值和图像索引存储到本地数据库中，便于系统对感兴趣的局部区域按照地理坐标范围进行检索查看拼接图。

本实施例采用拉普拉斯金字塔对拼接后的图像进行了多分辨率图像融合，优化了图像拼接的细节，提高了图像拼接的质量。

实施例二

一种存储介质，存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一种遥感全景图像拼接方法。

相关技术方案同实施例一，在此不再赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种遥感全景图像拼接方法，其特征在于，包括：

步骤1、实时获取遥感全景的序列图像及其对应的指向信息；

步骤5、融合配准后的各张所述序列图像，完成遥感全景图像的拼接；

其中，所述指向信息包括：每张所述序列图像与其相邻的所有所述序列图像之间的预设相对位置关系；

所述步骤2包括：

2.根据权利要求1所述的一种遥感全景图像拼接方法，其特征在于，所述步骤2之前，所述方法还包括：

3.根据权利要求1所述的一种遥感全景图像拼接方法，其特征在于，所述横向配准约束条件为：以所述预设相对位置关系的大小为中心的预设数值范围；

则所述步骤2.3包括：

4.根据权利要求1所述的一种遥感全景图像拼接方法，其特征在于，所述纵向配准一致性约束条件为：每条图像带中各个所述序列图像的纵向配准结果之间的差值小于预设阈值；

则所述步骤4包括：

5.根据权利要求4所述的一种遥感全景图像拼接方法，其特征在于，所述步骤4.2包括：

6.根据权利要求1所述的一种遥感全景图像拼接方法，其特征在于，基于多线程同步对每张所述序列图像执行所述步骤1～步骤5。

7.根据权利要求1至6任一项所述的一种遥感全景图像拼接方法，其特征在于，所述步骤5包括：

8.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述如权利要求1至7任一项所述的一种遥感全景图像拼接方法。