CN112419156A - 一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法 - Google Patents

Abstract

本发明公开了一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，包括步骤：对高分辨率影像进行几何配准和重叠区坐标确定；采用“整体+局部”调色策略，对输入影像整体上以直方图匹配方法进行匀色，进一步对不同地物分别以矩匹配方法进行局部匀色；利用Voronoi图生成初始接缝线网络；对重叠区内不同的地物赋予不同的权值，基于动态规划的方法在缓冲区内查找总权值最小的路径，将其作为优化后的接缝线网络；利用反距离加权的影像融合算法消除拼接缝，获取最终的镶嵌影像。本发明不仅能确保镶嵌影像整体上色调一致，还能显著减弱局部色差，更能自动地生成绕过建筑物的接缝线网络，有效避免逐条查找接缝线的误差累积，快速获取目视自然的镶嵌影像。

Description

一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法

技术领域

本发明属于遥感影像处理技术领域，涉及一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌处理方法。

背景技术

通过传感器获得的遥感影像，由于传感器自身物理因素的限制，仅靠单幅遥感影像往往不能完全覆盖感兴趣的研究区，因而需要扩大影像的覆盖范围，便于进一步的处理和研究。对于相同尺寸的影像，空间分辨率越高，单幅影像的覆盖范围就越小。为了获得同一感兴趣的研究区，需要将更多幅高分辨率遥感影像拼接为一幅影像。影像镶嵌就是把两幅甚至多幅(具有重叠区域的)影像镶嵌到一起形成一幅自然的影像，并且没有明显的拼接痕迹。

由于原始影像观测条件的差异，如拍摄时间的不同，太阳光照条件的不同等，都会导致影像色调出现不均衡和偏差。另外，即使影像的观测条件差别不大,由于地形等各种因素的影响，每幅影像本身也会出现局部的色调偏差，因此在镶嵌前需要进行匀色处理。传统的影像调色方法如最小二乘、矩匹配、直方图匹配等，一般都是对影像进行整体调色，不能很好地顾及影像的局部信息，导致影像在局部区域仍存在一些色差。

影像镶嵌的另一关键步骤是查找接缝线，接缝线的质量决定了镶嵌结果的好坏。特别是在高分辨率影像中，如果接缝线穿过了建筑物等明显地物，对于非正射影像来说，则会在镶嵌影像中出现明显的错位现象；即使对于正射影像，也容易出现拼接痕迹。目前的镶嵌技术多应用于两幅影像的拼接，通过考虑相邻影像的灰度、梯度、纹理等信息控制接缝线的走向，使其绕过建筑物。但在影像数量很多时，两两镶嵌的效率很低，还会累积误差。因此，如何设计合适的接缝线网络生成算法，使之有效地避开建筑物，仍然是多幅高分辨率遥感影像镶嵌中的一个难点。

另外，传统的镶嵌方法在找到合适的接缝线后，就直接沿着接缝线将影像拼接起来。然而，即使经过匀色处理后，接缝线两侧仍会存在过渡不均匀的现象，因此还需要对拼接缝进行消除处理。常用的接缝线消除方法有强制消除改正、小波变换等，但强制消除改正可能会造成影像两侧的缓冲区不连续，小波变换在理论上比较严密，但实现起来十分复杂。

发明内容

针对现有技术存在的不足，本发明旨在提供一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法。

为实现上述目的，本发明采用如下技术方案：

一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，包括以下步骤：

步骤1，输入多幅高分辨率遥感影像，进行预处理操作，包括对影像进行几何配准和确定相邻影像的重叠区坐标；

步骤2，采用“整体+局部”调色策略，首先对所有的输入影像进行全局匀色处理，然后基于面向对象的思想，对影像的不同地物进行局部匀色处理；

步骤3，在调色后的影像上生成初始接缝线网络；

步骤4，在初始接缝线网络的两侧建立一定宽度的缓冲区，然后基于地物分类的思想，将缓冲区划分为接缝线可穿过区域和不可穿过区域，再利用动态规划的方法，查找一条最佳路径来对接缝线进行优化处理；

步骤5，最后在优化后的接缝线两侧建立新的缓冲区，利用影像融合算法消除拼接缝，得到镶嵌结果。

进一步的，步骤1中利用基于特征点的配准算法对影像进行几何配准，包括利用SIFT算法提取影像的特征点，生成特征描述子；根据描述子的相似程度对两幅影像的特征之间进行匹配，并利用RANSAC算法剔除误匹配对，估计出几何变换模型；将输入影像作对应的参数变换，进行空间插值，得到配准结果；

根据每幅影像的地理位置信息计算出相邻影像重叠区的四角坐标。

进一步的，步骤2中，所述“整体+局部”调色策略的具体实现方法为：

步骤2.1，首先进行整体匀色处理，将每幅影像的灰度均值进行排序，若输入影像个数为奇数，则从中选择灰度均值在所有影像中占中位数的影像作为参考影像；若输入影像个数为偶数，先选出灰度均值在所有影像中占中位数的两幅影像，再选择灰度均值与所有影像灰度均值的平均值更接近的影像作为参考影像；以参考影像为中心，由内向外利用直方图匹配方法依次对其他影像进行整体匀色处理，使其他影像的色调尽量与参考影像一致；

步骤2.2，基于面向对象的思想，对影像进行局部匀色处理；先将高分辨率影像的地物分为建筑、道路、河流、植被和其他地物五种类型，然后分别对每一类地物利用矩匹配方法进行局部匀色处理；矩匹配公式如下：

其中，A、B分别代表映射函数的增益和偏置，δ_ref,μ_ref表示参考影像重叠区域的像素标准差、均值，δ_dst,μ_dst表示目标影像重叠区域的像素标准差、均值，h(i,j)表示坐标为(i,j)的像素点调整前的灰度值，

是经过矩匹配调整后的灰度值。

进一步的，步骤3中，利用顾及重叠的面Voronoi图方法来生成初始接缝线网络，具体实现方式如下，

步骤3.1，选择相邻影像重叠区的角平分线作为接缝线，依次计算所有重叠影像间的接缝线；

步骤3.2，对每幅影像,依次用与其有重叠的影像间的接缝线去裁剪其有效范围，一幅影像的有效范围就被不断划分,形成该影像所属的Voronoi多边形；

步骤3.3，对每幅影像都按上一步的操作进行裁剪处理,计算出每幅影像所属的Voronoi多边形,这样就形成了镶嵌影像的Voronoi图，得到了镶嵌影像的初始接缝线网络。

进一步的，步骤4的具体实现方法为，

步骤4.1：基于面向对象的思想，将相邻影像重叠区内的地物重新分为四类，分别为建筑、道路、河流以及其他地物，为每一类地物赋予不同的标签，对于建筑，认为其是接缝线不允许穿过的区域；对于河流，认为其是非常建议穿过的区域；对于道路，认为其是建议穿过的区域；对于其他地物，认为其是允许穿过的区域；

步骤4.2，根据缓冲区内每个像素所属的地物类别赋予不同的权值，对于建筑，赋予零值，表示不允许接缝线穿过；对于河流，赋予较小的权值；对于道路，赋予中等的权值；对于其他地物，赋予较大的权值；

步骤4.3，在缓冲区赋予的权值不为零的区域内，利用动态规划的方法，以初始像素为中心，向五个方向查找一条权值总和最小的路径作为优化后的接缝线。

进一步的，步骤4.3五个方向分别为左、左下、下、右下、右。

进一步的，步骤4.3中动态规划的具体方法为，

假设共有n个决策阶段，每个决策阶段的数量指标用r_i(s_i,e_i)来表示，那么总的决策阶段的最优解Z可以表示为：

在最短路径问题中，r_i(s_i,e_i)表示第i条路径的长度指标，s_i表示起点，e_i表示终点。

进一步的，所述步骤5中，利用反距离加权的影像融合算法消除拼接缝，反距离加权的影像融合算法公式具体如下：

I_i＝X_i+(Y_i-X_i)×K (4)

其中，i表示当前像素点到接缝线的距离，I_i表示到接缝线距离为i的像素点经过平滑处理后的灰度值，X_i和Y_i分别表示两幅影像在离接缝线距离为i的像素点的灰度值，K为权重系数，在平滑范围内呈线性反向变化，w表示缓冲区的宽度。

本发明产生的有益效果是：

1.本发明在匀色处理上采用“整体+局部”策略，不仅能确保镶嵌影像整体上色调一致，同时也能顾及影像局部区域的颜色信息，从而消除镶嵌影像的颜色差异。

2.基于地物分类的接缝线网络生成方法直接生成全局初始接缝线网络，避

免误差累积，然后在接缝线两侧的缓冲区内，基于面向对象的思想将地物分类，确定允许接缝线穿过的区域，避免其穿过建筑物，最后利用动态规划的方法在缓冲区内查找一条最优路径作为优化后的接缝线，提高计算效率。

3.利用反距离加权的影像融合算法可以有效地消除拼接缝，使接缝线两侧的影像均匀过渡，成为一幅自然、完整的镶嵌影像。

附图说明

图1是本发明方法的整体流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，具体步骤如下：

步骤1：输入多幅高分辨率遥感影像，进行预处理操作，具体方法如下：

利用基于特征点的配准算法对影像进行几何配准。利用SIFT算法提取影像的特征点，生成特征描述子；根据描述子的相似程度对两幅影像的特征之间进行匹配，并利用RANSAC算法剔除误匹配对，估计出几何变换模型；将输入影像做对应的参数变换，进行空间插值，得到配准结果。

根据每幅影像的地理位置信息计算出相邻影像重叠区的四角坐标。

步骤2：采用“整体+局部”调色策略，具体方法如下：

步骤2.1：首先进行整体匀色处理，将每幅影像的灰度均值进行排序，若输入影像个数为奇数，则从中选择灰度均值在所有影像中占中位数的影像作为参考影像；若输入影像个数为偶数，先选出灰度均值在所有影像中占中位数的两幅影像，再选择灰度均值与所有影像灰度均值的平均值更接近的影像作为参考影像。以参考影像为中心，由内向外利用直方图匹配方法依次对其他影像进行整体匀色处理，使其他影像的色调尽量与参考影像一致。

步骤2.2：基于面向对象的思想，对影像进行局部匀色处理。将高分辨率影像中的地物分为建筑、道路、河流、植被和其他地物五种类型，然后分别对每一类地物利用矩匹配方法进行局部匀色处理。矩匹配公式如下：

其中，A、B分别代表映射函数的增益和偏置，δ_ref,μ_ref表示参考影像重叠区域的像素标准差、均值，δ_dst,μ_dst表示目标影像重叠区域的像素标准差、均值，h(i,j)表示坐标为(i,j)的像素点调整前的灰度值，

是经过矩匹配调整后的灰度值。

步骤3：在调色后的影像上利用顾及重叠的面Voronoi图方法生成初始接缝线网络，具体步骤如下：

步骤3.1：选择相邻影像重叠区的角平分线作为接缝线，依次计算所有重叠影像间的接缝线。

步骤3.2：对每幅影像,依次用与其有重叠的影像间的接缝线去裁剪其有效范围，一幅影像的有效范围就被不断划分,形成该影像所属的Voronoi多边形。

步骤3.3：对每幅影像都按上一步的操作进行裁剪处理,计算出每幅影像所属的Voronoi多边形,这样就形成了镶嵌影像的Voronoi图，得到了镶嵌影像的初始接缝线网络。

步骤4：对接缝线网络进行优化，即在初始接缝线网络的两侧建立一定宽度的缓冲区，然后基于地物分类的思想，将缓冲区划分为接缝线可穿过区域和不可穿过区域，再利用动态规划的方法，查找一条最佳路径来对接缝线进行优化处理；具体步骤如下：

步骤4.1：基于面向对象的思想，将相邻影像重叠区内的地物重新分为四类，分别为建筑、道路、河流以及其他地物。为每一类地物赋予不同的标签，对于建筑，认为其是接缝线不允许穿过的区域；对于河流，认为其是非常建议穿过的区域；对于道路，认为其是建议穿过的区域；对于其他地物，认为其是允许穿过的区域。

步骤4.2：根据缓冲区内每个像素所属的地物类别赋予不同的权值。对于建筑，赋予零值，表示不允许接缝线穿过；对于河流，赋予较小的权值a，这里选择1；对于道路，赋予中等的权值b，这里选择10；对于其他地物，赋予较大的权值c，这里选择100，其中a<b<c。

步骤4.3：在缓冲区赋予的权值不为零的区域内，利用动态规划的方法，以初始像素为中心，向左、左下、下、右下、右五个方向查找一条权值总和最小的路径作为优化后的接缝线。动态规划求解多阶段决策问题的一般思路为：假设共有n个决策阶段，每个决策阶段的数量指标用r_i(s_i,e_i)来表示，那么总的决策阶段的最优解Z可以表示为：

在最短路径问题中，r_i(s_i,e_i)表示第i条路径的长度指标，本实施例的长度指标即为每一阶段决策的权值和，s_i表示起点，e_i表示终点。

步骤5：最后在优化后的接缝线两侧建立新的缓冲区，利用反距离加权的影像融合算法消除拼接缝。反距离加权的影像融合算法公式具体如下：

I_i＝X_i+(Y_i-X_i)×K (4)

其中，i表示当前像素点到接缝线的距离，I_i表示到接缝线距离为i的像素点经过平滑处理后的灰度值，X_i和Y_i分别表示两幅影像在离接缝线距离为i的像素点的灰度值，K为权重系数，在平滑范围内呈线性反向变化，w表示缓冲区的宽度(w由用户设定，但需小于重叠区宽度)。

本发明在匀色处理上采用“整体+局部”策略，不仅能确保镶嵌影像整体上色调一致，同时也能顾及影像局部区域的颜色信息，从而消除镶嵌影像的颜色差异。基于地物分类的接缝线网络生成方法直接生成全局初始接缝线网络，避免误差累积。然后在接缝线两侧的缓冲区内，基于面向对象的思想将地物分类，确定接缝线允许穿过的区域，避免其穿过建筑物，最后利用动态规划的方法在缓冲区内查找一条最优路径作为优化后的接缝线，提高计算效率。反距离加权的影像融合算法可以有效地消除拼接缝，使接缝线两侧的影像均匀过渡，成为一幅自然、完整的镶嵌影像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于，依次包括以下步骤：

步骤1，输入多幅高分辨率遥感影像，进行预处理操作，包括对影像进行几何配准和确定相邻影像的重叠区坐标；

步骤2，采用“整体+局部”调色策略，首先对所有的输入影像进行全局匀色处理，然后基于面向对象的思想，对影像的不同地物进行局部匀色处理；

步骤3，在调色后的影像上生成初始接缝线网络；

步骤4，在初始接缝线网络的两侧建立一定宽度的缓冲区，然后基于地物分类的思想，将缓冲区划分为接缝线可穿过区域和不可穿过区域，再利用动态规划的方法，查找一条最佳路径来对接缝线进行优化处理；

步骤5，最后在优化后的接缝线两侧建立新的缓冲区，利用影像融合算法消除拼接缝，得到镶嵌结果。

2.根据权利要求1所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：步骤1中利用基于特征点的配准算法对影像进行几何配准，包括利用SIFT算法提取影像的特征点，生成特征描述子；根据描述子的相似程度对两幅影像的特征之间进行匹配，并利用RANSAC算法剔除误匹配对，估计出几何变换模型；将输入影像作对应的参数变换，进行空间插值，得到配准结果；

根据每幅影像的地理位置信息计算出相邻影像重叠区的四角坐标。

3.根据权利要求1所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：步骤2中，所述“整体+局部”调色策略的具体实现方法为：

步骤2.1，首先进行整体匀色处理，将每幅影像的灰度均值进行排序，若输入影像个数为奇数，则从中选择灰度均值在所有影像中占中位数的影像作为参考影像；若输入影像个数为偶数，先选出灰度均值在所有影像中占中位数的两幅影像，再选择灰度均值与所有影像灰度均值的平均值更接近的影像作为参考影像；以参考影像为中心，由内向外利用直方图匹配方法依次对其他影像进行整体匀色处理，使其他影像的色调尽量与参考影像一致；

步骤2.2，基于面向对象的思想，对影像进行局部匀色处理；先将高分辨率影像的地物分为建筑、道路、河流、植被和其他地物五种类型，然后分别对每一类地物利用矩匹配方法进行局部匀色处理；矩匹配公式如下：

其中，A、B分别代表映射函数的增益和偏置，δ_ref,μ_ref表示参考影像重叠区域的像素标准差、均值，δ_dst,μ_dst表示目标影像重叠区域的像素标准差、均值，h(i,j)表示坐标为(i,j)的像素点调整前的灰度值，

是经过矩匹配调整后的灰度值。

4.根据权利要求1所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：步骤3中，利用顾及重叠的面Voronoi图方法来生成初始接缝线网络，具体实现方式如下，

步骤3.1，选择相邻影像重叠区的角平分线作为接缝线，依次计算所有重叠影像间的接缝线；

步骤3.2，对每幅影像,依次用与其有重叠的影像间的接缝线去裁剪其有效范围，一幅影像的有效范围就被不断划分,形成该影像所属的Voronoi多边形；

步骤3.3，对每幅影像都按上一步的操作进行裁剪处理,计算出每幅影像所属的Voronoi多边形,这样就形成了镶嵌影像的Voronoi图，得到了镶嵌影像的初始接缝线网络。

5.根据权利要求1所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：步骤4的具体实现方法为，

步骤4.1：基于面向对象的思想，将相邻影像重叠区内的地物重新分为四类，分别为建筑、道路、河流以及其他地物，为每一类地物赋予不同的标签，对于建筑，认为其是接缝线不允许穿过的区域；对于河流，认为其是非常建议穿过的区域；对于道路，认为其是建议穿过的区域；对于其他地物，认为其是允许穿过的区域；

步骤4.2，根据缓冲区内每个像素所属的地物类别赋予不同的权值，对于建筑，赋予零值，表示不允许接缝线穿过；对于河流，赋予权值a；对于道路，赋予权值b；对于其他地物，赋予权值c，其中a<b<c；

步骤4.3，在缓冲区赋予的权值不为零的区域内，利用动态规划的方法，以初始像素为中心，向五个方向查找一条权值总和最小的路径作为优化后的接缝线。

6.根据权利要求5所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：步骤4.3中五个方向分别为左、左下、下、右下、右。

7.根据权利要求5所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：步骤4.3中动态规划的具体方法为，

假设共有n个决策阶段，每个决策阶段的数量指标用r_i(s_i,e_i)来表示，那么总的决策阶段的最优解Z可以表示为：

在最短路径问题中，r_i(s_i,e_i)表示第i条路径的长度指标，s_i表示起点，e_i表示终点。

8.根据权利要求1所述的一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法，其特征在于：所述步骤5中，利用反距离加权的影像融合算法消除拼接缝，反距离加权的影像融合算法公式具体如下：

I_i＝X_i+(Y_i-X_i)×K (4)

其中，i表示当前像素点到接缝线的距离，I_i表示到接缝线距离为i的像素点经过平滑处理后的灰度值，X_i和Y_i分别表示两幅影像在离接缝线距离为i的像素点的灰度值，K为权重系数，在平滑范围内呈线性反向变化，w表示缓冲区的宽度。

Images