CN104933687B - 一种考虑变化区域的接缝线多尺度羽化算法 - Google Patents

Abstract

本发明公开了一种考虑变化区域的接缝线多尺度羽化算法，包括步骤：计算相邻影像重叠区域内各像元的差异，获得重叠区域的差异影像；根据重叠区域的差异影像，确定属于变化的像元；分别对相邻正射影像的重叠区域进行影像分割，并分别确定分割结果影像中各分割区域变化像元的比例，进而确定重叠区域内的变化区域；根据给定的接缝线，并结合已确定的重叠区域内的变化区域，生成模板影像；根据生成的模板影像，采用多尺度的方式，实现相邻影像重叠区域内的羽化处理。本发明适用于数字正射影像镶嵌处理时接缝线附近重叠区域的羽化处理，实现色彩平滑过渡的同时，消除羽化范围内的重影现象，尽可能反映地面的真实情况，从而提高镶嵌影像质量。

Description

一种考虑变化区域的接缝线多尺度羽化算法

技术领域

本发明属于摄影测量与遥感影像处理领域，特别涉及一种考虑变化区域的接缝线多尺度羽化算法。

背景技术

影像镶嵌是生成数字正射影像产品的关键步骤，它是将多幅数字正射影像拼接在一起形成一幅更大范围影像的过程，可以解决单景影像覆盖范围较小、不能满足进行大范围可视化、分析、处理等实际应用的需求。

接缝线的羽化处理是影像镶嵌处理中一个必需的环节。影像在镶嵌过程中，在接缝线附近，可能存在亮度、色调差异及结构错位等现象，如果不进行处理，会在镶嵌影像上形成明显的拼接缝。接缝线的羽化处理就是为了消除影像镶嵌过程中接缝线处可能存在的拼接缝现象，提高镶嵌影像的质量。经典的多尺度羽化算法当接缝线附近色彩差异较大时，色彩过渡不够平滑，而基于距离加权的羽化算法虽然可以实现色彩的平滑过渡，但在羽化范围内，如果建筑物等存在视差，或者存在运动目标则会产生鬼影或者重影现象，严重影响地物的解析与判别，不能反映地面的真实情况。

发明内容

本发明为在实现色彩平滑过渡的同时，消除羽化范围内的重影现象，尽可能反映地面的真实情况，提高镶嵌影像质量，提出了一种考虑变化区域的接缝线多尺度羽化算法。

本发明所采用的技术方案是：一种考虑变化区域的接缝线多尺度羽化算法，其特征在于，包括以下步骤：

步骤1：对于待拼接的两幅相邻正射影像，为叙述方便，两幅影像分别记为左影像、右影像，计算影像间的重叠区域，并计算重叠区域内各像元的差异，获得重叠区域的差异影像；

步骤2：根据重叠区域的差异影像，确定属于变化的像元；

步骤3：分别对相邻正射影像的重叠区域进行影像分割，并分别确定分割结果影像中各分割区域变化像元的比例，进而确定重叠区域内的变化区域Regions；

步骤4：根据给定的接缝线，并结合步骤3确定的重叠区域内的变化区域Regions，生成模板影像R；

步骤5：分别构建左、右影像重叠区域影像及模板影像R的高斯金字塔影像；

步骤6：分别构建左、右影像重叠区域影像的拉普拉斯金字塔影像；

步骤7：以模板影像R的高斯金字塔影像作为权重因子，将左、右影像重叠区域部分进行加权平均，得到拼接后的拉普拉斯影像LP，并对拼接后的拉普拉斯影像LP进行逐层复原重建，得到多尺度羽化后的影像结果。

作为优选，步骤2的所述的确定属于变化的像元，具体实现过程是根据重叠区域像素的差异影像，设定属于变化像元的差异阈值，设为T，即如果某像元的差异值大于T，则认为该像元为变化的像元。

作为优选，步骤3的具体实现包括以下子步骤：

步骤3.1：对左影像的重叠区域影像进行影像分割，计算分割结果中各分割区域变化像元的比例；

步骤3.2：设定分割区域变化像元的比例阈值TRate，对于左影像重叠区域内各分割区域，变化像元的比例小于TRate的区域为无变化区域，否则为变化区域，将左影像重叠区域内所有的变化区域表示为Regions1；

步骤3.3：对右影像的重叠区域影像采用步骤3.1、步骤3.2原理进行处理，从而得到右影像重叠区域内所有的变化区域，表示为Regions2；其中，分割区域变化像元的比例阈值与步骤3.2中相同，仍为TRate；

步骤3.4：获得重叠区的变化区域；求取步骤3.2、步骤3.3获得的左、右影像重叠区域变化区域的并集，作为重叠区的变化区域，即重叠区域内的变化区域为Regions＝Regions1∪Regions2。

作为优选，步骤4的具体实现包括以下子步骤：

步骤4.1：构建一幅与重叠区域影像大小相同的影像作为模板影像，构建的模板影像为8位灰度影像，以接缝线为基准，接缝线左侧模板影像的像元全部赋0值，右侧赋255，实现模板影像的初始化；

步骤4.2：结合确定的重叠区域内的变化区域Regions，对初始化的模板影像进行平滑处理；在平滑的过程中，对于属于变化区域Regions中的像元，其对应的模板影像中像元的值保持不变。

本发明将相邻影像重叠区域中存在投影差的建筑物等地物区域及运动目标等区域看作变化区域，提出的考虑变化区域的接缝线多尺度羽化算法，实现了色彩平滑过渡的同时，消除羽化范围内的重影现象，尽可能反映了地面的真实情况，提高了镶嵌影像质量。

附图说明

图1：是本发明实施例的左影像，白色矩形区域为左右影像的重叠区，影像分辨率为0.5米；

图2：是本发明实施例的右影像，白色矩形区域为左右影像的重叠区，影像分辨率为0.5米；

图3：是本发明实施例的根据左右影像重叠区域内的影像分割结果以及确定的变化像元所确定的重叠区域内的变化区域示意图，图中黑色区域即为影像的变化区域，白色区域为无变化区域；

图4：是本发明实施例的基于重叠区域内变化区域生成的模板影像的示意图(假定接缝线为重叠区域的平分线)；

图5：是本发明实施例的羽化后得到的重叠区域影像结果示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本实例针对数字正射影像，提供的一种考虑变化区域的接缝线多尺度羽化算法，包括以下步骤：

步骤1：对于待拼接的两幅相邻正射影像，为叙述方便，两幅影像分别记为左影像、右影像，计算影像间的重叠区域(如图1、图2所示)，并计算重叠区域内各像元的差异，获得重叠区域的差异影像；

根据重叠区域建立一个矩阵，用于表示重叠区域内各像元的差异，矩阵宽、高为重叠区域的外接矩形宽、高；用F(F₁……F_N)和G(G₁……G_N)分别表示重叠区域内左右影像中单个像元的亮度值，N为波段数，则左、右影像像元亮度值U和V表示为影像各波段像素值的线性组合，即

U＝A^TF＝a₁F₁+a₂F₂+...+a_NF_N (1)

V＝B^TF＝b₁G₁+b₂G₂+...+b_NG_N (2)

式中，A^T和B^T为常数矢量，a₁＝a₂＝...＝a_N＝1/N，b₁＝b₂＝...＝b_N＝1/N，通过上述变换，将多波段影像转换为单波段影像。然后采用公式(3)计算各像元的差异，从而获得差异影像。

cost(x,y)＝255×(1-ρ)/2.0 (3)

其中，ρ为以像元(x,y)为中心的局部窗口内左右影像对应像元的相关系数，其具体计算公式如下：

式中：X[i,j]为重叠区域内左影像在像元(i,j)处的像素值，Y[i,j]为重叠区域内右影像在像元(i,j)处的像素值，M、N分别表示局部窗口的宽、高。在本实施例中，局部窗口大小为5×5，即M＝N＝5。

步骤2：根据重叠区域的差异影像，确定属于变化的像元；确定属于变化的像元的实现过程是根据重叠区域像素的差异影像，设定属于变化像元的差异阈值，设为T，即如果某像元的差异值大于T，则认为该像元为变化的像元；请见图3，其中黑色区域内的像元表示变化的像元，白色区域内的像元表示无变化的像元；

步骤3：分别对相邻正射影像的重叠区域进行影像分割，并分别确定分割结果影像中各分割区域变化像元的比例，进而确定重叠区域内的变化区域Regions，如图3所示。具体包括以下子步骤：

步骤3.1：对左影像的重叠区域影像进行影像分割(本实施例采用的是MeanShift分割算法)，计算分割结果中各分割区域变化像元的比例，变化像元的比例计算公式为：

其中，△x表示区域中变化的像元数，x表示区域内的总像元数；

步骤3.2：设定分割区域变化像元的比例阈值TRate，对于左影像重叠区域内各分割区域，变化像元的比例小于TRate的区域为无变化区域，否则为变化区域，将左影像重叠区域内所有的变化区域表示为Regions1；

变化像元的比例阈值TRate应确保存在投影差建筑物、及行驶车辆等运动目标的分割区域为变化区域，在本实施例中，选取的TRate＝13％；

步骤3.3：对右影像的重叠区域影像采用步骤3.1、步骤3.2原理进行处理，从而得到右影像重叠区域内所有的变化区域，表示为Regions2；其中，分割区域变化像元的比例阈值与步骤3.2中相同，仍为TRate；

步骤3.4：获得重叠区的变化区域；求取步骤3.2、步骤3.3获得的左、右影像重叠区域变化区域的并集，作为重叠区的变化区域，即重叠区的变化区域为Regions＝Regions1∪Regions2；

步骤4：根据给定的接缝线，并结合步骤3确定的重叠区域的变化区域Regions，生成模板影像R，如图4所示，具体包括以下子步骤：

步骤4.1：构建一幅与重叠区域影像大小相同的影像作为模板影像，构建的模板影像为8位灰度影像，以接缝线为基准，接缝线左侧模板影像的像元全部赋0值，右侧赋255，实现模板影像的初始化；

步骤4.2：结合确定的重叠区域的变化区域Regions，对初始化的模板影像进行平滑处理。平滑处理可选择常用的均值平滑、高斯平滑等方法，并设定一定的窗口大小m，该窗口大小可以根据羽化的需要，由用户设定。在平滑的过程中，对于属于变化区域Regions中的像元，其对应的模板影像中像元的值保持不变；

步骤5：分别构建左、右影像重叠区域影像及模板影像的高斯金字塔影像，具体包括以下子步骤：

步骤5.1：对于左影像的重叠区域影像A，将其作为高斯金字塔影像的第0层，然后按照公式(6)采用具有低通特性的窗口模板w对高斯金字塔的当前层进行处理，得到高斯金字塔的0层以上的各层影像，从而获得影像A的高斯金字塔影像GS_A，其中上一层影像大小为相邻下层影像大小的一半；

式中，l为金字塔影像层编号，0<l≤N，G_l(i,j)为第l层高斯金字塔影像；N为金字塔分解层数，在本实施例中，金字塔分解层数N＝4；i，j分别为影像像元的行列号；w是一个具有低通特性的窗口模板，窗口大小为5×5，w_m,n是窗口模板中的具体元素的值(-2≤m,n≤2，m，n均为整数)，窗口模板w的具体定义如下：

步骤5.2：对于右影像的重叠区域影像B，采用步骤5.1同样的处理得到影像B的高斯金字塔影像GS_B；

步骤5.3：对于模板影像R，采用步骤5.1同样的处理得到模板影像R的高斯金字塔影像GS_R；

步骤6：分别构建左、右影像重叠区域影像的拉普拉斯金字塔影像，具体包括以下子步骤：

步骤6.1：根据左影像重叠区域高斯金字塔影像GS_A，按照公式(8)，将高斯金字塔影像GS_A零层以上各层GS^l(i,j)(l>0)进行插值扩展为原来尺寸的2倍，得到与GS^l-1(i,j)同等大小尺寸的插值影像GS^l′(i,j)。

在计算过程中，只有当与同为整数，对应的元素才计算在内，否则予以舍弃。将GS^l-1(i,j)与GS^l′(i,j)进行差值运算便可得到拉普拉斯金字塔影像LP^l-1(i,j)。经过上述操作，即可获得左影像重叠区域的拉普拉斯金字塔影像LP_A；

步骤6.2：根据右影像重叠区域高斯金字塔影像GS_B，采用步骤6.1相同的处理获得右影像重叠区域的拉普拉斯金字塔影像LP_B；

步骤7：以模板影像R的高斯金字塔影像作为权重因子，将左右影像重叠区域部分进行加权平均，得到拼接后的拉普拉斯影像LP，并对拼接后的拉普拉斯影像进行逐层复原重建，得到多尺度羽化后的影像结果，如图5所示；具体包括以下子步骤：

步骤7.1：利用模板影像R的高斯金字塔影像，按照公式(9)对左、右影像重叠区域影像的每一层拉普拉斯影像进行处理，得到拼接后的重叠区域拉普拉斯影像LP；

步骤7.2：对于拼接后的重叠区域拉普拉斯影像从最高层LP^N起，逐层插值扩展，并与其下一层影像逐像元对应相加，重复此过程直至与最后一层影像加完为止，如此便可得到最终的基于接缝线的多尺度羽化影像结果；其具体重建过程如下：

式中，EXPAND是公式(8)的简写；按照公式(10)进行逐层复原重建，直至得到GSR⁰，GSR⁰就是最终的基于接缝线获得的多尺度羽化处理的结果。

通过以上步骤可以基于接缝线，实现相邻影像镶嵌时羽化处理色调自然过渡，同时避免在羽化范围内建筑物等存在视差的地物，或者存在运动目标产生鬼影或者重影现象，尽可能反映地面的真实情况，从而提高镶嵌影像质量。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种考虑变化区域的接缝线多尺度羽化算法，其特征在于，包括以下步骤：

步骤1：对于待拼接的两幅相邻正射影像，为叙述方便，两幅影像分别记为左影像、右影像，计算影像间的重叠区域，并计算重叠区域内各像元的差异，获得重叠区域的差异影像；

步骤2：根据重叠区域的差异影像，确定属于变化的像元；

步骤3：分别对相邻正射影像的重叠区域进行影像分割，并分别确定分割结果影像中各分割区域变化像元的比例，进而确定重叠区域内的变化区域Regions；

步骤4：根据给定的接缝线，并结合步骤3确定的重叠区域内的变化区域Regions，生成模板影像R；

具体实现包括以下子步骤：

步骤4.1：构建一幅与重叠区域影像大小相同的影像作为模板影像，构建的模板影像为8位灰度影像，以接缝线为基准，接缝线左侧模板影像的像元全部赋0值，右侧赋255，实现模板影像的初始化；

步骤4.2：结合确定的重叠区域内的变化区域Regions，对初始化的模板影像进行平滑处理；在平滑的过程中，对于属于变化区域Regions中的像元，其对应的模板影像中像元的值保持不变；

步骤5：分别构建左、右影像重叠区域影像及模板影像R的高斯金字塔影像；

步骤6：分别构建左、右影像重叠区域影像的拉普拉斯金字塔影像；

步骤7：以模板影像R的高斯金字塔影像作为权重因子，将左、右影像重叠区域部分进行加权平均，得到拼接后的拉普拉斯影像LP，并对拼接后的拉普拉斯影像LP进行逐层复原重建，得到多尺度羽化后的影像结果。

2.根据权利要求1所述的考虑变化区域的接缝线多尺度羽化算法，其特征在于，步骤2的所述的确定属于变化的像元，具体实现过程是根据重叠区域像素的差异影像，设定属于变化像元的差异阈值，设为T，即如果某像元的差异值大于T，则认为该像元为变化的像元。

3.根据权利要求1所述的考虑变化区域的接缝线多尺度羽化算法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：对左影像的重叠区域影像进行影像分割，计算分割结果中各分割区域变化像元的比例；

步骤3.2：设定分割区域变化像元的比例阈值TRate，对于左影像重叠区域内各分割区域，变化像元的比例小于TRate的区域为无变化区域，否则为变化区域，将左影像重叠区域内所有的变化区域表示为Regions1；

步骤3.3：对右影像的重叠区域影像采用步骤3.1、步骤3.2原理进行处理，从而得到右影像重叠区域内所有的变化区域，表示为Regions2；其中，分割区域变化像元的比例阈值与步骤3.2中相同，仍为TRate；

步骤3.4：获得重叠区的变化区域；求取步骤3.2、步骤3.3获得的左、右影像重叠区域变化区域的并集，作为重叠区的变化区域，即重叠区域内的变化区域为Regions＝Regions1∪Regions2。