CN110335208B - 一种基于逐步校正的高分辨率遥感影像厚云去除方法 - Google Patents

Abstract

本发明公开了一种基于逐步校正的高分辨率遥感影像厚云去除方法，通过基于超像素分割的云掩膜优化、基于逐步局部校正的云去除、基于全局优化的云去除区域残差校正三个步骤，利用辅助影像中互补信息对目标影像中厚云覆盖区域进行重建。本发明结合逐步局部校正和全局优化对辅助影像中互补信息进行亮度校正，用于目标高分辨率影像中厚云覆盖区域的填补，从而实现目标影像中厚云去除。该方法云去除精度高、速度快，可拓展性强，实用价值高。

Description

一种基于逐步校正的高分辨率遥感影像厚云去除方法

技术领域

本发明属于遥感图像处理技术领域，涉及一种影像厚云去除方法，具体涉及一种基于逐步校正的高分辨率遥感影像厚云去除方法。

背景技术

在高分辨率遥感影像厚云去除中，通常需要通过辅助时相影像的互补信息完成目标影像中厚云区域的填补。传统的基于亮度调整和基于时相加权回归的厚云去除方法在中低空间分辨率影像厚云去除中能取得不错的效果。然而，多时相的高分辨率影像由于具有更加丰富的地物细节信息和更加显著的亮度差异和地物变化，传统的基于亮度调整和时相回归的去云方法通常会存在修复后局部色彩不一致和空间细节丢失等问题，难以获取高质量空间无缝的厚云去除结果。

发明内容

为了解决上述技术问题，本发明提供了一种基于逐步校正的高分辨率遥感影像厚云去除方法。

本发明所采用的技术方案是：一种基于逐步校正的高分辨率遥感影像厚云去除方法，其特征在于，包括以下步骤：

步骤1：基于目标影像与辅助影像的超像素分割结果进行云掩膜边缘优化；

对有云覆盖的目标影像和无云覆盖的辅助影像进行波段叠加组合，对组合后影像进行超像素分割，基于目标影像和辅助影像共同的超像素分割结果，通过查找和连接目标影像云掩膜边缘邻近子分割区域重心和共同分割线中心，使得云掩膜边缘从相对均质的子分割区域中穿过，实现目标影像云掩膜的边缘调整优化；

步骤2：利用目标影像与辅助影像有效像元的归一化变换进行逐步局部校正云去除；

对优化后云掩膜中八邻域相连的云像元以对象的形式聚合，以每个云对象的每个像元为中心，对目标影像和辅助影像开窗进行局部有效像元归一化变换，由边缘向中心逐像素校正填补目标影像云覆盖区域，实现目标影像云修复；

其中，在修复过程中云掩膜标记目标影像中待修复区域，仅在当前云对象修复过程中已修复的像元将被当作有效像元，且当以待修复像元为中心的窗口中有效像元数量小于预设阈值时被视作无效修复，将重新在云掩膜中被标记为待修复像元；通过以上逐步云修复，逐波段逐对象将目标影像中云进行去除；

步骤3：构建梯度-亮度场全局优化模型进行云去除区域亮度差异残差校正；

构建梯度场、亮度场约束和狄利克雷边界条件约束，通过全局优化的方法逐波段求解亮度残差项进行云去除区域的残差校正；

步骤4：重复步骤2和步骤3，直到目标影像中云覆盖区域均已完成重建。

作为优选，步骤1的具体实现包括以下子步骤：

步骤1.1：假设目标影像表示为T＝{t₁，t₂，...，t_n}，n为影像波段数量，辅助影像为R＝{r₁，r₂，...，r_n}，两者进行波段叠加组合后影像为TR＝{t₁，t₂，...，t_n，r₁，r₂，...，r_n}；对组合后影像TR进行超像素分割，得到目标影像和辅助影像共同的超像素分割结果；

步骤1.2：结合超像素分割结果，提取目标影像云掩膜边缘的最小包络分割线，并由此确定最小包络分割线外围最邻近的分割区域S＝{s₁，s₂，...，s_m}，其中m为邻近的分割区域的数量；由此查找S的每个子分割区域的重心P_G＝{P_G1，P_G2，...，P_Gm}，以及S中相邻子分割区域重叠分割线的中心P_C＝{P_C1，P_C2，...，P_Cm}，通过连接S分割区域中查找的重心P_G和中心P_C构成优化后掩膜的边缘，构成的区域即为优化后云掩膜。

作为优选，步骤2中，以待修复云像元为中心，目标影像和辅助影像开窗窗口尺寸设置为20～120像素，每轮修复当中对目标影像云掩膜进行1个像素的形态学腐蚀，使得待修复区域由边缘向中心逐步被修复，假设窗口内目标影像第k波段非云覆盖区域有效像元的均值和标准差分别为

和

对应辅助影像第k波段中相同区域像元的均值和标准差为

和

则目标影像第k波段待修复像元T(i，j，k)经过局部归一化变换修复后的值为：

其中，i，j表示像元在影像中的行、列坐标，R(i，j，k)表示辅助影像中像元。

作为优选，步骤3中，云去除区域的残差校正是以逐区域和逐波段形式进行，对于去云后影像的任一波段T′，假设其残差校正后结果为T″，对T′中任一待校正区域Ω，为使得影像校正后区域与其它区域具有亮度一致性，需使得T″与T′在待校正区域Ω的梯度和亮度差异最小，同时满足在校正区域边缘

的亮度与周围非校正区域相等的狄利克雷边界条件约束，即需解决以下带边界条件约束的梯度-亮度差异最小化问题：

且

上式中

表示梯度算子，λ表示亮度保真项权重，

表示待校正区域Ω的边缘，T′_*表示T′在Ω周围的非校正区域；

通过定义

引入残差项

将上述问题简化为如下问题：

且

由上式，通过解带边界条件的拉普拉斯方程求解残差项

后，通过

得到云去除区域残差校正后结果。

本发明的优点在于：

(1)本发明为高分辨率遥感影像厚云去除提供可靠解决方案，通过逐步局部校正和残差校正，使得影像厚云去除后区域与周围区域具有良好的色彩一致性，且保留了丰富的地物细节，实现了影像厚云高保真无缝去除；

(2)本发明考虑到云掩膜边缘位置对影像厚云去除的重要性，通过基于超像素分割的掩膜优化步骤对云掩膜边缘进行调整，使得厚云去除后影像具有良好的空间连续性；

(3)本发明影像厚云去除处理速度快，可适用于高分辨率影像中大面积厚云高效去除。

总之，本发明提出的方法可有效地去除高分辨率遥感影像中的厚云，实现影像中大面积厚云高保真无缝去除。

附图说明

图1：本发明实施例的总体流程示意图；

图2：本发明实施例的高分辨率影像厚云去除结果图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

厚云覆盖导致光学遥感影像中信息缺失，为大范围区域遥感影像制图等应用带来不利影响。可充分利用有云覆盖的目标影像邻近时刻无云辅助影像的互补信息，通过逐步校正处理后填补云覆盖区域实现云去除，并可进一步进行残差校正得到无缝和空间连续的无云影像。

请见图1，本发明提供的一种基于逐步校正的高分辨率遥感影像厚云去除方法，包括以下步骤：

步骤1：基于目标影像与辅助影像的超像素分割结果进行云掩膜边缘优化；

对有云覆盖的目标影像和无云的辅助影像进行波段叠加组合，对组合后影像进行超像素分割，基于目标影像和辅助影像共同的超像素分割结果，通过查找和连接目标影像云掩膜边缘邻近子分割区域重心和共同分割线中心，使得云掩膜边缘从相对均质的子分割区域中穿过，实现目标影像云掩膜的边缘调整优化。

基于目标影像与辅助影像的超像素分割结果进行云掩膜边缘优化；

步骤1.1：假设目标影像表示为T＝{t₁，t₂，...，t_n}，n为影像波段数量，辅助影像为R＝{r₁，r₂，...，r_n}，则两者进行波段叠加组合后影像为TR＝{t₁，t₂，...，t_n，r₁，r₂，...，r_n}。对组合后影像TR进行超像素分割(本实施例使用SLIC超像素分割方法)，得到目标影像和辅助影像共同的超像素分割结果。

步骤1.2：结合超像素分割结果，提取目标影像云掩膜边缘的最小包络分割线，并由此确定最小包络分割线外围最邻近的分割区域S＝{s₁，s₂，...，s_m}，其中m为邻近的分割区域的数量，由此查找S的每个子分割区域的重心P_G＝{P_G1，P_G2，...，P_Gm}，以及S中相邻子分割区域重叠分割线的中心P_C＝{P_C1，P_C2，...，P_Cm}，通过连接S分割区域中查找的重心P_G和中心P_C构成优化后掩膜的边缘，构成的区域即为优化后云掩膜。

步骤2：利用目标影像与辅助影像有效像元的归一化变换进行逐步局部校正云去除；

对优化后云掩膜中八邻域相连的云像元以对象的形式聚合，以每个云对象的每个像元为中心，对目标影像和辅助影像开窗进行局部有效像元归一化变换，由边缘向中心逐像素校正填补目标影像云覆盖区域，实现目标影像云修复。此外，仅在当前云对象区域的填补修复过程中，已填补的像元将被当作有效像元，用于当前云对象中心区域的云去除。特别地，可通过对云掩膜进行逐步形态学腐蚀操作，控制云区填补修复次序为由云对象边缘向中心。

其中，以待修复云像元为中心，目标影像和辅助影像开窗窗口尺寸可设置为20～120像素，每轮修复当中对目标影像云掩膜进行1个像素的形态学腐蚀，使得待修复区域由边缘向中心逐步被修复，假设窗口内目标影像第k波段非云覆盖区域有效像元的均值和标准差分别为

和

对应辅助影像第k波段中相同区域像元的均值和标准差为

和

则目标影像第k波段待修复像元T(i，j，k)经过局部归一化变换修复后的值可表示为：

其中，i，j表示像元在影像中的行、列坐标，R(i，j，k)表示辅助影像中像元。

应当注意的是，在修复过程中云掩膜标记目标影像中待修复区域，仅在当前云对象修复过程中已修复的像元将被当作有效像元，且当以待修复像元为中心的窗口中有效像元数量小于预设阈值(本实施例为30)时被视作无效修复，将重新在云掩膜中被标记为待修复像元。通过以上逐步云修复，可逐波段逐对象将目标影像中云进行去除。

步骤3：构建梯度-亮度场全局优化模型进行云去除区域亮度差异残差校正；

针对逐步局部校正去云后影像云去除区域可能存在的与周围区域亮度不一致的问题，构建梯度场、亮度场约束和狄利克雷边界条件约束，通过全局优化的方法逐波段求解亮度残差项进行云去除区域的残差校正，使得目标影像中云去除区域与周围区域具有良好的亮度一致性，实现云的无缝去除。

其中，云去除区域的残差校正是以逐区域和逐波段形式进行，对于去云后影像的任一波段T′，假设其残差校正后结果为T″，对T′中任一待校正区域Ω，为使得影像校正后区域与其它区域具有亮度一致性，需使得T″与T′在待校正区域Ω的梯度和亮度差异最小，同时满足在校正区域边缘

的亮度与周围非校正区域相等的狄利克雷边界条件约束，即需解决以下带边界条件约束的梯度-亮度差异最小化问题：

且

上式中

表示梯度算子，λ表示亮度保真项权重，

表示待校正区域Ω的边缘，T′_*表示T′在Ω周围的非校正区域。特别地，λ的取值可自定义设置，如针对影像中均质区域去云后残差校正，本实施例取λ＝0。

通过定义

引入残差项

可将上述问题简化为如下问题：

且

由上式，可通过解带边界条件的拉普拉斯方程求解残差项

后，通过

即可得到云去除区域残差校正后结果。

步骤4：重复步骤2和步骤3，直到目标影像中云覆盖区域均已完成重建。实例结果如图2所示。

本发明方法利用多时相遥感影像的互补信息，在已知目标影像云覆盖位置的情况下，联合掩膜优化、逐步局部校正、残差校正等步骤实现高分辨率遥感影像中厚云覆盖区域的无缝填补修复。该方法能对影像中大面积厚云进行高精度去除，具有较高的计算效率，易于投入实用。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对具体实施方式的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于逐步校正的高分辨率遥感影像厚云去除方法，其特征在于，包括以下步骤：

步骤1：基于目标影像与辅助影像的超像素分割结果进行云掩膜边缘优化；

对有云覆盖的目标影像和无云覆盖的辅助影像进行波段叠加组合，对组合后影像进行超像素分割，基于目标影像和辅助影像共同的超像素分割结果，通过查找和连接目标影像云掩膜边缘邻近子分割区域重心和共同分割线中心，使得云掩膜边缘从相对均质的子分割区域中穿过，实现目标影像云掩膜的边缘调整优化；

步骤2：利用目标影像与辅助影像有效像元的归一化变换进行逐步局部校正云去除；

对优化后云掩膜中八邻域相连的云像元以对象的形式聚合，以每个云对象的每个像元为中心，对目标影像和辅助影像开窗进行局部有效像元归一化变换，由边缘向中心逐像素校正填补目标影像云覆盖区域，实现目标影像云修复；

其中，在修复过程中云掩膜标记目标影像中待修复区域，仅在当前云对象修复过程中已修复的像元将被当作有效像元，且当以待修复像元为中心的窗口中有效像元数量小于预设阈值时被视作无效修复，将重新在云掩膜中被标记为待修复像元；通过以上逐步云修复，逐波段逐对象将目标影像中云进行去除；

其中，以待修复云像元为中心，目标影像和辅助影像开窗窗口尺寸设置为20～120像素，每轮修复当中对目标影像云掩膜进行1个像素的形态学腐蚀，使得待修复区域由边缘向中心逐步被修复，假设窗口内目标影像第k波段非云覆盖区域有效像元的均值和标准差分别为

和

对应辅助影像第k波段中相同区域像元的均值和标准差为

和

则目标影像第k波段待修复像元T(i，j，k)经过局部归一化变换修复后的值为：

其中，i，j表示像元在影像中的行、列坐标，R(i，j，k)表示辅助影像中像元；

步骤3：构建梯度-亮度场全局优化模型进行云去除区域亮度差异残差校正；

构建梯度场、亮度场约束和狄利克雷边界条件约束，通过全局优化的方法逐波段求解亮度残差项进行云去除区域的残差校正；

步骤4：重复步骤2和步骤3，直到目标影像中云覆盖区域均已完成重建。

2.根据权利要求1所述的基于逐步校正的高分辨率遥感影像厚云去除方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：假设目标影像表示为T＝{t₁，t₂，...，t_n}，n为影像波段数量，辅助影像为R＝{r₁，r₂，...，r_n}，两者进行波段叠加组合后影像为TR＝{t₁，t₂，...，t_n，r₁，r₂，...，r_n}；对组合后影像TR进行超像素分割，得到目标影像和辅助影像共同的超像素分割结果；

步骤1.2：结合超像素分割结果，提取目标影像云掩膜边缘的最小包络分割线，并由此确定最小包络分割线外围最邻近的分割区域S＝{s₁，s₂，...，s_m}，其中m为邻近的分割区域的数量；由此查找S的每个子分割区域的重心P_G＝{P_G1，P_G2，...，P_Gm}，以及S中相邻子分割区域重叠分割线的中心P_C＝{P_C1，P_C2，...，P_Cm}，通过连接S分割区域中查找的重心P_G和中心P_C构成优化后掩膜的边缘，构成的区域即为优化后云掩膜。

3.根据权利要求1所述的基于逐步校正的高分辨率遥感影像厚云去除方法，其特征在于：步骤3中，云去除区域的残差校正是以逐区域和逐波段形式进行，对于去云后影像的任一波段T′，假设其残差校正后结果为T″，对T′中任一待校正区域Ω，为使得影像校正后区域与其它区域具有亮度一致性，需使得T″与T′在待校正区域Ω的梯度和亮度差异最小，同时满足在校正区域边缘

的亮度与周围非校正区域相等的狄利克雷边界条件约束，即需解决以下带边界条件约束的梯度-亮度差异最小化问题：

上式中

表示梯度算子，λ表示亮度保真项权重，

表示待校正区域Ω的边缘，T_*′表示T′在Ω周围的非校正区域；

通过定义

引入残差项

将上述问题简化为如下问题：

且

由上式，通过解带边界条件的拉普拉斯方程求解残差项

后，通过

碍到云去除区域残差校正后结果。

Images