CN112419196A - 一种基于深度学习的无人机遥感影像阴影去除方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的无人机遥感影像阴影去除方法，首先利用无人机进行数据采集，并对数据进行辐射归一化和几何配准处理，构建无人机阴影数据库；然后该阴影数据库基础上，利用条件生成对抗网络1学习样本对之间的阴影去除关系，从而实现阴影的初步去除；考虑到阴影去除前后的辐射差异，构建非阴影区域辐射归一化数据库，并在此数据库基础上对条件生成对抗网络2进行训练；最后基于此关系对阴影去除初步结果进行辐射归一化处理，得到最终的阴影去除结果。本发明考虑到无人机数据获取的灵活性，采集并构建阴影影像数据集，利用深度学习理论深入挖掘样本对之间的变换关系，以获得最优的阴影去除结果。其准确性高，计算效率快，易于实现且可扩展性强，实用价值高。

Description

一种基于深度学习的无人机遥感影像阴影去除方法

技术领域

本发明属于遥感图像处理技术领域，涉及一种阴影去除方法，具体涉及一种基于深度学习的无人机遥感影像阴影去除方法。

背景技术

阴影广泛存在于高分辨率遥感影像中，尤其是在建筑物密集的城镇区域，造成局部信息的亮度损失，直接影响着遥感解译精度。因此，为了提高遥感影像的利用效能，对高分辨率遥感影像中阴影进行去除是非常必要的。

已有方法主要可以分为局部匹配法和全局优化法两大类。局部匹配法对于阴影内部地物类别单一的情况处理效果较好，但因其对样本选取较为敏感，而且对于阴影内部地物较为复杂的情况，补偿结果中伪痕明显，容易产生较严重的色偏。全局优化法通过迭代优化获取全局最优解，往往可以获得更好的整体校正结果，但对于覆盖多种地表类型的复杂阴影，也时常导致色彩畸变与细节模糊。而深度学习在图像处理问题上表现出明显优势，它通过学习复杂的非线性特征来克服传统方法特征提取不足问题，为复杂问题的解决提供了可靠的思路。因此，如何充分利用航空光学遥感影像大数据的优势，结合深度学习理论，深入挖掘阴影特征，实现阴影的高保真校正，以应对大场景、复合型的综合阴影问题，是航空光学遥感影像阴影处理的发展方向。

发明内容

本发明的目的在于，针对现有技术的上述不足，提供一种基于深度学习的无人机遥感影像阴影去除方法。

本发明所采用的技术方案是：一种基于深度学习的无人机遥感影像阴影去除方法，其特征在于，包括以下步骤：

步骤1，利用无人机采集同一地区有阴影和无阴影数据对，对获取的影像对进行辐射归一化和几何配准，经数据筛选和裁切后构建无人机阴影数据库；

步骤2，利用步骤1所构建的无人机阴影数据库，选取条件生成对抗网络1来学习阴影去除关系。通过随机梯度下降算法对网络的目标函数进行优化求解，并利用反向传播机制对网络权值逐层调整，从而建立稳健的阴影去除网络，实现阴影初步去除。

步骤3，利用步骤2训练好的条件生成对抗网络1对训练集进行阴影去除，并结合无人机阴影数据库中的有阴影影像，对两者的非阴影区域进行筛选裁切，构建辐射归一化数据库；

步骤4，利用步骤3所构建的辐射归一化数据库，采用与步骤2相同结构的条件生成对抗网络2，进行网络训练，并将阴影去除初步结果输入到训练好的条件生成对抗网络2中，得到最终的阴影去除结果。

作为优选，步骤1中：

辐射归一化处理方法为矩匹配算法，具体可表示为：

其中，I_sf-norm表示无阴影影像经辐射归一化处理后的结果，I_sf表示原始无阴影影像，μ_s-ns和μ_sf分别表示有阴影影像的非阴影区域样本和无阴影影像整体区域的均值，σ_s-ns和σ_sf则分别表示有阴影影像的非阴影区域样本和无阴影影像整体区域的标准差。

作为优选，步骤1的具体实现包括以下子步骤：

步骤1.1，对有阴影影像上的非阴影区域进行样本选取，将对应无阴影影像的辐射信息归一化到样本的辐射特征上；

步骤1.2，在辐射归一化的数据对基础上，采用SIFT特征检测和匹配算法对样本进行几何粗配准和几何精配准，对每个像素进行精细调整，得到几何配准精度较高的影像对；

步骤1.2中进行几何精配准的具体实现方式如下：

(1)构建得到数据项能量方程，如下：

其中，Ω为影像定义域，X＝(x,y)，Y＝(x+u,y+v)，X＝(x,y)表示参考图像上的像素点坐标，u和v分别表示在x方向和y方向上的坐标偏移量，Y＝(x+u,y+v)表示待配准图像上的像素点坐标，I表示图像的辐射值，γ是正则化参数，用于平衡两项间的权重，

表示空间梯度；

(2)构建得到平滑项能量方程，如下：

其中，

表示u和v的梯度；

综合以上的数据项和平滑项，得到总体能量方程，如下：

E_Total(u,v)＝E_Data(u,v)+αE_Smooth(u,v) (4)

其中，α是正则化参数，用于平衡两项间的权重，采用欧拉-拉格朗日变换将公式(4)转换为以(u,v)为未知量的偏微分方程组来求解，从而得到几何精校正结果。

步骤1.3，对经过辐射和几何处理后的影像对进行数据的筛选和裁切，选取阴影数量较多且阴影覆盖面积较大的区域，构建得到无人机阴影数据库。从无人机阴影数据库中随机选取80％的样本作为训练集，对深度学习网络进行训练；随机选取10％的样本作为验证集，用于调整模型的超参数和对模型能力进行初步评估；剩余10％的样本作为测试集，用于评估最终模型的泛化能力。

作为优选，步骤2中：

该条件生成对抗网络主要包括生成器和判别器两个部分，其中生成器G为U-Net网络，输入为有阴影影像，输出为阴影去除结果；而判别器D为PatchGAN网络，输入为阴影去除结果和有阴影影像的组合数据，输出为样本为真的概率值。其目标函数定义如下：

L_total＝L_cGAN+λL_data (7)

其中，L_cGAN(G,D)和L_data(G)分别表示对抗损失和数据一致性损失，L_total则为整体损失；G和D分别表示生成器和判别器；I_s表示有阴影影像，I_sf-corr表示经辐射归一化和几何配准后的无阴影影像；λ为非负权重参数，用于权衡第二项的贡献，

表示期望。

本发明的优点在于：

(1)本发明提出了无人机遥感影像阴影数据库构建方法，为后续深度学习在该领域的应用提供可能；

(2)发展了基于条件生成对抗网络的遥感影像一体化阴影去除方法，无需进行阴影检测，避免了阴影检测对阴影去除的累积效应；

(3)在得到阴影去除初步结果后，考虑到阴影去除前后的辐射差异，增加了基于深度学习的辐射归一化后处理，进一步优化阴影去除结果的辐射信息。

总之，本发明提出的方法可有效地去除无人机遥感影像的阴影，从而获得较为准确的恢复结果。

附图说明

图1是本发明实施例的流程图。

图2是阴影去除结果示意图，其中(a)(c)为阴影影像，(b)(d)为采用本发明方法进行阴影去除的结果图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

遥感成像过程中光线易受障碍物遮挡，导致获取影像上出现阴影。可利用无人机分别采集同一地区有阴影和无阴影数据对，构建阴影数据库，并利用深度学习方法学习得到其变换关系，实现影像中阴影的去除，获得真实地表信息。

请见图1，本发明提供的一种基于深度学习的无人机遥感影像阴影去除方法，包括以下步骤：

步骤1，利用无人机采集同一地区有阴影和无阴影数据对，因前后两次数据采集过程存在辐射和几何偏差，需要对获取的影像对进行辐射归一化和几何配准，再经数据筛选和裁切后构建无人机阴影数据库，其具体实现包括以下子步骤：

步骤1.1，对有阴影影像上的非阴影区域进行样本选取，利用矩匹配算法，将对应无阴影影像的辐射信息归一化到样本的辐射特征上。辐射归一化处理的矩匹配算法可表示为：

其中，I_sf-norm表示无阴影影像经辐射归一化处理后的结果，I_sf表示原始无阴影影像，μ_s-ns和μ_sf分别表示有阴影影像的非阴影区域样本和无阴影影像整体区域的均值，σ_s-ns和σ_sf则分别表示有阴影影像的非阴影区域样本和无阴影影像整体区域的标准差。

步骤1.2，在辐射归一化的数据对基础上，采用SIFT特征检测和匹配算法对样本进行几何粗配准；由于该几何变换为整体变换，对于不同平面的地物校正效果存在差异，因而需要进行几何精配准，对每个像素进行精细调整，得到几何配准精度较高的影像对。在几何配准过程中均以有阴影影像为参考，对辐射归一化处理后的无阴影影像进行几何变换。

几何精配准的具体实现方式如下：

(1)构建得到数据项能量方程，如下：

其中，Ω为影像定义域，X＝(x,y)，Y＝(x+u,y+v)，X＝(x,y)表示参考图像上的像素点坐标，u和v分别表示在x方向和y方向上的坐标偏移量，Y＝(x+u,y+v)表示待配准图像上的像素的坐标，I表示图像的辐射值，γ是正则化参数，用于平衡两项间的权重，

表示空间梯度；

(2)构建得到平滑项能量方程，如下：

其中，

表示u和v的梯度；

综合以上的数据项和平滑项，得到总体能量方程，如下：

E_Total(u,v)＝E_Data(u,v)+αE_Smooth(u,v) (4)

其中，α是正则化参数，用于平衡两项间的权重，采用欧拉-拉格朗日变换将公式(4)转换为以(u,v)为未知量的偏微分方程组来求解，从而得到几何精校正结果。

步骤1.3，对经过辐射和几何处理后的影像对进行数据的筛选和裁切，选取阴影较为明显的区域，以增强对阴影特征的学习，构建得到无人机阴影数据库。从无人机阴影数据库中随机选取80％的样本作为训练集，对深度学习网络进行训练；随机选取10％的样本作为验证集，用于调整模型的超参数和对模型能力进行初步评估；剩余10％的样本作为测试集，用于评估最终模型的泛化能力。

步骤2，利用步骤1所构建的无人机阴影数据库，选取条件生成对抗网络1来学习阴影去除关系。该网络主要包括生成器和判别器两个部分，其中生成器G为U-Net网络，输入为有阴影影像，输出为阴影去除结果；而判别器D为PatchGAN网络，输入为阴影去除结果和有阴影影像的组合数据，输出为样本为真的概率值。其目标函数定义如下：

L_total＝L_cGAN+λL_data (7)

其中，I_s表示有阴影影像，I_sf-corr表示经辐射归一化和几何配准后的无阴影影像，G和D分别表示生成器和判别器，L_cGAN(G,D)和L_data(G)分别表示对抗损失和数据一致性损失，L_total则为整体损失，λ为非负权重参数，用于权衡第二项的贡献，

表示期望。其中，加入数据一致性损失L_data(G)的目的是作为一个约束项引导生成式对抗网络的训练，让生成器生成的结果G(I_s)与真实无阴影数据I_sf-corr更为一致，从而实现更好的阴影去除效果。通过随机梯度下降算法对目标函数进行优化求解，利用反向传播机制对网络权值逐层调整，从而建立稳健的阴影去除网络，实现阴影初步去除。

步骤3，利用步骤2训练好的深度学习模型对训练集进行阴影去除，并结合无人机阴影数据库中的有阴影影像，对两者的非阴影区域进行筛选裁切，构建辐射归一化数据库，数据库的划分规则与步骤1.3相同。

步骤4，利用步骤3所构建的辐射归一化数据库，采用与步骤2相同的条件生成对抗网络2，进行网络训练，并将阴影去除初步结果输入到训练好的网络模型中，得到最终的阴影去除结果。

本发明在无人机数据采集基础上构建阴影数据库，引入深度学习方法对阴影变换关系加以学习，实现无人机遥感影像上阴影的高保真去除。该方法能较准确地恢复阴影所致的降质信息，并具有较高的计算效率，易于投入实用。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于深度学习的无人机遥感影像阴影去除方法，其特征在于，包括以下步骤：

步骤1，利用无人机采集同一地区有阴影和无阴影数据对，对获取的影像对进行辐射归一化和几何配准，经数据筛选和裁切后构建无人机阴影数据库，并对无人机阴影数据库划分训练集、测试集和验证集；

步骤2，利用步骤1所构建的无人机阴影数据库，采用条件生成对抗网络1来学习阴影去除关系，通过随机梯度下降算法对网络的目标函数进行优化求解，并利用反向传播机制对网络权值逐层调整，从而建立稳健的阴影去除网络，实现阴影初步去除；

步骤3，利用步骤2训练好的条件生成对抗网络1对训练集中的有阴影影像进行阴影去除，并结合无人机阴影数据库中的有阴影影像，对两者的非阴影区域进行筛选裁切，构建辐射归一化数据库；

步骤4，利用步骤3所构建的辐射归一化数据库，采用与步骤2相同结构的条件生成对抗网络2，进行网络训练，并将阴影去除初步结果输入到训练好的条件生成对抗网络2中，得到最终的阴影去除结果。

2.根据权利要求1所述的基于深度学习的无人机遥感影像阴影去除方法，其特征在于：步骤1的具体实现方式如下，

步骤1.1，对有阴影影像上的非阴影区域进行样本选取，将对应无阴影影像的辐射信息归一化到样本的辐射特征上；

步骤1.2，在辐射归一化的数据对基础上，采用SIFT特征检测和匹配算法对样本进行几何粗配准和几何精配准，对每个像素进行精细调整，得到几何配准精度较高的影像对；

步骤1.3，对经过辐射和几何处理后的影像对进行数据的筛选和裁切，选取阴影数量较多且阴影覆盖面积较大的区域，构建得到无人机阴影数据库；从无人机阴影数据库中随机选取80％的样本作为训练集，对条件生成对抗网络1进行训练；随机选取10％的样本作为验证集，用于调整网络模型的超参数和对网络模型能力进行初步评估；剩余10％的样本作为测试集，用于评估网络模型的泛化能力。

3.根据权利要求1所述的基于深度学习的无人机遥感影像阴影去除方法，其特征在于：步骤1中辐射归一化处理采用矩匹配算法，具体表示为：

其中，I_sf-norm表示无阴影影像经辐射归一化处理后的结果，I_sf表示原始无阴影影像，μ_s-ns和μ_sf分别表示有阴影影像的非阴影区域样本和无阴影影像整体区域的均值，σ_s-ns和σ_sf则分别表示有阴影影像的非阴影区域样本和无阴影影像整体区域的标准差。

4.根据权利要求2所述的基于深度学习的无人机遥感影像阴影去除方法，其特征在于：步骤1.2中进行几何精配准的具体实现方式如下：

(1)构建得到数据项能量方程，如下：

E_Data(u,v)＝∫_Ω(|I(Y)-I(X)|²+γ|▽I(X)-▽I(X)|²)dX (2)

其中，Ω为影像定义域，X＝(x,y)，Y＝(x+u,y+v)，X＝(x,y)表示参考图像上的像素点坐标，u和v分别表示在x方向和y方向上的坐标偏移量，Y＝(x+u,y+v)表示待配准图像上的像素点坐标，I表示图像的辐射值，γ是正则化参数，用于平衡两项间的权重，▽表示空间梯度；

(2)构建得到平滑项能量方程，如下：

E_Smooth(u,v)＝∫_Ω(|▽u|²+|▽v|²)dX (3)

其中，▽u，▽v表示u和v的梯度；

综合以上的数据项和平滑项，得到总体能量方程，如下：

E_Total(u,v)＝E_Data(u,v)+αE_Smooth(u,v) (4)

其中，α是正则化参数，用于平衡两项间的权重，采用欧拉-拉格朗日变换将公式(4)转换为以(u,v)为未知量的偏微分方程组来求解，从而得到几何精校正结果。

5.根据权利要求1所述的基于深度学习的无人机遥感影像阴影去除方法，其特征在于：步骤2中所述条件生成对抗网络1包括生成器和判别器两个部分，其中生成器G为U-Net网络，输入为有阴影影像，输出为阴影去除结果；而判别器D为PatchGAN网络，输入为阴影去除结果和有阴影影像的组合数据，输出为样本为真的概率值。

6.根据权利要求5所述的基于深度学习的无人机遥感影像阴影去除方法，其特征在于：所述条件生成对抗网络1的目标函数定义如下：

L_total＝L_cGAN+λL_data (7)

其中，L_cGAN(G,D)和L_data(G)分别表示对抗损失和数据一致性损失，L_total则为整体损失；G和D分别表示生成器和判别器；I_s表示有阴影影像，I_sf-corr表示经辐射归一化和几何配准后的无阴影影像；λ为非负权重参数，用于权衡第二项的贡献，

表示期望。

Images