CN113178010B - 基于深度学习的高分影像阴影区域恢复重建方法 - Google Patents

Abstract

本发明提供了基于深度学习的高分影像阴影区域恢复重建方法，包括：获取遥感影像样本，并对遥感影像进行预处理，得到训练集；构建遥感图像阴影重建网络模型；所述网络模型包括特征提取网络和阴影区域重建生成网络；将训练集输入值所述遥感图像阴影重建网络模型，分为两阶段依次训练所述特征提取网络和阴影区域重建生成网络，得到训练后的遥感影像重建网络模型；利用所述训练后的遥感影像重建网络模型完成对其它遥感影像图片的阴影区域恢复重建。本发明通过深度学习模型训练，消除影像的阴影区域，使这些区域还原成与光照区域相近的亮度视觉效果。

Description

基于深度学习的高分影像阴影区域恢复重建方法

技术领域

本发明涉及图像处理领域，尤其涉及基于深度学习的高分影像阴影区域恢复重建方法。

背景技术

高分卫星、高空无人机航拍等生产影像时，受光照、拍照角度影响，影像的部分区域会被阴影所覆盖。阴影区域对影像信息展现、浏览使用有一定程度的视觉障碍，特别是对影像信息作进一步的图像数据处理(如构建3D模型、目标分割等)时，阴影区域会对处理结果造成极大的不良影响。关于图像的阴影去除经典图像方法主要包含滤波、图像区域形态学统计、色彩空间变换等，这些方法在复杂的真实影像场景中恢复阴影时存在较大的质量问题，且某些方法会伴随着大量的人工经验参数调整；近年来随着深度学习在图像处理上的应用取得较大的进展，一些基于深度学习重建图像阴影区域的方法被提出，在一定程度上可恢复某些复杂场景下图像阴影区域，相较于传统经典的图像处理方法效果更好且无需人工调参，目前基于深度学习的图像阴影去除的方法仍存在一些不足，首先是采集阴影与非阴影匹配样本时难度较大成本高，其次在不同光照下的图像阴影区域恢复的色彩亮度与非阴影区域亮度不匹配，造成恢复的图片视觉效果不理想。

发明内容

有鉴于此，针对以上技术问题，本发明旨在一定程度上解决当前影像阴影去除重建所面临的问题，采用自然拍摄下携带阴影的影像图片以及图片对应的阴影-非阴影标注样本，通过本发明设计的深度学习模型训练，消除影像的阴影区域，使这些区域还原成与光照区域相近的亮度视觉效果。

本发明提供的一种基于深度学习的高分影像阴影区域恢复重建方法，包括以下步骤：

S101：获取遥感影像样本，并对遥感影像进行预处理，得到训练集；

S102：构建遥感图像阴影重建网络模型；所述网络模型包括特征提取网络和阴影区域重建生成网络；

S103：将训练集输入值所述遥感图像阴影重建网络模型，分为两阶段依次训练所述特征提取网络和阴影区域重建生成网络，得到训练后的遥感影像重建网络模型；

S104：利用所述训练后的遥感影像重建网络模型完成对其它遥感影像图片的阴影区域恢复重建。

进一步地，步骤S101中所述遥感影像样本包括影像图片I及影像图片I对应的二值化阴影-非阴影图片S。

进一步地，步骤S101中对遥感影像预处理，具体为：利用二值化阴影-非阴影图片S对影像图片I的光照区域添加人工合成的阴影噪声，得到合成图像(I+SN)；所述训练集包括影像图片I和合成图像(I+SN)。

进一步地，所述特征提取网络结构包括：前端卷积网络MLP1、图像内容提取网络NETf和阴影亮度分布提取网络NETs。

进一步地，所述阴影区域重建生成网络包括特征融合网络、卷积网络MLP2、卷积网络MLP3和输出特征网络。

进一步地，所述前端卷积网络MLP1一共10层，每层的卷积核为3×3，激励函数为leakyrelu；其中第2-10层有bn操作层的残差网络。

进一步地，卷积网络MLP2的结构与所述前端卷积网络MLP1结构相同。

进一步地，卷积网络MLP3一共12层，每层卷积核大小为3×3，激励函数为leakyrelu；其中第2-12层有bn操作层的残差网络。

进一步地，步骤S103中，两阶段依次训练所述特征提取网络和阴影区域重建生成网络，具体为：第一阶段训练所述特征提取网络，首先得到训练完毕的特征提取网络；第二阶段，利用训练完毕的特征提取网络，再训练所述阴影重建生成网络。

第一阶段训练的总目标损失函数为：

Loss₁＝Loss_L+Loss_f+Loss_D

其中，Loss_f＝L1Loss(F(I)，F(I+SN))，F(·)表示图像内容提取网络NETf内容提取特征函数，L1Loss表示矩阵的平均绝对误差；Loss_f目标损失函数约束图像内容提取网络NETf忽略阴影区域的影响，提取图像的本质内容；

Loss_D＝sum(-log(S·S_g[0]+NEG(S)·S_g[1]+1e^-8))，S表示图像阴影-非阴影区分0、1的矩阵；·表示矩阵点积运算；NEG(·)表示0-1矩阵元素的取反操作；log(·)表示矩阵元素对数函数操作；sum(·)表示矩阵元素求和；Loss_D目标损失函数提取图像阴影相关信息特征表达；

Loss_L＝L1Loss(S·I，S·Ig)，其中Ig为阴影区域重建生成网络的输出特征通过卷积核3x3、输出通道3、激励函数tanh输出rgb归一化后的图像数据；Loss_L目标损失函数约束生成图像的非阴影区域还原成原始图像的区域像素；

第二阶段的总目标损失函数为：

Loss₂＝Loss_S+Loss_fg+Loss_L

其中，Loss_S＝W₀·Loss_sg+W₁·Loss_si；其中，W₀、W₁为权重参数，Loss_sg表示生成图像阴影边缘位置亮度值评估与相同位置生成图像的像素亮度值平方差和；Loss_si表示原始图像阴影边缘位置亮度值评估与相同位置生成图像的像素亮度值平方差和；Loss_S目标损失函数用于优化阴影区域重建生成网络生成图像时，使阴影区域与非阴影区域亮度相近且消除阴影区域；

Loss_tg＝L1Loss(F(I),F(l_g))其中I_g表示阴影区域重建生成网络的生成图像，Loss_fg损失函数使得生成的图像I_g除阴影特征之外的内容特征与输入原图保持内容一致。

本发明提供的有益效果是：通过深度学习模型训练，消除影像的阴影区域，使这些区域还原成与光照区域相近的亮度视觉效果。

附图说明

图1是本发明基于深度学习的高分影像阴影区域恢复重建方法的流程图；

图2是本发明网络结构和训练过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1和图2，基于深度学习的高分影像阴影区域恢复重建方法，包括以下：

S101：获取遥感影像样本，并对遥感影像进行预处理，得到训练集；

步骤S101中所述遥感影像样本包括影像图片I及影像图片I对应的二值化阴影-非阴影图片S。

步骤S101中对遥感影像预处理，具体为：利用二值化阴影-非阴影图片S对影像图片I的光照区域添加人工合成的阴影噪声，得到合成图像(I+SN)；所述训练集包括影像图片I和合成图像(I+SN)。

S102：构建遥感图像阴影重建网络模型；所述网络模型包括特征提取网络和阴影区域重建生成网络；

所述特征提取网络结构包括：前端卷积网络MLP1、图像内容提取网络NETf和阴影亮度分布提取网络NETs。

所述前端卷积网络MLP1一共10层，每层的卷积核为3×3，激励函数为leakyrelu；其中第2-10层有bn操作层的残差网络，通过前端卷积网络MLP1获得的卷积特征，分别被输入至图像内容提取网络NETf和阴影亮度分布提取网络NETs；

图像内容提取网络NETf使用transformer层作为全局注意力处理输入的卷积特征，输出特征经过1x1卷积核输出C个通道的卷积计算，最终输出B x Cx H x W的卷积特征，其中B为一次训练图片的批量数，C取64，H x W图片宽高512x512，分别使用图片I以及合成图像I+SN输入该网络，输出损失目标函数Loss_f＝L1Loss(F(I)，F(I+SN))，F(·)表示图像内容提取网络NETf内容提取特征函数，L1Loss表示矩阵的平均绝对误差，该损失目标函数约束NETf忽略阴影的影响，提取图像的本质内容；

阴影亮度分布提取网络NETs使用transformer层作为全局注意力处理输入的卷积特征，输出特征经过1x1卷积核输出Cs个通道的卷积计算，最终输出

B x Cs x H x W的卷积特征，其中B为一次训练图片的批量数，Cs取32，H x W图片宽高512x512，其输出的卷积特征通过3x3的卷积核、激励函数leakyrelu、bn层的输出，通过softmax层生成2x512x512的2通道阴影-非阴影概率分布S_g，阴影亮度分布提取网络NETs的目标损失函数

Loss_D＝sum(-log(S·S_g[0]+NEG(S)·S_g[1]+1e^-8))，S表示图像阴影-非阴影区分0、1的矩阵；·表示矩阵点积运算；NEG(·)表示0-1矩阵元素的取反操作；log(·)表示矩阵元素对数函数操作；sum(·)表示矩阵元素求和；Loss_D目标损失函数提取图像阴影相关信息特征表达；

进一步NETf网络、NETs网络提取的特征输入阴影区域重建生成网络；所述阴影区域重建生成网络包括特征融合网络、卷积网络MLP2、卷积网络MLP3和输出特征网络。

卷积网络MLP2的结构与所述前端卷积网络MLP1结构相同。

卷积网络MLP3一共12层，每层卷积核大小为3×3，激励函数为leakyrelu；其中第2-12层有bn操作层的残差网络。

阴影区域重建生成网络首先通过特征融合网络将NETf网络、NETs网络分别提取的图像特征和亮度特征融合合成(Cs+C)x H x W，即(64+32)x512x512，并将融合数据输入至卷积网络MLP2；MLP2的输出特征通过transformer全局注意力层处理，进入卷积网络MLP3，MLP3的输出特征最终通过卷积核3x3、输出通道3、激励函数tanh输出rgb归一化的图像3x512x512数据Ig，输出通过目标损失函数：Loss_L＝L1Loss(S.I,S.Ig),使生成图像的非阴影区域尽量还原成原始图像的区域像素内容从而优化网络。

S103：将训练集输入值所述遥感图像阴影重建网络模型，分为两阶段依次训练所述特征提取网络和阴影区域重建生成网络，得到训练后的遥感影像重建网络模型；

步骤S103中，两阶段依次训练所述特征提取网络和阴影区域重建生成网络，具体为：第一阶段训练所述特征提取网络，首先得到训练完毕的特征提取网络；第二阶段，利用训练完毕的特征提取网络，再训练所述阴影重建生成网络。

第一阶段训练的总目标损失函数为：

Loss₁＝Loss_L+Loss_f+Loss_D

第一阶段训练之后，将图像内容提取网络NETf与阴影亮度分布提取网络NETs作为已训练网络，不再参与训练，进入第二阶段训练，只优化阴影区域重建生成网络。

第二阶段的训练过程与第一阶段相同，生成图像I_g，将生成图像作为输入，通过图像内容提取网络NETf提取内容特征，使用目标损失函数Loss_fg＝L1Loss(F(I)，F(I_g))进行优化，优化目标使生成的图像I_g除阴影特征之外的内容特征与输入原图保持内容一致。

进一步，输入阴影亮度分布提取网络NETs时，生成阴影-非阴影概率分布K，通过Loss_S＝W₀·Loss_sg+W₁·Loss_si，优化生成网络生成图像时，阴影区域与非阴影区域亮度相近且消除阴影区域，其中

Loss_sg＝Sum(Select(mask(K))·Sedge(mask(K))·L(I_g)*K_3x3·(1/(Sedge(mask(K)*K_3x3)))·-Select(mask(K))·L(I_g))

表示生成图像阴影边缘位置亮度值评估与相同位置生成图像的像素亮度值平方差和。Sum矩阵平方和；mask阴影-非阴影K概率分布转换成0-1二值化分布；Select根据3x3过滤核计算阴影边缘，阴影像素取1，其他取0；Sedge根据3x3过滤核处理阴影边缘，阴影边缘相关的非阴影像素取1，其他取0；K_3×3表示3x3单位矩阵；*卷积核运算；L表示rgb亮度值计算；

目标使图片阴影区域缩小且与非阴影区域边缘亮度保持一致的损失函数：

Loss_si＝Sum(Select(S)·Sedge(S)·(S·L(I)+NEG(S)·L(Ig))*K_3x3·(1/(Sedge(S)*K_3x3))·-Select(S)·L(I_g))

表示原始图像阴影边缘位置亮度值评估与相同位置生成图像的像素亮度值平方差和，目标使生成图片亮度保持一致。

因此，第二阶段的总目标损失函数为：

Loss₂＝Loss_S+Loss_fg+Loss_L

S104：利用所述训练后的遥感影像重建网络模型完成对其它遥感影像图片的阴影区域恢复重建。

本发明的有益效果是：通过深度学习模型训练，消除影像的阴影区域，使这些区域还原成与光照区域相近的亮度视觉效果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：

S101：获取遥感影像样本，并对遥感影像进行预处理，得到训练集；

S102：构建遥感图像阴影重建网络模型；所述网络模型包括特征提取网络和阴影区域重建生成网络；

S103：将训练集输入值所述遥感图像阴影重建网络模型，分为两阶段依次训练所述特征提取网络和阴影区域重建生成网络，得到训练后的遥感影像重建网络模型；

S104：利用所述训练后的遥感影像重建网络模型完成对其它遥感影像图片的阴影区域恢复重建；

步骤S101中所述遥感影像样本包括影像图片I及影像图片I对应的二值化阴影-非阴影图片S；

第一阶段训练的总目标损失函数为：

Loss₁＝Loss_L+Loss_f+Loss_D

其中，Loss_f＝L1Loss(F(I)，F(I+SN))，F(·)表示图像内容提取网络NETf内容提取特征函数，L1Loss表示矩阵的平均绝对误差；Loss_f目标损失函数约束图像内容提取网络NETf忽略阴影区域的影响，提取图像的本质内容；

Loss_D＝sum(-log(S·S_g[0]+NEG(S)·S_g[1]+1e^-8))，S表示图像阴影-非阴影区分0、1的矩阵；·表示矩阵点积运算；NEG(·)表示0-1矩阵元素的取反操作；log(·)表示矩阵元素对数函数操作；sum(·)表示矩阵元素求和；Loss_D目标损失函数提取图像阴影相关信息特征表达；

Loss_L＝L1Loss(S·I，S·Ig)，其中Ig为阴影区域重建生成网络的输出特征通过卷积核3x3、输出通道3、激励函数tanh输出rgb归一化后的图像数据；Loss_L目标损失函数约束生成图像的非阴影区域还原成原始图像的区域像素；

第二阶段的总目标损失函数为：

Loss₂＝Loss_S+Loss_fg+Lo ss_L

其中，Loss_S＝W₀·Loss_sg+W₁·Loss_si；其中，W₀、W₁为权重参数，Loss_sg表示生成图像阴影边缘位置亮度值评估与相同位置生成图像的像素亮度值平方差和；Loss_si表示原始图像阴影边缘位置亮度值评估与相同位置生成图像的像素亮度值平方差和；Loss_S目标损失函数用于优化阴影区域重建生成网络生成图像时，使阴影区域与非阴影区域亮度相近且消除阴影区域；

Loss_fg＝L1Loss(F(I)，F(I_g))，其中I_g表示阴影区域重建生成网络的生成图像，Loss_fg损失函数使得生成的图像I_g除阴影特征之外的内容特征与输入原图保持内容一致。

2.如权利要求1所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：步骤S101中对遥感影像预处理，具体为：利用二值化阴影-非阴影图片S对影像图片I的光照区域添加人工合成的阴影噪声，得到合成图像(I+SN)；所述训练集包括影像图片I和合成图像(I+SN)。

3.如权利要求1所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：所述特征提取网络结构包括：前端卷积网络MLP1、图像内容提取网络NETf和阴影亮度分布提取网络NETs。

4.如权利要求1所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：所述阴影区域重建生成网络包括特征融合网络、卷积网络MLP2、卷积网络MLP3和输出特征网络。

5.如权利要求3所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：所述前端卷积网络MLP1一共10层，每层的卷积核为3×3，激励函数为leakyrelu；其中第2-10层有bn操作层的残差网络。

6.如权利要求5所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：卷积网络MLP2的结构与所述前端卷积网络MLP1结构相同。

7.如权利要求4所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：卷积网络MLP3一共12层，每层卷积核大小为3×3，激励函数为leakyrelu；其中第2-12层有bn操作层的残差网络。

8.如权利要求1所述的基于深度学习的高分影像阴影区域恢复重建方法，其特征在于：步骤S103中，两阶段依次训练所述特征提取网络和阴影区域重建生成网络，具体为：第一阶段训练所述特征提取网络，首先得到训练完毕的特征提取网络；第二阶段，利用训练完毕的特征提取网络，再训练所述阴影重建生成网络。

Images