CN115620158A - 一种基于深度学习的高分辨率遥感影像阴影去除方法 - Google Patents

一种基于深度学习的高分辨率遥感影像阴影去除方法 Download PDF

Info

Publication number
CN115620158A
CN115620158A CN202211247675.7A CN202211247675A CN115620158A CN 115620158 A CN115620158 A CN 115620158A CN 202211247675 A CN202211247675 A CN 202211247675A CN 115620158 A CN115620158 A CN 115620158A
Authority
CN
China
Prior art keywords
shadow
image
network
real
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211247675.7A
Other languages
English (en)
Inventor
郭明强
杨阳
朱祺琪
吴亮
谢忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202211247675.7A priority Critical patent/CN115620158A/zh
Publication of CN115620158A publication Critical patent/CN115620158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的高分辨率遥感影像阴影去除方法，包括以下步骤：构建高分辨率遥感影像阴影去除网络模型；所述遥感影像阴影去除网络模型基于GAN架构，包括生成网络和鉴别网络net_D；生成网络生成用于欺骗鉴别网络的假图像；所述生成网络包括：阴影消除器net_Gf、阴影生成器net_Gs和阴影优化器net_Gr；交替训练所述生成网络和鉴别网络：利用训练完成的高分辨率遥感影像阴影去除网络模型完成阴影去除，得到阴影去除后的遥感图像。本发明针对结构复杂的遥感区域，能够有效的去除阴影。

Description

一种基于深度学习的高分辨率遥感影像阴影去除方法
技术领域
本发明涉及图像阴影去除领域，尤其涉及一种基于深度学习的高分辨率遥感影像阴影去除方法。
背景技术
卫星遥感影像能够快速提供地球表面的信息，高分辨率的卫星遥感影像的发展使得遥感影像的深入应用成为可能，从而为GIS数据的更新、GIS的应用提供了有利的条件。对于地图更新、影像匹配、目标检测等也具有重要意义。
遥感影像中，阴影的形成主要是由于物体部分或全部遮挡太阳光，导致对应区域亮度低于其他区域，这样的情况给遥感其他任务带来了困难。目前高分辨率遥感影像去阴影存在的获取难度大，耗费成本较高的问题。同时，对于高分辨率遥感影像而言，其地物覆盖类型较为丰富，若采用传统的方法，复杂的纹理信息将导致恢复后的阴影区域出现明显的色差。采用深度学习的方法虽然可以稳定恢复色差，但纹理信息会丢失。并且以往的深度学习的鉴别网络将图像作为一个整体进行卷积处理，对于阴影去除任务而言，其阴影与非阴影同属于一副图像，这种传统鉴别网络在判别无阴影图像的真实性时，会受到其他阴影区域的影响，降低鉴别网络判别图像的成功率，从而影响生成器的效率。
发明内容
有鉴于此，本发明实际要解决的技术问题是：如何生成真实的高分辨率遥感无阴影影像。针对此，本发明采用无监督深度学习模型进行高分辨率遥感阴影去除，该方法仅需要原始图像和对应掩模图就可以实现模型的训练和去除。这极大的解决了高分辨率遥感影像缺少无阴影图像的问题。
本发明提供的一种基于深度学习的高分辨率遥感影像阴影去除方法，包括以下步骤：
S101、构建高分辨率遥感影像阴影去除网络模型；所述遥感影像阴影去除网络模型基于GAN架构，包括生成网络和鉴别网络net_D；生成网络生成用于欺骗鉴别网络的假图像；所述生成网络包括：阴影消除器net_Gf、阴影生成器net_Gs和阴影优化器net_Gr；
S102：交替训练所述生成网络和鉴别网络：利用生成网络生成用于欺骗鉴别网络的假图像，并更新生成网络和鉴别网络的参数，最终得到高分辨率遥感影像阴影去除网络模型；
S103：利用训练完成的高分辨率遥感影像阴影去除网络模型完成阴影去除，得到阴影去除后的遥感图像。
本发明提供的有益效果是：本发明所提出的网络能够在不需要真实匹配的无阴影图像的情况下，输出更为真实的无阴影图像，同时鉴别器能够根据掩膜所覆盖区域，定量的判别规定区域影像的真实性，从而更精确地更新鉴别器地精度，从而提供生成器地生成质量。该网络克服了以往传统去阴影方法复杂步骤和生成图像色调跑偏等缺点，最终可以生成清晰度和纹理特征更加接近真实高分辨率遥感图像的无阴影影像。
附图说明
图1是本发明方法流程示意图；
图2是本发明各网络训练过程示意图；
图3为本发明效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，图1是本发明方法流程示意图；一种基于深度学习的高分辨率遥感影像阴影去除方法，包括以下步骤：
S101、构建高分辨率遥感影像阴影去除网络模型；所述遥感影像阴影去除网络模型基于GAN架构，包括生成网络和鉴别网络net_D；生成网络生成用于欺骗鉴别网络的假图像；所述生成网络包括：阴影消除器net_Gf、阴影生成器net_Gs和阴影优化器net_Gr；
需要说明的是，在训练网络之前，根据原始图像和阴影的掩模图来构建两个完全纯洁的阴影与非阴影数据集，为后续模型训练提供数据支持。
生成网络包括阴影消除器net_Gf，阴影生成器net_Gs和阴影优化器net_Gr。均采用64个尺寸为7x 7的卷积核，256个3×3的下采样层，256个尺寸为3×3的残差卷积层，64个尺寸为3×3的上采样层，3个尺寸为7×7的输出层，InstanceNorm规则化层和ReLU激活函数组成。
其不同点在于阴影消除器net_Gf，阴影生成器net_Gs采用3通道RGB影像输入，net_Gr采用由3通道RGB影像和1通道阴影区域二值图掩膜合成的四通道影像作为输入；
生成网络结构的具体说明如下：
第一层：先将图像进行3个像素的镜像填充，然后后接64个7x7的卷积核的卷积层，然后进行InstanceNorm和ReLU实例化；
优选的，第一层的输入采用torch.nnSequential()函数实现；过程具体如下：
self.conv1_b＝nn.Sequential(nn.ReflectionPad2d(3),nn.Conv2d(3,64,7),nn.InstanceNorm2d(64),nn.ReLU(inplace＝True))
其中3代表输入的通道数，64为输出的通道数。
第二层：256个3x3的卷积核且卷积步长为2的下采样层，并在后续接上InstanceNorm层和LeakyReLU层；
优选的，第二层的实现调用函数如下：
self.downconv2_b＝nn.Sequential(nn.Conv2d(64,128,3,stride＝2,padding＝1),nn.InstanceNorm2d(128),nn.ReLU(inplace＝True))
self.downconv3_b＝nn.Sequential(nn.Conv2d(128,256,3,stride＝2,padding＝1),nn.InstanceNorm2d(256),nn.ReLU(inplace＝True))
其中，64为输入的通道数，128为输出的通道数，stride表示步长，padding表示填充大小。
第三层：256个尺寸为3×3的卷积核的残差卷积层，其中1个残差卷积层由两个卷积核尺寸为3×3的普通卷积核组成，并且后接InstanceNorm实例化层。重复9次相同卷积核个数的残差卷积层来提取足够详细的信息；
优选的，第三层的实现调用函数如下：
self.conv4_b＝nn.Sequential(ResidualBlock(256))
优选的，ResidualBlock函数的具体表示如下：
conv_block＝[nn.ReflectionPad2d(1),nn.Conv2d(in_features,in_features,3),nn.InstanceNorm2d(in_features),nn.ReLU(inplace＝True),nn.ReflectionPad2d(1),nn.Conv2d(in_features,in_features,3),nn.InstanceNorm2d(in_features)]其中，ReflectionPad2d表示镜像填充1个像素，in_features表示输入通道。
x＝x+self.conv_block(x)
其中，ResidualBlock的输出采用x+self.conv_block(x)的形式，并继续作为输入特征输入到下一层的ResidualBlock中进行进一步的特征提取。
第四层：64个3x3的卷积核且卷积步长为2的反卷积层，并在后续接上InstanceNorm层和ReLU层；
优选的，第四层的实现调用函数如下：
self.upconv13_b＝nn.Sequential(nn.ConvTranspose2d(256,128,3,stride＝2,padding＝1,output_padding＝1),nn.InstanceNorm2d(128),
256为经过9个残差卷积后输入的特征通道数，128为输出的特征通道数，3代表卷积核大小，2表示卷积核的步长，padding表示边缘填充系数，最后InstanceNorm2d表示正则化方式。
第五层：3个7x7的卷积核且卷积步长为1的输出层，具体代码如下；
self.conv15_b＝nn.Sequential(nn.ReflectionPad2d(3),nn.Conv2d(64,3,7))
第六层：将上述处理过后的特征按照输入图像的大小进行双三次插值恢复到相同的尺寸，具体代码如下：
x＝F.interpolate(x,size＝xin.size()[2:],mode＝'bilinear',align_corners＝True)
其中，x表示输入特征，xin.size为输入特征的尺寸，mode表示插值方式，align_corners表示插值的对齐方式，设置为True时，保留原始卷积核像素的各个边界点的值，然后根据每个边界点的值再进行插值运算。
请参考图2，图2是本发明各网络训练过程示意图。
生成网络的训练过程如下：
S201：获取原始遥感影像real_A、原始遥感影像阴影区域对应的阴影掩膜图mask，纯无阴影图像real_B，纯阴影图像real_C；以real_B的直方图为基准，使用直方图匹配方法将real_C处理成伪无阴影图像real_D；
S202：将real_A输入到阴影消除器net_Gf中进行简单的阴影去除得到初始消除结果fake_A1；将fake_A1输入到阴影生成器net_Gs中进行阴影生成得到初始生成结果fake_A2；根据real_A和fake_A2应相同或保持一致性的特性来约束训练阴影消除器net_Gf和阴影生成器net_Gs；
S203：将fake_A1与mask输入阴影优化器net_Gr中与real_B和real_D分别进行对比，进行色调、纹理的优化，得到最后去除阴影后的图像fake_A；根据fake_A和real_B应相同或保持一致性的特性来约束训练阴影优化器net_Gr。
鉴别网络包括5层，均采用尺寸大小为4×4的PartialConv卷积和LeakyReLU结合的方式进行信息的提取和判别，最后对提取到的信息进行求均值完成判别；
所述鉴别网络的第一层输入为：需要判别的影像区域和需要判别区域的阴影掩膜进行通道合并后的图像；
S102：交替训练所述生成网络和鉴别网络：利用生成网络生成用于欺骗鉴别网络的假图像，并更新生成网络和鉴别网络的参数，最终得到高分辨率遥感影像阴影去除网络模型；
需要说明的是，阴影生成器net_Gs和阴影消除器net_Gf训练过程中的损失函数如下：
LGAN＝LCycle×10+LDis (1)
L＝LIden(Gs)×5+LIden(Gf)×5+LGAN (2)
式(1)中，LCycle是阴影消除器生成的无阴影图像fake_A1和原始纯无阴影图像real_B图像二者像素值的L1Loss；LDis是鉴别网络对生成无阴影图像fake_A1鉴别的MSEloss；式(2)中，LIden(Gs)是将纯阴影图像real_C输入到与阴影消除器结构相同的阴影生成器中生成假的阴影图像fake_A2二者像素的L1Loss；LIden(Gf)是将非阴影图像real_B输入到阴影消除器中生成的假的非阴影图像fake_A1后二者像素的L1Loss；生成网络损失计算和参数更新时，保持鉴别网络参数不变；最终融合后的L为阴影初始去除部分的目标函数。
阴影优化器net_Gr训练过程中的损失函数如下：
Figure BDA0003886657270000071
Lref＝0.7×Lhis-(0.15)×Lvar+Lfeature+1.5×Lrec (4)
式(3)中，Lvar是方差损失函数，w为每个像素的权重因子；σ通过使用核为15的高斯模糊核计算其输入的标准偏差，G为高斯模糊核，Insdc为real_D，Isdc为fake_B；式(4)中，Lhis是原先阴影区域去阴影后直方图与同一幅影像中真实非阴影区域直方图的L1loss，Lfeature是将去除阴影后图像和真实阴影图像分别输入激活前的VGG16网络后的两张特征图像像素值的L1Loss，Lrec为两个特征图像的拉普拉斯算子处理后的边缘相似度的L1loss；Lref为最后得到的总体损失函数。
作为一种实施例，本发明提供部分源代码，简单摘录如下：
loss_hist＝(1/np.sqrt(2.0))*(torch.sqrt(torch.sum(torch.pow(torch.sqrt(input_hist)-torch.sqrt(output_hist),2))))/input_hist.shape[0]
loss_var＝-1*(1.5/10)*torch.sum(torch.abs(input_hist-output_hist))*torch.mean(torch.abs(torch.std(torch.std(input_gauss,dim＝2),dim＝2)-torch.std(torch.std(generated_gauss,dim＝2),dim＝2)))
其中，input_hist表示原先阴影区域去阴影后直方图，output_hist表示同一幅影像中真实非阴影区域直方图，input_guass表示原先阴影区域去阴影后图像的高斯分布，generated_guass表示同一幅影像中真实非阴影区域的高斯分布，loss_hist表示input_hist和output_hist二者之间的loss，loss_var表示阴影区域去阴影后图像和同一幅影像中真实非阴影区域之间的varloss。
优选的，特征损失的代码如下：
loss_feat＝criterion_vgg(vgg,fake_A1,real_D)
rec_loss＝1.5*rec_loss_func.compute_loss(fake_A1,real_D)
其中，vgg表示所采用的网络模型，fake_A1表示阴影去除得到初始结果，real_D表示使用直方图匹配方法将real_C处理成伪无阴影图像。Loss_feat表示特征损失Lfeature，rec_loss表示重建损失Lrec。
鉴别网络net_D训练过程中的损失函数计算如下：
LDis(real)＝||D(sd,sd_mask)-1|| (5)
LDis(fake)＝||D(Nsd,Nsd_mask)-0|| (6)
LDis＝(LDis(real)+LDis(fake))×0.5 (7)
式(5)中，sd表示真实阴影图像，sd_mask为阴影区域掩膜，将两个图像输入鉴别网络D中进行特征提取，判断其与1之间的距离，从而有效地更新鉴别网络的准确度；式(6)中，Nsd表示真实无阴影图像，Nsd_mask表示无阴影区域掩模图，判断提取到的特征与0之间的距离，衡量生成无阴影影像的真实性；式(7)中，最后的鉴别网络损失函数采用两种损失函数的加权和来决定鉴别网络的梯度更新方向。
具体的，本申请使用PartialConv卷积代替原始卷积的位置特征鉴别器，以适应阴影不规则的图像情况。PartialConv卷积的定义如式(8)。PartialConv卷积也使用与标准卷积相同的线性函数组合，由权重W和偏差b组成。X是当前定义的卷积核中的像素值，M是相应的原始阴影掩膜。根据阴影掩膜，在卷积过程中只有其标记的位置被卷积，避免了对其他区域的干扰。此外，如式(9)所示，为了保证每次卷积后的特征图不受其他无阴影区域的影响，在每次前向传播卷积后，当前状态的阴影掩膜m也会被更新。
Figure BDA0003886657270000091
Figure BDA0003886657270000092
在鉴别器中，通过4个4×4，跨度为2×2的PartialConv卷积提取阴影区域特征，得到预处理的阴影特征。然后通过4×4的PartialConv卷积将提取的阴影特征压缩到1个通道，以提取最重要的特征。最后，对压缩后的数值进行均值处理，以进一步验证生成图像的真实性。在每个PartialConv卷积中都采用InstanceNorm规则化层和LeakyReLU激活函数。为了确保鉴别器的准确性，在每次迭代结束时，根据真实的阴影区域和无阴影图像，使用MSELoss损失函数来更新鉴别器，具体代码如下：
self.conv1＝PartialConv(input,ouput,kernel_size＝kw,stride＝2,padding＝padw)
self.norm＝norm_layer(output)
self.relu＝nn.LeakyReLU(0.2)
其中，PartialConv表示Partial卷积，input代表输入特征，output为输出特征，kernel_size代表卷积核大小，stride表示卷积核的步长，padding表示边缘填充系数，最后norm_layer代表InstanceNorm规则化层，LeakyReLU代表LeakyReLU激活函数。
S103：利用训练完成的高分辨率遥感影像阴影去除网络模型完成阴影去除，得到阴影去除后的遥感图像。
请参考图3，图3为本发明效果图。图(3)a是有阴影的遥感影像，图3(b)是阴影去除后的遥感影像。从图3可以看出，本发明方法能够有效去除遥感影像中的阴影，还原阴影区域的地物纹理细节。
本发明的有益效果是：本发明所提出的网络能够在不需要真实匹配的无阴影图像的情况下，输出更为真实的无阴影图像，同时鉴别器能够根据掩膜所覆盖区域，定量的判别规定区域影像的真实性，从而更精确地更新鉴别器地精度，从而提供生成器地生成质量。该网络克服了以往传统去阴影方法复杂步骤和生成图像色调跑偏等缺点，最终可以生成清晰度和纹理特征更加接近真实高分辨率遥感图像的无阴影影像。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：包括以下步骤：
S101、构建高分辨率遥感影像阴影去除网络模型；所述遥感影像阴影去除网络模型基于GAN架构，包括生成网络和鉴别网络net_D；生成网络生成用于欺骗鉴别网络的假图像；所述生成网络包括：阴影消除器net_Gf、阴影生成器net_Gs和阴影优化器net_Gr；
S102：交替训练所述生成网络和鉴别网络：利用生成网络生成用于欺骗鉴别网络的假图像，并更新生成网络和鉴别网络的参数，最终得到高分辨率遥感影像阴影去除网络模型；
S103：利用训练完成的高分辨率遥感影像阴影去除网络模型完成阴影去除，得到阴影去除后的遥感图像。
2.如权利要求1所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：所述阴影消除器net_Gf，阴影生成器net_Gs和阴影优化器net_Gr均采用64个尺寸为7x 7的卷积核，256个3×3的下采样层，256个尺寸为3×3的残差卷积层，64个尺寸为3×3的上采样层，3个尺寸为7×7的输出层，InstanceNorm规则化层和ReLU激活函数组成。
3.如权利要求2所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：阴影消除器net_Gs，阴影生成器net_Gf采用3通道RGB影像输入，net_Gr采用由3通道RGB影像和1通道阴影区域二值图掩膜合成的四通道影像作为输入。
4.如权利要求1所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：所述鉴别网络net_D包括5层，均采用尺寸大小为4×4的PartialConv卷积和LeakyReLU结合的方式进行信息的提取和判别，最后对提取到的信息进行求均值完成判别。
5.如权利要求1所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：生成网络的训练过程如下：
S201：获取原始遥感影像real_A、原始遥感影像阴影区域对应的阴影掩膜图mask，纯无阴影图像real_B，纯阴影图像real_C；以real_B的直方图为基准，使用直方图匹配方法将real_C处理成伪无阴影图像real_D；
S202：将real_A输入到阴影消除器net_Gf中进行简单的阴影去除得到初始消除结果fake_A1；将fake_A1输入到阴影生成器net_Gs中进行阴影生成得到初始生成结果fake_A2；根据real_A和fake_A2应相同或保持一致性的特性来约束训练阴影消除器net_Gf和阴影生成器net_Gs；
S203：将fake_A1与mask输入阴影优化器net_Gr中与real_B和real_D分别进行对比，进行色调、纹理的优化，得到最后去除阴影后的图像fake_A；根据fake_A和real_B应相同或保持一致性的特性来约束训练阴影优化器net_Gr。
6.如权利要求5所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：鉴别网络的训练过程如下：
S301：将fake_A采用最近邻插值处理，得到与原始遥感影像real_A尺寸相同的阴影去除图像fake_B；
S302：将fake_B输入至鉴别网络，根据fake_B本身的真实性约束训练鉴别网络。
7.如权利要求5所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：阴影生成器net_Gs和阴影消除器net_Gf训练过程中的损失函数如下：
LGAN＝LCycle×10+LDis (1)
L＝LIden(Gs)×5+LIden(Gf)×5+LGAN (2)
式(1)中，LCycle是阴影消除器生成的无阴影图像fake_A1和原始纯无阴影图像real_B图像二者像素值的L1Loss；LDis是鉴别网络对生成无阴影图像fake_A1鉴别的MSEloss；式(2)中，LIden(Gs)是将纯阴影图像real_C输入到与阴影消除器结构相同的阴影生成器中生成假的阴影图像fake_A2二者像素的L1Loss；LIden(Gf)是将非阴影图像real_B输入到阴影消除器中生成的假的非阴影图像fake_A1后二者像素的L1Loss；生成网络损失计算和参数更新时，保持鉴别网络参数不变；最终融合后的L为阴影初始去除部分的目标函数。
8.如权利要求5所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：阴影优化器net_Gr训练过程中的损失函数如下：
Figure FDA0003886657260000031
Lref＝0.7×Lhis-(0.15)×Lvar+Lfeature+1.5×Lrec (4)
式(3)中，Lvar是方差损失函数，w为每个像素的权重因子；σ通过使用核为15的高斯模糊核计算其输入的标准偏差，G为高斯模糊核，Insdc为real_D，Isdc为fake_B；式(4)中，Lhis是原先阴影区域去阴影后直方图与同一幅影像中真实非阴影区域直方图的L1loss，Lfeature是将去除阴影后图像和真实阴影图像分别输入激活前的VGG16网络后的两张特征图像像素值的L1Loss，Lrec为两个特征图像的拉普拉斯算子处理后的边缘相似度的L1loss；Lref为最后得到的总体损失函数。
9.如权利要求6所述的一种基于深度学习的高分辨率遥感影像阴影去除方法，其特征在于：鉴别网络net_D训练过程中的损失函数计算如下：
LDis(real)＝||D(sd,sd_mask)-1|| (5)
LDis(fake)＝||D(Nsd,Nsd_mask)-0|| (6)
LDis＝(LDis(real)+LDis(fake))×0.5 (7)
式(5)中，sd表示真实阴影图像，sd_mask为阴影区域掩膜，将两个图像输入鉴别网络D中进行特征提取，判断其与1之间的距离，从而有效地更新鉴别网络的准确度；式(6)中，Nsd表示真实无阴影图像，Nsd_mask表示无阴影区域掩模图，判断提取到的特征与0之间的距离，衡量生成无阴影影像的真实性；式(7)中，最后的鉴别网络损失函数采用两种损失函数的加权和来决定鉴别网络的梯度更新方向。
CN202211247675.7A 2022-10-12 2022-10-12 一种基于深度学习的高分辨率遥感影像阴影去除方法 Pending CN115620158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211247675.7A CN115620158A (zh) 2022-10-12 2022-10-12 一种基于深度学习的高分辨率遥感影像阴影去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211247675.7A CN115620158A (zh) 2022-10-12 2022-10-12 一种基于深度学习的高分辨率遥感影像阴影去除方法

Publications (1)

Publication Number Publication Date
CN115620158A true CN115620158A (zh) 2023-01-17

Family

ID=84861873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211247675.7A Pending CN115620158A (zh) 2022-10-12 2022-10-12 一种基于深度学习的高分辨率遥感影像阴影去除方法

Country Status (1)

Country Link
CN (1) CN115620158A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861044A (zh) * 2023-02-17 2023-03-28 中国人民解放军国防科技大学 基于生成对抗网络的复杂云层背景仿真方法、装置和设备
CN116523803A (zh) * 2023-07-04 2023-08-01 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861044A (zh) * 2023-02-17 2023-03-28 中国人民解放军国防科技大学 基于生成对抗网络的复杂云层背景仿真方法、装置和设备
CN115861044B (zh) * 2023-02-17 2023-04-18 中国人民解放军国防科技大学 基于生成对抗网络的复杂云层背景仿真方法、装置和设备
CN116523803A (zh) * 2023-07-04 2023-08-01 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质
CN116523803B (zh) * 2023-07-04 2023-11-14 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN115620158A (zh) 一种基于深度学习的高分辨率遥感影像阴影去除方法
De-Maeztu et al. Near real-time stereo matching using geodesic diffusion
CN109035253A (zh) 一种语义分割信息指导的深度学习自动图像抠图方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN112884669B (zh) 基于多尺度内容注意力机制的图像修复方法、存储介质和终端
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
CN114626445B (zh) 基于光流网络与高斯背景建模的大坝白蚁视频识别方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
CN114463521A (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN113971669A (zh) 应用于管道损伤识别的三维检测系统
CN109816781B (zh) 一种基于图像细节和结构增强的多视图立体几何方法
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
CN111882495B (zh) 一种基于自定义模糊逻辑与gan的图像高光处理方法
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN116664421A (zh) 一种基于多光照角度图像融合的航天器图像去阴影的方法
CN115049560A (zh) 一种模型训练方法及系统、人脸图像去光方法及系统
CN113888614B (zh) 深度恢复方法、电子设备和计算机可读存储介质
CN112115864B (zh) 红外图像及深度图像双模态目标分割方法及装置
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
CN115909084A (zh) 基于边缘信息的单幅遥感图像云去除方法
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
CN109389629B (zh) 立体匹配自适应视差等级的确定方法
CN114821216A (zh) 图片去网纹神经网络模型建模、使用方法及相关设备
CN111985535A (zh) 一种通过神经网络优化人体深度图的方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination