CN111652822A - 一种基于生成对抗网络的单幅图像阴影去除方法及系统 - Google Patents
一种基于生成对抗网络的单幅图像阴影去除方法及系统 Download PDFInfo
- Publication number
- CN111652822A CN111652822A CN202010528026.9A CN202010528026A CN111652822A CN 111652822 A CN111652822 A CN 111652822A CN 202010528026 A CN202010528026 A CN 202010528026A CN 111652822 A CN111652822 A CN 111652822A
- Authority
- CN
- China
- Prior art keywords
- shadow
- image
- generator
- discriminator
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000000737 periodic effect Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 73
- 238000009826 distribution Methods 0.000 claims description 18
- XOOUIPVCVHRTMJ-UHFFFAOYSA-L zinc stearate Chemical compound [Zn+2].CCCCCCCCCCCCCCCCCC([O-])=O.CCCCCCCCCCCCCCCCCC([O-])=O XOOUIPVCVHRTMJ-UHFFFAOYSA-L 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 208000013036 Dopa-responsive dystonia due to sepiapterin reductase deficiency Diseases 0.000 description 11
- 201000001195 sepiapterin reductase deficiency Diseases 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- LQERIDTXQFOHKA-UHFFFAOYSA-N nonadecane Chemical compound CCCCCCCCCCCCCCCCCCC LQERIDTXQFOHKA-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于生成对抗网络的单幅图像阴影去除方法及系统，包括：获取非成对数据集U‑SRD；采用WGANs的生成器G和判别器Dg，生成非阴影图像
采用CGANS的生成器E和判别器De，生成荫罩Ma；以U‑SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
采用周期一致性的限制对非阴影生成部分G‑>F和阴影生成部分F‑>G进行处理；确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数：基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。本发明中的上述方法解决了以往基于深度神经网络去除阴影的方法必须运用成对的数据集来训练自己的模型的困难，突破了数据集制作的限制，并且提高了阴影去除的效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于生成对抗网络的单幅图像阴影去除方法及系统。
背景技术
在交通运输、地形检测、安全防卫等领域进行图像采集时，阴影会严重干扰所采集的图像，使图像出现信息缺失、色彩改变、亮度不足等问题。因此，为了消除阴影对图像造成的干扰，增强图像的可视性，有必要消除图像中的阴影。但是，阴影去除是计算机视觉领域多种挑战性任务之一。原因有三：第一，阴影的形状没有固定规律可循，非常多变；第二，阴影去除需要在阴影周围的背景环境非常复杂的情况下理解整体图像的语义；第三，在去除阴影的同时还要保存阴影背后复杂的背景信息。目前关于阴影去除的有效方法基本遵循以下几个方面：
第一、基于光照和色彩的物理模型。比如，Xiao等人利用高斯混合模型去检测阴影区域，然后可适应性光照转换器和贝叶斯结构分别用于被检测到的阴影区域和阴影边缘。然而，传统的物理模型方法不适合于处理大量的图片，它们只能处理高像素的图片，并且它们不能处理复杂场景下的阴影。除此之外，利用遮片来去除阴影也是一个研究方向，比如，Zhang等人，Guo等人，Chuang等人。但是，去除阴影的效果取决于阴影遮片的质量。
第二、基于统计学习的方法。该类方法依靠手工标注特征，比如，颜色，纹理，密度，梯度。Khan等人提出了一种结构利用多重深度神经网络在监督的方法下来自动的检测阴影，并且用贝叶斯公式，通过提取阴影遮片来进行阴影去除。Vicente等人训练了一种区域分类器来把阴影区域和非阴影区域分开，并且提出了一种通过光照值的直方图，在亮区和阴影区利用区域重光照转换来进行阴影去除的方法。这些手工特征对于阴影去除来说缺少高语义内容。
第三、卷积神经网络。该类方法是端到端的方法，并且是用成对的阴影和非阴影图片来训练自己的模型。Qu等人提出了一种全自动化的深度神经网络来去除阴影，该方法的网络结构将提取阴影特征的全局网络和另外的两部分并行网络结构结合起来，这两部分网络结构分别致力于阴影区域和预测的语义理解。随后，Le等人通过阴影参数网络SP-Net(Shadow Parameters Nets)和阴影遮片网络M-Net(Matte Nets)这两种深度网络来得到阴影的参数和阴影遮片，并由此得到阴影去除的效果。Hu等人进一步提出了一种深度神经网络结构来同过分析方向感知图片内容来去除阴影。但是，这些方法全都是通过成对的图片数据集来训练他们的网络，这就会对很多场景产生了限制，并且对于成对的阴影与非阴影图片，也没有办法确保它们是精确地一一对应的。
发明内容
本发明的目的是提供一种基于生成对抗网络的单幅图像阴影去除方法及系统，解决了以往基于深度神经网络去除阴影的方法必须运用成对的数据集来训练自己的模型的困难，突破了数据集制作的限制，并且提高了阴影去除的效果。
为实现上述目的，本发明提供了如下方案：
一种基于生成对抗网络的单幅图像阴影去除方法，所述方法包括：
S1：获取非成对数据集U-SRD；
S2：以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
S3：以所述S2中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma；
S4：以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
S5：采用周期一致性的限制分别对非阴影生成部分G->F和阴影生成部分F->G进行处理；
S6：基于所述S2-S5中的损失函数，确定整个网络结构的损失函数；
S7：对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数，并得到优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F；
S8：基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。
可选的，以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
具体包括：
其中，ε表示误差，pg表示生成器生成数据的分布；pr表示真实数据的分布；
表示生成的非阴影图像；Is表示真实的阴影图像，
表示生成非阴影图像的损失函数。
可选的，所述以所述S2中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma具体包括：
Ma＝E(n,Is)
其中，n表示随机样本噪声向量，t表示真实的荫罩图像，Pdata(Is,t)表示数据集的分布，LCGAN(E,De)表示利用CGAN条件生成对抗网络的损失函数来构建荫罩图像生成部分的损失函数，ε表示误差。
可选的，以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
具体包括：
其中，Mb表示从所生成的荫罩中选取所对应的荫罩；ε表示误差，pg表示生成器生成数据的分布；pr表示真实数据的分布。
可选的，周期一致性函数公式具体如下：
其中，||F(G(Is),Ma)-Is||1，||G(F(If,Mb))-If||1表示L1范式，用来计算每个像素的差异；Is表示真实的阴影图像；If表示真实的非阴影图像；Ma和Mb表示阴影荫罩；Pdata(Is)和Pdata(If)表示真实阴影图像与真实非阴影图像的分布；ε表示误差。
可选的，基于所述S2-S5中的损失函数，确定整个网络结构的损失函数具体采用以下公式：
其中，λ1,λ2,λ3分别表示权重，
表示非阴影图像生成部分的损失函数，
表示阴影图像生成部分的损失函数，LCGAN(E,De)表示荫罩图像生成部分的损失函数，
表示非阴影图像生成部分的周期一致损失函数，
表示阴影图像生成部分的周期一致损失函数，Ldata(E)表示荫罩图像生成部分的数据损失函数。
可选的，对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数具体采用以下公式：
可选的，所述λ1＝1,λ2＝5,λ3＝0.1。
可选的，对所述整个网络结构的损失函数进行结构优化具体采用极大极小方式对整个网络结构的损失函数进行结构优化。
本发明另外提供一种基于生成对抗网络的单幅图像阴影去除系统，所述系统包括：
数据集获取模块，用于获取非成对数据集U-SRD；
非阴影图像生成模块，用于以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
荫罩生成模块，用于以所述非阴影图像生成模块中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma；
阴影图像生成模块，用于以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
图像处理模块，用于采用周期一致性的限制分别对非阴影生成部分G->F和阴影生成部分F->G进行处理；
整体损失函数确定模块，用于基于所述非阴影图像生成模块、荫罩生成模块、阴影图像生成模块以及图像处理模块中的损失函数，确定整个网络结构的损失函数；
优化模块，用于对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数，并得到优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F；
阴影去除模块，用于基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明设计了一种可以通过对非成对数据集的学习来达到去除图像阴影目的非监督的网络结构，解决了现有大部分基于深度学习的阴影去除方法必须使用成对阴影数据集的限制，并且得到的结果在保证去除阴影的同时，还可以保持图像中的纹理不变。本发明突破了以往制作非成对阴影数据集时需要耗费大量资源的缺点，通过拆分组合成对阴影数据集来重新构造新的非成对数据集，并验证了这一方法的可行性，为后续研究去除雨水，去除雨雪等的类似研究提供了可靠思路。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于生成对抗网络的单幅图像阴影去除方法流程图；
图2为本发明实施例整体网络结构中非阴影图像生成部分框架图；
图3为本发明实施例荫罩图像生成部分框架图；
图4为本发明实施例阴影图像生成部分框架图；
图5为本发明实施例构建新的非成对阴影数据集过程图；
图6为本发明实施例阴影消除效果图；
图7为本发明实施例基于生成对抗网络的单幅图像阴影去除系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于生成对抗网络的单幅图像阴影去除方法及系统，解决了以往基于深度神经网络去除阴影的方法必须运用成对的数据集来训练自己的模型的困难，突破了数据集制作的限制，并且提高了阴影去除的效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
阴影去除难点有三：第一，阴影的形状非常多变；第二，阴影去除需要在阴影周围的背景环境非常复杂的情况下理解整体图像的语义；第三，在去除阴影的同时还要保存阴影背后复杂的背景信息。目前关于阴影去除的最新的方法是基于深度学习通过利用大量成对阴影数据集进行训练来使得网络结构具有学习去除阴影能力。但是，所训练的数据集必须成对限制了数据集的制作，并且成对的阴影与非阴影图片并非一一对应，在光照和颜色方面依然有差异，会严重影响所训练模型的通用性和实用性，这就给阴影去除效果带来了影响。针对上述问题，本发明提出了新的阴影去除方法：基于光谱归一化生成对抗网络的单幅图像阴影去除方法。
本发明首先构建基于生成对抗网络阴影去除网络结构，如图2，图3，图4所示，该结构包含三部分：其一部分，通过真实的阴影图片集学习来生成非阴影图片；第二部分，让输入的阴影图片生成荫罩；第三部分，通过真实的非阴影图片集学习来生成阴影图片。
其次，将已有的成对的阴影数据集SRD和ISTD进行拆分重组操作组成新的非成对的新的数据集。如图5所示，将已有数据集SRD中的3088对阴影部分和非阴影部分进行拆分，然后将ISTD中的1870对阴影部分和非阴影部分进行拆分，最后将SRD中的阴影部分和ISTD中的非阴影部分进行重新组合，称之为U-ISTD(Unpaired-ISTD)；剩下的数据集也进行重新组合，称之为U-SRD(Unpaired-SRD)。
最后，利用新的非成对数据集来训练我们的网络模型，来达到具有对单幅图像进行阴影去除的效果，如图6所示，我们的方法在去除图片阴影的同时，对背景纹理材质细节信息的保存方面，对比其他方法具有优势。
为了实现上述效果，具体采用以下方法：
图1为本发明实施例基于生成对抗网络的单幅图像阴影去除方法流程图，如图1所示，所述方法包括：
S1：获取非成对数据集U-SRD。
具体的，将已有数据集SRD中的3088对阴影部分和非阴影部分进行拆分，然后将ISTD中的1870对阴影部分和非阴影部分进行拆分，最后将SRD中的阴影部分和ISTD中的非阴影部分进行重新组合，称之为U-ISTD；剩下的数据集也进行重新组合，称之为U-SRD。
S2：以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
具体的，为了让克服在训练生成对抗网络的过程中会产生训练不稳定的情况，本发明中选取沃瑟斯坦生成对抗网络WGANs(Wasserstein Generative AdversarialNetworks)的生成器和判别器来构造生成非阴影图像的网络,具体公式如下：
其中，ε表示误差，pg表示生成器生成数据的分布；pr表示真实数据的分布；
表示生成的非阴影图像；Is表示真实的阴影图像，
表示生成非阴影图像的损失函数。
并且，将生成器的损失函数进行光谱归一化操作来达到优化的目的。
S3：以所述S2中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma。
具体的，选取条件生成对抗网络CGANS(Conditional Generative AdversarialNetworks)的生成器和判别器来构造E和De，随后输入真实阴影图片Is来生成荫罩Ma具体公式如下：
Ma＝E(n,Is)
其中，n表示随机样本噪声向量，t表示真实的荫罩图像，Pdata(Is,t)表示数据集的分布，LCGAN(E,De)表示利用CGAN条件生成对抗网络的损失函数来构建荫罩图像生成部分的损失函数，ε表示误差。
但是，变量n与生成器E之间并没有相关性，因此，上述公式可转换为如下公式：
除了对抗损失函数外，还采用数据损失函数来让目标的回归更加精确，公式如下：
S4：以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
具体采用如下公式：
其中，Mb表示从所生成的荫罩中选取所对应的荫罩；ε表示误差，pg表示生成器生成数据的分布；pr表示真实数据的分布。
同样，将生成器的损失函数进行光谱归一化操作来达到优化的目的。
将上述S2-S4构造的生成器，判别器进行功能性组合，按照由G和Dg到F和Df的顺序构成第一部分非阴影生成网络，该部分通过输入真实的阴影图片Is来学习生成非阴影图片
按照由F和Df到G和Dg的顺序构成第三部分阴影生成网络，该部分通过输入真实的阴影图片If来学习生成非阴影图片
S5：采用周期一致性的限制分别对非阴影生成部分G->F和阴影生成部分F->G进行处理。
步骤S2、S3、S4目的是分别得到各个网络结构的损失函数。但是，随着输入样本容量的不断增加，网络结构会使得相同的一组输入图像映射到目标域中任意随机排列的图像。所以，为了减少可能的映射关系空间，还需要运用周期一致损失函数来实现优化，让映射关系满足循环一致的条件，使得输入的图像经过网络结构后又重新与原有输入的图像大致相同，即，F(G(Is),Ma)≈Is，G(F(If,Mb))≈If。
周期一致性函数公式具体如下：
其中，||F(G(Is),Ma)-Is||1，||G(F(If,Mb))-If||1表示L1范式，用来计算每个像素的差异；Is表示真实的阴影图像；If表示真实的非阴影图像；Ma和Mb表示阴影荫罩；Pdata(Is)和Pdata(If)表示真实阴影图像与真实非阴影图像的分布；ε表示误差。
S6：基于所述S2-S5中的损失函数，确定整个网络结构的损失函数。
即，综合上述损失函数可得到整个网络结构的损失函数，具体如下：
其中，λ1,λ2,λ3分别表示权重，根据实际情况，将权重设置为λ1＝1，λ2＝5，λ3＝0.1，
表示非阴影图像生成部分的损失函数，
表示阴影图像生成部分的损失函数，LCGAN(E,De)表示荫罩图像生成部分的损失函数，
表示非阴影图像生成部分的周期一致损失函数，
表示阴影图像生成部分的周期一致损失函数，Ldata(E)表示荫罩图像生成部分的数据损失函数。
S7：对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数，并得到优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F；
具体的，采用极大极小的方式对整个结构优化，公式如下：
S8：基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。
图7为本发明实施例一种基于生成对抗网络的单幅图像阴影去除系统结构示意图，所述系统包括：数据集获取模块201、非阴影图像生成模块202、荫罩生成模块203、阴影图像生成模块204、图像处理模块205、整体损失函数确定模块206、优化模块207以及阴影去除模块208。
其中，数据集获取模块201用于获取非成对数据集U-SRD；
非阴影图像生成模块202用于以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
荫罩生成模块203用于以所述非阴影图像生成模块中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma；
阴影图像生成模块204用于以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
图像处理模块205用于采用周期一致性的限制分别对非阴影生成部分G->F和阴影生成部分F->G进行处理；
整体损失函数确定模块206用于基于所述非阴影图像生成模块、荫罩生成模块、阴影图像生成模块以及图像处理模块中的损失函数，确定整个网络结构的损失函数；
优化模块207用于对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数，并得到优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F；
阴影去除模块208用于基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于生成对抗网络的单幅图像阴影去除方法，其特征在于，所述方法包括：
S1：获取非成对数据集U-SRD；
S2：以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
S3：以所述S2中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma；
S4：以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
S5：采用周期一致性的限制分别对非阴影生成部分G->F和阴影生成部分F->G进行处理；
S6：基于所述S2-S5中的损失函数，确定整个网络结构的损失函数；
S7：对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数，并得到优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F；
S8：基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。
2.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
具体包括：
其中，ε表示误差，pg表示生成器生成数据的分布；pr表示真实数据的分布；
表示生成的非阴影图像；Is表示真实的阴影图像，
表示生成非阴影图像的损失函数。
3.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，所述以所述S2中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma具体包括：
Ma＝E(n,Is)
其中，n表示随机样本噪声向量，t表示真实的荫罩图像，Pdata(Is,t)表示数据集的分布，LCGAN(E,De)表示利用CGAN条件生成对抗网络的损失函数来构建荫罩图像生成部分的损失函数，ε表示误差。
4.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
具体包括：
其中，Mb表示从所生成的荫罩中选取所对应的荫罩；ε表示误差，pg表示生成器生成数据的分布；pr表示真实数据的分布，
表示生成阴影图像的损失函数。
5.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，周期一致性函数公式具体如下：
其中，||F(G(Is),Ma)-Is||1，||G(F(If,Mb))-If||1表示L1范式，用来计算每个像素的差异；Is表示真实的阴影图像；If表示真实的非阴影图像；Ma和Mb表示阴影荫罩；Pdata(Is)和Pdata(If)表示真实阴影图像与真实非阴影图像的分布；ε表示误差，
表示非阴影图像生成部分的周期一致损失函数，
表示阴影图像生成部分的周期一致损失函数。
6.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，基于所述S2-S5中的损失函数，确定整个网络结构的损失函数具体采用以下公式：
其中，λ1,λ2,λ3分别表示权重，
表示非阴影图像生成部分的损失函数，
表示阴影图像生成部分的损失函数，LCGAN(E,De)表示荫罩图像生成部分的损失函数，
表示非阴影图像生成部分的周期一致损失函数，
表示阴影图像生成部分的周期一致损失函数，Ldata(E)表示荫罩图像生成部分的数据损失函数。
7.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数具体采用以下公式：
8.根据权利要求6所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，所述λ1＝1,λ2＝5,λ3＝0.1 。
9.根据权利要求1所述的基于生成对抗网络的单幅图像阴影去除方法，其特征在于，对所述整个网络结构的损失函数进行结构优化具体采用极大极小方式对整个网络结构的损失函数进行结构优化。
10.一种基于生成对抗网络的单幅图像阴影去除系统，其特征在于，所述系统包括：
数据集获取模块，用于获取非成对数据集U-SRD；
非阴影图像生成模块，用于以所述U-SRD中的阴影图像Is为输入，采用沃瑟斯坦生成对抗网络WGANs的生成器G和判别器Dg，生成非阴影图像
荫罩生成模块，用于以所述非阴影图像生成模块中的阴影图像Is为输入，采用条件生成对抗网络CGANS的生成器E和判别器De，生成荫罩Ma；
阴影图像生成模块，用于以所述U-SRD中的非阴影图像If为输入，采用WGANs的生成器F和判别器Df，生成阴影图像
图像处理模块，用于采用周期一致性的限制分别对非阴影生成部分G->F和阴影生成部分F->G进行处理；
整体损失函数确定模块，用于基于所述非阴影图像生成模块、荫罩生成模块、阴影图像生成模块以及图像处理模块中的损失函数，确定整个网络结构的损失函数；
优化模块，用于对所述整个网络结构的损失函数进行结构优化，确定判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F的参数，并得到优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F；
阴影去除模块，用于基于优化后的判别器Dg、判别器De、判别器Df、生成器G、生成器E以及生成器F对单幅图像阴影进行去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528026.9A CN111652822B (zh) | 2020-06-11 | 2020-06-11 | 一种基于生成对抗网络的单幅图像阴影去除方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528026.9A CN111652822B (zh) | 2020-06-11 | 2020-06-11 | 一种基于生成对抗网络的单幅图像阴影去除方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652822A true CN111652822A (zh) | 2020-09-11 |
| CN111652822B CN111652822B (zh) | 2023-03-31 |
Family
ID=72343496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528026.9A Active CN111652822B (zh) | 2020-06-11 | 2020-06-11 | 一种基于生成对抗网络的单幅图像阴影去除方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652822B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508179A (zh) * | 2020-12-17 | 2021-03-16 | 上海依图网络科技有限公司 | 网络结构的构建方法、装置以及介质 |
| CN112529789A (zh) * | 2020-11-13 | 2021-03-19 | 北京航空航天大学 | 一种城市可见光遥感图像阴影去除的弱监督方法 |
| CN112837251A (zh) * | 2020-12-31 | 2021-05-25 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN113780298A (zh) * | 2021-09-16 | 2021-12-10 | 国网上海市电力公司 | 电力实训场中人员图像检测中的阴影消除方法 |
| US20220188991A1 (en) * | 2020-12-12 | 2022-06-16 | Samsung Electronics Co., Ltd. | Method and electronic device for managing artifacts of image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| US20190046068A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Protocol independent image processing with adversarial networks |
| CN109978807A (zh) * | 2019-04-01 | 2019-07-05 | 西北工业大学 | 一种基于生成式对抗网络的阴影去除方法 |
-
2020
- 2020-06-11 CN CN202010528026.9A patent/CN111652822B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| US20190046068A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Protocol independent image processing with adversarial networks |
| CN109978807A (zh) * | 2019-04-01 | 2019-07-05 | 西北工业大学 | 一种基于生成式对抗网络的阴影去除方法 |
Non-Patent Citations (2)
| Title |
|---|
| 袁绍锋等: "有条件生成对抗网络的IVUS图像内膜与中-外膜边界检测", 《中国生物医学工程学报》 * |
| 陈俊周等: "基于级联生成对抗网络的人脸图像修复", 《电子科技大学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529789A (zh) * | 2020-11-13 | 2021-03-19 | 北京航空航天大学 | 一种城市可见光遥感图像阴影去除的弱监督方法 |
| CN112529789B (zh) * | 2020-11-13 | 2022-08-19 | 北京航空航天大学 | 一种城市可见光遥感图像阴影去除的弱监督方法 |
| US20220188991A1 (en) * | 2020-12-12 | 2022-06-16 | Samsung Electronics Co., Ltd. | Method and electronic device for managing artifacts of image |
| CN112508179A (zh) * | 2020-12-17 | 2021-03-16 | 上海依图网络科技有限公司 | 网络结构的构建方法、装置以及介质 |
| CN112837251A (zh) * | 2020-12-31 | 2021-05-25 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN112837251B (zh) * | 2020-12-31 | 2024-04-02 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN113780298A (zh) * | 2021-09-16 | 2021-12-10 | 国网上海市电力公司 | 电力实训场中人员图像检测中的阴影消除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652822B (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652822B (zh) | 一种基于生成对抗网络的单幅图像阴影去除方法及系统 | |
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| Gu et al. | The analysis of image contrast: From quality assessment to automatic enhancement | |
| CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN111524205A (zh) | 基于循环生成对抗网络的图像着色处理方法及装置 | |
| CN110276377A (zh) | 一种基于贝叶斯优化的对抗样本生成方法 | |
| CN109712165A (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
| EP4057609B1 (en) | Method and apparatus for image correction | |
| CN110782448A (zh) | 渲染图像的评价方法及装置 | |
| Wang et al. | Metalantis: A Comprehensive Underwater Image Enhancement Framework | |
| CN113379715A (zh) | 一种水下图像增强和数据集真值图像获得方法 | |
| Huang et al. | SIDNet: a single image dedusting network with color cast correction | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| Fu et al. | An adaptive self-correction joint training framework for person re-identification with noisy labels | |
| Di et al. | FDNet: An end-to-end fusion decomposition network for infrared and visible images | |
| CN108665455B (zh) | 图像显著性预测结果的评价方法和装置 | |
| CN115018729B (zh) | 一种面向内容的白盒图像增强方法 | |
| Xu et al. | Blind image quality assessment by pairwise ranking image series | |
| CN108428226A (zh) | 一种基于ica稀疏表示与som的失真图像质量评价方法 | |
| Wang et al. | Video flame recognition based on α-GMM and weight kernel sparse representation | |
| Mo et al. | Contrastive adaptive frequency decomposition network guided by haze discrimination for real-world image dehazing | |
| KR102673686B1 (ko) | 사용자가 제작한 이미지의 색채를 기반으로 사용자의 정서를 분석하는 방법 | |
| Akhila et al. | Quality restoration of underwater images and their enhancement with white balance and histogram equalization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240617 Address after: 712000 Room 802, 8 / F, building 14, West Yungu phase I, Fengxi new town, Xixian New District, Xi'an City, Shaanxi Province Patentee after: Xi'an Qianxi Network Technology Co.,Ltd. Country or region after: China Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5 Patentee before: XI'AN University OF TECHNOLOGY Country or region before: China |