CN113870124A - 基于弱监督的双网络互激励学习阴影去除方法 - Google Patents

基于弱监督的双网络互激励学习阴影去除方法 Download PDF

Info

Publication number
CN113870124A
CN113870124A CN202110980864.4A CN202110980864A CN113870124A CN 113870124 A CN113870124 A CN 113870124A CN 202110980864 A CN202110980864 A CN 202110980864A CN 113870124 A CN113870124 A CN 113870124A
Authority
CN
China
Prior art keywords
shadow
network
image
residual
brightening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110980864.4A
Other languages
English (en)
Other versions
CN113870124B (zh
Inventor
蒋晓悦
李煜祥
王众鹏
韩逸飞
冯晓毅
夏召强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110980864.4A priority Critical patent/CN113870124B/zh
Publication of CN113870124A publication Critical patent/CN113870124A/zh
Application granted granted Critical
Publication of CN113870124B publication Critical patent/CN113870124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于弱监督的双网络互激励学习阴影去除方法，只需要阴影检测任务标签即可完成阴影去除任务的训练，其中阴影残差网络用于升成阴影分布的模拟图，利用弱标签来训练，阴影提亮网络是端对端的网络，可直接由阴影图像升成阴影去除图像，利用阴影残差网络结果进行训练，阴影提亮网络结果作为阴影残差网络的输入，使用阴影残差网络在两张图像依次输入网络得到残差图像后，利用输入图像和对应残差图像间关系计算网络损失。本发明丰富样本的多样性，提升阴影残差网络的能力，有效提高阴影残差网络的输出性能。有效的减少了在数据标注中人力物力的投入。

Description

基于弱监督的双网络互激励学习阴影去除方法
技术领域
本发明涉及图像处理领域，尤其是一种针对单幅图像使用弱监督方法利用双网络相互激励学习完成阴影去除的网络框架方法。
背景技术
现如今，计算机视觉已被广泛应用于多种生产、生活场景，例如：工业视觉检测、医学图像处理、视频跟踪和智能自动驾驶等。然而在具体场景中，由于物体遮挡了入 射光线，使得入射光照的强度发生了突变，从而使得光照强度在照射平面产生了不连 续的变化。由此，场景中会产生阴影。而阴影作为一种通常会出现在各种自然图像中 的光学现象，可能会改变原有目标的颜色或者轮廓，因此会增加原有计算机视觉任务 的难度，降低算法的鲁棒性。为此，阴影去除任务也随之被众多学者列入了研究的目 标。利用算法通过分析阴影周围环境和阴影区域内原本的特征，可以得出用于将阴影 区域恢复为无阴影区域的映射关系。这个映射关系就是我们想寻求的阴影去除算法。
对于单幅图像的阴影去除方法，主要可以分为两类：第一类是基于机器学习和人工特征选择的传统方法，第二类是目前火热的基于深度学习的阴影去除方法。
基于机器学习的传统方法通常通过构建阴影模型来解决阴影去除问题。阴影图像通常被认为是由材料固有属性和被遮挡的投射光源组成。因此，通过估计被遮挡光源 的参数，然后对图像进行阴影投射的逆操作处理，就可以得到无阴影图像。已有方法 多在梯度域和图像亮度域中去除阴影。其通过基于光照不变性的方法，将梯度域中的 阴影边缘逐渐归零，然后进行积分以获取无阴影的图像。但是这些方法难以处理非均 匀的阴影。
大数据的发展，计算机运算能力的极大提高以及神经网络算法推动了深度学习的发展，端到端的卷积神经网络已成为目前图像处理算法的首选。现有基于深度学习的 阴影去除方法大多数基于生成式对抗网络。需要完备的标签对，即阴影图像和其对应 的无阴影图像标签。但是对于阴影去除任务，其标签的获取是极为困难的，所以现有 阴影去除数据集均数据含量较少且场景简单。为此，利用弱监督的方法，降低标签标 注成本，增加可用训练数据是值得研究的方向。
发明内容
为了克服现有技术的不足，本发明提供一种基于弱监督的双网络互激励学习阴影去除方法。为解决全监督阴影去除问题中标签获取困难，现有数据集数据量较少的问 题，本发明提出了一种弱监督的双网络互激励学习阴影去除方法。该方法只需要阴影 检测任务标签即可完成阴影去除任务的训练。其中阴影残差网络用于升成阴影分布的 模拟图(即阴影图像直接按像素位置减去其对应无阴影图像)，利用弱标签来训练。阴 影提亮网络是端对端的网络，可直接由阴影图像升成阴影去除图像，利用阴影残差网 络结果进行训练。同时，阴影提亮网络结果也会作为阴影残差网络的输入，由此可以 丰富样本的多样性，提升阴影残差网络的能力。
本发明解决其技术问题所采用的技术方案的具体步骤如下：
步骤1：数据准备；
仅使用阴影图像作为输入、阴影检测标签作为标签完成阴影去除任务；阴影检测标签中仅含有阴影的位置信息，并不能直接给出阴影去除所需要的信息；受启发于传 统方法中通常认定阴影边界处内部与外部小范围内像素所在物体表面为相同材质，阴 影的产生仅由光线遮挡系数的改变引起。因此，将接近阴影边界的阴影区域像素的平 均灰度值与非阴影区域像素的平均灰度值相除，得到阴影提亮系数，如下公式所示：
Figure BDA0003229066810000021
其中，Ishadow-free表示阴影区域像素的平均灰度值，Ishadow表示非阴影区域像素 的平均灰度值，Ld为三颜色通道直射光强度，k是阴影提亮系数；
将阴影区域所有像素点乘以阴影提亮系数k，从而提亮阴影区域，得到粗阴影提亮图像，作为阴影去除网络训练的伪标签；由此，获得相较于阴影检测标签更适合于 训练阴影去除网络的伪标签；
步骤2：构造阴影残差网络；
阴影残差网络的构建利用了与U-Net网络类似的U型网络结构，综合利用不同分辨率下的特征图，很好的结合了高级特征与低级特征，避免了高级特征(阴影语义信 息)中低级特征(阴影纹理信息)的缺失。同时为了减轻网络训练难度，提升训练效 果，引入了稠密块(Dense Block)。通常，随着网络深度的增加网络性能会有所提升， 但是此时容易产生梯度消失的问题，使得网络训练难度增加。而梯度消失问题有一部 分原因就是输入信息和梯度信息会在很多层中传递，引入稠密连接设置相当于每一层 都直接连接了输入和损失，以保证在网络层数较多时，输入层的梯度信息加以保存， 可减轻梯度消失问题；
阴影残差网络的网络结构图如图3所示，网络输入为3通道RGB格式的阴影图像，输入的阴影图像首先经过一个大小为3*3，通道数为48的卷积层(Conv)，然后依次 分别经过四组稠密块(DB)和用来控制通道数的下采样层(TD)的组合，通过逐层 的编码过程得到图像的高层级特征；此时得到的特征图尺寸较小，含有较多的语义信 息但结构信息损失严重；之后，将得到的高层级特征再通过四组稠密块(DB)和用来 控制通道数的下采样层(TD)的组合逐层解码得到对阴影区域的估计；在解码过程中， 编码获得的高层级特征通过上采样层(TU)恢复特征空间尺寸，然后与相应层级的解 码特征通过合并操作模块(C)将两组特征连接在一起，之后再通过稠密块(DB)对 特征进一步解码；依次重复该过程四次，完成对编码特征的解码，获得网络的输出结 果，即阴影区域；
步骤3：构造阴影提亮网络；
阴影提亮网络，如图4所示，由7层模块顺序依次连接而成，阴影提亮网络由卷 积层、五层残差层和另外一个卷积层连接组成，并在输入与最后一个卷积层直接进行 了跳连接，最终输出结果为阴影去除图像；
步骤4：设计阴影残差网络与阴影提亮网络损失函数；
步骤4-1：阴影残差网络损失函数；
记阴影图像为Ishadow，在三个颜色空间获得的粗阴影提亮图像为Irelight，定义为：
Ishadaw＝ks×Rd+Re (3)
Irelight＝kr×Rd+Re (4)
其中Rd代表了直射光在物体表面反射后体现在三个颜色通道中的强度，Re代表了环境光在物体表面反射后体现在三个颜色通道中的强度；ks和kr分别为阴影图像 (shadow)的阴影因子和阴影提亮图像(relight)的阴影因子，表示环境光是均匀情况下 有多少直射光到达像素，阴影因子ks与kr的取值范围为0到1，具体值由对应图像场 景中真实光照情况决定；对于阴影的本影区域，ks接近0；而在半影区域，它变得越来 越接近1；对于无阴影区域内的像素，ks＝1；
同时，若无阴影图像为Ifree＝Rd+Ra，则阴影图像对应的残差图像为 Mshadow＝Ifree-Ishadow；同理可得，Ishadow与Irelight对应的残差图像定义为：
Mshadow＝(1-ks)×Rd (5)
Irelight＝(1-kr)×Rd (6)
联立公式(3)和(4)可得：
Ishadow-Irelight＝(ks-kr)×Rd (7)
联立公式(5)和(6)可得：
Mshodow-Mrelight＝(ks-kr)×Rd (8)
此时以可推得用来约束阴影残差网络的函数表达，记为公式(9)：
Ishadow-Irelight＝Mshadow-Mrelight (9)
由此证明，在该光学物理模型的假设下，利用文中提出的约束作为阴影残差网络的损失求取方式是可行的；
使用MSE损失函数约束公式(9)成立，即计算公式两边之间差值的平方和，MSE 损失函数
Figure BDA0003229066810000041
定义如下：
Figure BDA0003229066810000042
其中yi，
Figure BDA0003229066810000043
分别为公式(9)两端计算所得图像中i像素的值，n为图像中像素点的数量；
但由于阴影残差网络可能在学习后偏向于稳定输出全0值图像或者将输入阴影图不加以改变直接输出，此时满足公式(9)成立，引入抑制生成残差图中无阴影区域像 素值的损失函数
Figure BDA0003229066810000044
该
Figure BDA0003229066810000045
是通过求取残差图中无阴影区域像素点的灰度值与零值 的距离来抑制无阴影区残差值的生成，损失定义为：
Figure BDA0003229066810000046
其中i为属于非阴影区的所有像素点；m为非阴影区像素点的数量；|yi|1表示对yi取 1范数；
最后，对于在训练的过程中阴影区域容易产生颜色偏差问题，引入了针对提亮图像色差的损失函数
Figure BDA0003229066810000051
由此减弱生成的阴影去除图像的颜色偏差问题，定义为：
Figure BDA0003229066810000052
其中y′i为阴影残差网络生成的残差图像与原图像相加后得到的阴影去除图中i像 素位置的值；Ii为RGB颜色空间得到的粗提亮图像在i像素位置的像素值；n为图像中 像素点的数量；
由此，得到完整的残差网络训练损失函数为：
Figure BDA0003229066810000053
步骤4-2：设计阴影提亮网络损失函数；
阴影提亮网络类似于图像生成任务中有监督网络的训练，使用均值方差(MSE) 损失函数作为了阴影提亮网络的主要损失函数，其中
Figure BDA0003229066810000054
定义如下：
Figure BDA0003229066810000055
其中y″i，
Figure BDA0003229066810000056
分别为输入阴影图像与阴影提亮网络输出图像中i像素位置的像素值， n为图像中像素点的数量；
由于阴影去除任务中只关注阴影区域的像素值变化，对于非阴影区域希望其值是不要变化的，因此，引入1范数损失来约束非阴影区域值的不变性，该损失定义为：
Figure BDA0003229066810000057
其中y″i，
Figure BDA0003229066810000058
同样为输入阴影图像与阴影提亮网络输出图像中i像素位置的像素值， 但此时的i像素均在非阴影区域；m为图像中非阴影区域像素点的数量；||1表示对函数取1范数；
类似的，对于阴影区域容易产生颜色偏差问题，引入了向粗提亮图像学习的损失函数
Figure BDA0003229066810000059
希望减少生成的阴影去除图像的颜色偏差问题，定义为：
Figure BDA00032290668100000510
其中y″i为阴影提亮网络生成的阴影去除图中i像素位置的值；Ii为RGB颜色空间得到的粗提亮图像在i像素位置的像素值；n为图像中像素点的数量；
由此，得到完整的提亮网络训练损失函数为：
Figure BDA0003229066810000061
基于弱监督的阴影去除网络的损失由两个网络的损失之和L＝LM+LR构成，其中λa，λb，λc，λd均为超参数；
步骤5：设计整体网络框架
基于弱监督的阴影去除网络整体框架主要由两个子网络组成：阴影残差网络 M-net(结构如步骤2介绍)和阴影提亮网络R-net(结构如步骤3介绍)两部分组 成，整体网络结构如图5所示，即利用伪标签训练阴影残差网络(M-net)，同时利用 阴影残差网络输出来训练阴影提亮网络(R-net)。并使用R-net输出作为M-net输入一 部分，从而达到相互激励的目的；
其中，阴影残差网络用于估计阴影残差图，并期望通过阴影残差图消除阴影；阴影残差网络的输入有三类信息：一类是数据集中原有的阴影图像Ishadow；一类是利用 光学模型获得的粗阴影提亮图Irelight(根据公式4获得)；还有一类是由阴影提亮网络 生成的阴影粗去除结果IR-net；阴影残差网络的输出为输入图像对应的阴影残差图像， 即：输入为阴影图像Ishadow时，输出为残差图像Mshadow；输入为粗阴影提亮图Irelight时，输出为残差图像Mrelight；输入为粗去除结果图IR-net时，输出为残差图像MR-net； 阴影提亮网络用于消除图像中的阴影区域，对于输入的包含阴影的图像，生成阴影消 除的结果；
训练分为两个阶段，第一阶段，网络初始训练，利用阴影图像Ishadow和利用物理 模型获得的粗提亮图像Irelight(公式4)分别对阴影残差网络和阴影提亮网络进行初 始训练获得网络初始参数；第二阶段，阴影残差网络和阴影提亮网络交替训练，即先 训练阴影残差网络同时固定提亮网络，然后再训练阴影提亮网络同时固定残差网络， 通过不断交替迭代使得整个网络达到最优；
其中，对于阴影残差网络，将阴影图像Ishadow和与之对应的粗提亮图Irelight两张图片一起作为一组输入，或者将阴影图像Ishadow和对应的粗阴影去除结果图IR-net两张 图片作为一组输入；两组输入图像任取一组作为输入送入残差阴影网络，分别得到各 自相应的阴影残差图像，根据公式(9)，两张残差图之差等于输入的两张图像之差(各 通道相应位置像素值直接相减)，根据式(13)计算得到阴影残差网络的训练损失Lm， 其中均值方差损失Lmse,抑制损失Lzero,颜色一致性损失Lcolor分别根据公式(10),公 式(11),公式(12)获得，阴影残差网络的训练损失求取过程不同于以往直接利用标 签训练网络，是一种全新的利用软约束间接训练阴影残差网络的方法；
对于阴影提亮网络，输入为阴影图像，期望其输出为阴影去除图像；由于缺乏真实的阴影去除图像作为训练标签，而利用阴影残差网络生成结果Mshadow与原阴影图像Ishadow直接相加得到的阴影去除结果图像IM-net作为标签图像，并通过计算阴影残差 网络结果IM-net与提亮网络的输出结果图像IR-net之间的误差，即公式(17)，通过误 差反传来实现对提亮网络参数的优化；阴影提亮网络结果可以丰富阴影残差网络输入 数据，提升阴影残差网络能力，同时间接提升自身性能。由于残差网络的注意力主要 集中于阴影区域内，造成图像在统一性上略有缺失，阴影提亮网络的输出可作为最终 阴影消除的结果。本发明设计了阴影残差网络和阴影提亮网络两个子网络，通过两个 网络的联合训练和相互约束，可以在缺失无阴影标签图像的条件下，完成对网络的弱 监督训练，并可对输入的阴影图像实现端到端的阴影去除的功能。
所述步骤2中，稠密块的结构如图2所示，令[x0，x1，x2，…，xl-1，]表示将0到l-1 层的输出特征图做在通道维度的合并；Hl表示三个3*3卷积层，每个卷积层均采用 ReLU作为激活函数，并在最后一个卷积层后连接一个批归一化层，则稠密块的输出 表示为Xf＝Hl([x0，x1，x2，…，xl-1，])；稠密块通过网络层之间的密集连接保证梯度的有 效传输，在阴影残差网络中主要用于特征提取。
所述阴影提亮网络中，网络第1层是卷积层(Conv)和归一化层(PReL)，第2-6 层为基本残差块(ResidualBlock)，第7层为卷积层(Conv)，最终输出结果为阴影去 除图像。
所述步骤3中，网络第1层为卷积核为3×3、通道数为64的卷积层，基本残差块 的卷积核为3×3、通道数为64，第7层卷积层(Conv)卷积核为3×3、通道数为3。
所述超参数λa，λb，λc，λd均取0.1。
本发明的有益效果在于仅利用了阴影检测标签作为训练标签，并未利用数据集中的阴影去除标签进行训练，是一种弱监督的方法。不同于通常直接学习标签的训练方 法，本发明提出使用间接的方法训练阴影残差网络，以求利用弱标签得到更好的训练 结果。阴影残差网络的约束方式已在公式(9)中体现，使用阴影残差网络在两张图像 依次输入网络得到残差图像后，利用输入图像和对应残差图像间关系计算网络损失。 同时，构建了阴影提亮网络来模拟由阴影残差网络结果恢复的阴影去除图像，并将阴 影提亮网络结果作为阴影残差网络输入。这会增强阴影残差网络的输入数据，有效提 高阴影残差网络的输出性能。本发明仅仅使用阴影检测标签，即只需要标注出阴影边 界。相对于标注阴影像素在无阴影状态下的像素值，阴影检测标签极易获取。因此， 本方法有效的减少了在数据标注中人力物力的投入。
附图说明
图1是本发明利用步骤1中方法获取的粗阴影提亮图像，图1(a)为原始阴影图像，图1(b)、图1(c)、图1(d)分别为在HSV、LAB、RGB三种颜色空间下进行处理后的 阴影提亮图像，图1(e)为数据集中原有的阴影去除标签图像。
图2是稠密块网络结构。
图3是阴影残差网络结构。
图4是阴影提亮网络结构。
图5是基于弱监督的双网络互激励学习阴影去除方法网络总框架图。
图6是利用该方法最终获得的阴影去除结果对比图。其中图6(a)图为原始输入的阴影图像，图6(b)、图6(c)、图6(d)、图6(e)、图6(f)和图6(g)均为其他基于全监 督的阴影去除方法获得的阴影去除结果，图6(h)为本方法由阴影提亮网络获得的阴影 去除结果，图6(i)为本方法由阴影残差网络获得的阴影去除结果，图6(j)为阴影去除 标签图像。
图7是本发明的算法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明设计的基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法，生成出的本征图像效果好，指标高；图7是本发明的算法流程图。
步骤1：数据准备
对于弱监督的训练任务，通常需要一个伪标签作为任务的起点。因此，我们提出利用阴影区域边界的阴影像素与非阴影像素之间的比值来对整个阴影区域进行提亮， 由此获得用于训练的粗阴影去除标签。在实际操作中，通过向阴影区域边界向内腐蚀5 个像素，利用腐蚀区域内的像素点作为阴影像素点合集Ishadow；向边界外膨胀5个像素， 并利用膨胀区域内的像素点作为非阴影像素点合集Ino-shadow。则对于第c个颜色通道， 其提亮比例系数kc计算公式为：
Figure BDA0003229066810000091
其中n1、n2分别为阴影像素点合集Ishadow中像素点个数和非阴影像素点合集Ino-shadow中像素点个数。由此可计算两个合集在三个颜色通道对应的比例系数，可利 用三个系数对整个阴影区域进行提亮，提亮计算公式为：
Irelight＝Ishadow*kc (2)
以ISTD数据集为例，由于HSV、RGB、LAB三种颜色空间各具特点，我们将数 据集中的图像在三种颜色空间下，各利用提亮计算公式进行了提亮操作。即：在HSV 颜色空间下，分别在H、S、V三种颜色通道下计算阴影图像的提亮比例系数，并使用 计算得到的比例系数提亮阴影区域；在RGB颜色空间下，分别在R、G、B三种颜色 通道下计算阴影图像的提亮比例系数，并使用计算得到的比例系数提亮阴影区域；在 LAB颜色空间下，分别在L、A、B三种颜色通道下计算阴影图像的提亮比例系数， 并使用计算得到的比例系数提亮阴影区域。此时得到的粗提亮图像结果如图1所示， 图1是本发明利用步骤1中方法获取的粗阴影提亮图像，这些图像中阴影区域被部分 复原，是用于本方法中网络训练的伪标签；图1(a)为原始阴影图像，图1(b)、图1(c)、 图1(d)分别为在HSV、LAB、RGB三种颜色空间下进行处理后的阴影提亮图像，图1 (e)为数据集中原有的阴影去除标签图像。
步骤2：构建阴影残差网络
稠密块的结构如图2所示，每个稠密块中有若干个卷积层，每层的输出都会与其输入进行跳连接，并会将所有层的输出一起叠加到整个模块的输出处。令 [x0，x1，x2，…，xl-1，]表示将0到l-1层的输出特征图做在通道维度的合并；Hl表示批归 一化层、ReLU激活函数和3*3卷积层的组合。则，稠密块的输出可以表示为： Xf＝Hl([x0，x1，x2，…，xl-1，])
阴影残差网络的网络结构图如图3所示，阴影残差网络是一种U型的网络结构， 利用了多个稠密块(DB)来提取图像中的特征，向下过渡层(TD)来融合特征并减 小特征图尺寸；向下过渡层(TD)来融合特征并将缩小后的特征图还原为输入尺寸。 网络输入为3个通道的阴影图像。输入的阴影图像首先经过一个大小为3*3，通道数 为48的卷积层。网络的编码器和解码器端分别使用了5个密集块，在网络的最低端还 有一个单独的密集块来连接编解码器。在编码器端，每个密集块后边还连接了一个向 下过渡层(Transition Down)。向下过渡层中包含了批归一化层、卷积层、随机丢弃层 和平均池化层。与之类似的，在解码器端，每个密集块后边都接有一个向上过渡层 (Transition Up)。向上过渡层中只有一个转置卷积运算。编码器和解码器中的每个密 集块中都有4个复合层。网络最低端的密集块中有15个复合层。每个复合层都由批归 一化、ReLU、卷积层和随机丢弃层组成。每个密集块中的增长率都为12。值得注意 的是，本方法中仅在下采样的过程中有特征图的跳跃连接，而上采样时没有。
步骤3：构建阴影提亮网络
阴影提亮网路分别由7层网络构成，其中，第1层网络是卷积核为3×3、通道数 为64的卷积层，第2-6层网络由基本残差块组成，每个残差块的卷积核为3×3、通道 数为64，第7层网络是卷积核为3×3、通道数为3的卷积层。最终可端对端的生成阴 影去除图像，即网络输出为RGB三通道的阴影去除图像。
步骤4：定义损失函数
步骤4：设计阴影残差网络与阴影提亮网络损失函数
步骤4-1：设计阴影残差网络损失函数
记阴影图像为Ishadow，在三个颜色空间获得的粗阴影提亮图像为Irelight，则其定义为：
Ishadow＝ks×Rd+Re (3)
Irelight＝kr×Rd+Re (4)
其中Rd和Re分别代表了直射光和环境光在物体表面反射后体现在三个颜色通道中的强度。ks，kr均为阴影因子，表示有多少直射光可以到达像素(假设环境光是均 匀的)。对于阴影的本影区域，k接0；而在半影区域，它变得越来越接近1。对于无阴 影区域内的像素，k＝1。
同时，若定义无阴影图像为Ifree＝Rd+Re，则阴影图像对应的残差图像应为 Mshadow＝Ifree-Ishadow。同理可得，Ishadow与Irelight对应的残差图像可定义为：
Mshadow＝(1-ks)×Rd (5)
Irelight＝(1-kr)×Rd (6)
联立公式(3)和(4)可得：
Ishadow-Irelight＝(ks-kr)×Rd (7)
联立公式(5)和(6)可得：
Mshadow-Mrelight＝(ks-kr)×Rd (8)
此时以可推得用来约束阴影残差网络的函数表达，记为公式(9)。由此可以从数学上简单证明，在该光学物理模型的假设下，利用文中提出的约束作为阴影残差网络 的损失求取方式是可行的。
Ishadow-Irelight＝Mshadow-Mrelight (9)
接着，使用MSE损失函数约束公式(9)成立，即计算了公式两边之间差值的平 方和。MSE损失函数
Figure BDA0003229066810000111
定义如下：
Figure BDA0003229066810000112
其中yi，
Figure BDA0003229066810000113
分别为公式(9)两端计算所得图像中i像素的值，n为图像中像素点的数量。
但由于阴影残差网络可能在学习后偏向于稳定输出全0值图像或者将输入阴影图不加以改变直接输出。此时也可以满足公式(9)成立。文中引入抑制生成残差图中无 阴影区域像素值的损失函数Lzero。其原理是通过求取残差图中无阴影区域像素值与零 值的距离来抑制无阴影区残差值的生成。该损失定义为：
Figure BDA0003229066810000114
其中i为属于非阴影区的所有像素点；m为非阴影区像素点的数量。
最后，对于在训练的过程中阴影区域容易产生颜色偏差问题，引入了向粗提亮图像学习的损失函数
Figure BDA0003229066810000121
希望由此可以减少生成的阴影去除图像的颜色偏差问题。其 定义为：
Figure BDA0003229066810000122
其中yi为阴影残差网络生成的残差图像与原图像相加后得到的阴影去除图中i像素位置的值；Ii为RGB颜色空间得到的粗提亮图像在i像素位置的像素值；n为图像中 像素点的数量。
由此，可以得到了完整的残差网络训练损失函数：
Figure BDA0003229066810000123
步骤4-2：设计阴影提亮网络损失函数
阴影提亮网络类似于图像生成任务中有监督网络的训练。因此遵循惯例，使用MSE损失函数作为了其主要损失函数，其中
Figure BDA0003229066810000124
定义如下：
Figure BDA0003229066810000125
其中y″i，
Figure BDA0003229066810000126
分别为输入阴影图像与阴影提亮网络输出图像中i像素位置的像素值， n为图像中像素点的数量。
由于阴影去除任务中只关注阴影区域的像素值变化，对于非阴影区域希望其值是不要变化的。因此，引入1范数损失来约束非阴影区域值的不变性，该损失定义为：
Figure BDA0003229066810000127
其中y″i，
Figure BDA0003229066810000128
同样为输入阴影图像与阴影提亮网络输出图像中i像素位置的像素值， 但此时的i像素均在非阴影区域；m为图像中非阴影区域像素点的数量。
类似的，对于阴影区域容易产生颜色偏差问题，引入了向粗提亮图像学习的损失函数 Lcolor，希望由此可以减少生成的阴影去除图像的颜色偏差问题。其定义为：
Figure BDA0003229066810000129
其中y″i为阴影提亮网络生成的阴影去除图中i像素位置的值；Ii为RGB颜色空间得到的粗提亮图像在i像素位置的像素值；n为图像中像素点的数量。
由此，可以得到完整的提亮网络训练损失函数：
Figure BDA00032290668100001210
对于文中提出的基于弱监督的阴影去除网络，其损失由两个网络之和L＝LM+LR构成。其中λa，λb，λc，λd均为超参数，均设为0.1。
步骤五：网络训练
通过Adam优化方法对网络进行优化，阴影残差网络和阴影提亮网络需要用不同的Adam优化器，优化器参数betas需要设置为(0.5,0.999)，学习率为0.0005， weight_decay为0.0001。batchsize为20。
本发明中网络的训练分为两个阶段。
第一阶段(前300个epoch)：此时阴影残差网络的输入为在三种颜色空间获取的粗阴影提亮图像和数据集中原有的阴影图像构成的样本组，成对的对阴影残差网络进 行训练；阴影提亮网络也是以三种颜色空间获取的粗阴影提亮图像作为标签，数据集 中原有的阴影图像作为输入图像进行训练。此阶段是为了初始化模型中的权值。
第二阶段：此时阴影残差网络的输入除在三种颜色空间获取的粗阴影提亮图像外， 还选用了阴影提亮网络生成的图像作为输入图像。即训练过程中间隔选用粗阴影提亮图和阴影提亮网络生成图像，与原阴影图像作为一组训练样本来训练阴影残差网络。 阴影提亮网络间隔选用三种颜色空间获取的粗阴影提亮图像或阴影残差网络生成图像 作为标签，数据集中原有的阴影图像作为输入图像进行训练。
为了进行定量评价，使用了LAB颜色空间的均方根误差(RMSE)作为本实验的 评价指标。并分别在估计的阴影去除图像和阴影去除标签图像上计算了总的RMSE， 同时分别在无阴影(Non-shadow)区域和阴影(Shadow)区域上计算了对应的RMSE。
最终利用本发明中方法获得的阴影去除图像如图6中所示。其中图6(a)图为原始输入的阴影图像，图6(b)、图6(c)、图6(d)、图6(e)、图6(f)和图6(g)均为其他基 于全监督的阴影去除方法获得的阴影去除结果，图6(h)为本方法由阴影提亮网络获得 的阴影去除结果，图6(i)为本发明由阴影残差网络获得的阴影去除结果，图6(j)为阴 影去除标签图像。显然，本发明采用的方法优于所对比的全监督方法效果。而全监督 方法需要使用图6(j)这种阴影去除标签进行训练，这类标签的获取是极为困难的。因 为阴影边界难以寻找，而且就算在相同位置人为制造阴影拍摄数据集，也会由于时间 改变环境光改变，造成最终阴影去除标签不准确的情况。
为了定量评价本发明方法的性能，在ISTD数据集上进行了测试，并且与众多现有优秀算法进行了对比，见表1(粗体表示最优的指标值)。其中有两种方法为传统的无 监督方法，五种为基于深度学习的全监督方法，仅有本发明方法为弱监督方法。Ours M-net为本发明阴影残差网络结果得到的阴影去除图像结果。Ours R-net为本发明阴影 提亮网络直接得到的阴影去除图像结果。
对于本发明，仅仅使用阴影检测标签，即只需要标注出阴影边界。相对于标注阴影像素在无阴影状态下的像素值，阴影检测标签极易获取。因此，本发明有效的减少 了在数据标注中人力物力的投入。同时可以从表1中可以看出，虽然使用了更易获取 的标签，但是取得了更优的数据表现。
表1几种本征图像分解方法的性能指标
Figure BDA0003229066810000141
从表1中，可以看出，本发明在整图、无阴影区域和阴影区域的RMSE指标上都 取得了最优表现，在指标上比现有方法提升了不少，充分说明了本发明方法的有效性 和实用性。

Claims (5)

1.一种基于弱监督的双网络互激励学习阴影去除方法，其特征在于包括下述步骤：
步骤1：数据准备；
仅使用阴影图像作为输入、阴影检测标签作为标签完成阴影去除任务；将接近阴影边界的阴影区域像素的平均灰度值与非阴影区域像素的平均灰度值相除，得到阴影提亮系数，如下公式所示：
Figure FDA0003229066800000011
其中，Ishadow-free表示阴影区域像素的平均灰度值，Ishadow表示非阴影区域像素的平均灰度值，Ld为三颜色通道直射光强度，k是阴影提亮系数；
将阴影区域所有像素点乘以阴影提亮系数k，从而提亮阴影区域，得到粗阴影提亮图像，作为阴影去除网络训练的伪标签；由此，获得相较于阴影检测标签更适合于训练阴影去除网络的伪标签；
步骤2：构造阴影残差网络；
阴影残差网络中网络输入为3通道RGB格式的阴影图像，输入的阴影图像首先经过一个大小为3*3，通道数为48的卷积层，然后依次分别经过四组稠密块和用来控制通道数的下采样层的组合，通过逐层的编码过程得到图像的高层级特征；之后，将得到的高层级特征再通过四组稠密块和用来控制通道数的下采样层的组合逐层解码得到对阴影区域的估计；在解码过程中，编码获得的高层级特征通过上采样层恢复特征空间尺寸，然后与相应层级的解码特征通过合并操作模块将两组特征连接在一起，之后再通过稠密块对特征进一步解码；依次重复该过程四次，完成对编码特征的解码，获得网络的输出结果，即阴影区域；
步骤3：构造阴影提亮网络；
阴影提亮网络由7层模块顺序依次连接而成，阴影提亮网络由卷积层、五层残差层和另外一个卷积层连接组成，并在输入与最后一个卷积层直接进行了跳连接，最终输出结果为阴影去除图像；
步骤4：设计阴影残差网络与阴影提亮网络损失函数；
步骤4-1：阴影残差网络损失函数；
记阴影图像为Ishadow，在三个颜色空间获得的粗阴影提亮图像为Irelight，定义为：
Ishadow＝ks×Rd+Re (3)
Irelight＝kr×Rd+Re (4)
其中Rd代表了直射光在物体表面反射后体现在三个颜色通道中的强度，Re代表了环境光在物体表面反射后体现在三个颜色通道中的强度；ks和kr分别为阴影图像的阴影因子和阴影提亮图像的阴影因子，表示环境光是均匀情况下有多少直射光到达像素，阴影因子ks与kr的取值范围为0到1；
同时，若无阴影图像为Ifree＝Rd+Re，则阴影图像对应的残差图像为Mshadow＝Ifree-Ishadow；同理可得，Ishadow与Irelight对应的残差图像定义为：
Mshadow＝(1-ks)×Rd (5)
Irelight＝(1-kr)×Rd (6)
联立公式(3)和(4)可得：
Ishadow-Irelight＝(ks-kr)×rd (7)
联立公式(5)和(6)可得：
Mshadow-Mrelight＝(ks-kr)×Rd (8)
此时以可推得用来约束阴影残差网络的函数表达，记为公式(9)：
Ishadow-Irelight＝Mshadow-Mrelight (9)
由此证明，在该光学物理模型的假设下，利用文中提出的约束作为阴影残差网络的损失求取方式是可行的；
使用MSE损失函数约束公式(9)成立，即计算公式两边之间差值的平方和，MSE损失函数
Figure FDA0003229066800000021
定义如下：
Figure FDA0003229066800000022
其中yi，
Figure FDA0003229066800000023
分别为公式(9)两端计算所得图像中i像素的值，n为图像中像素点的数量；
但由于阴影残差网络可能在学习后偏向于稳定输出全0值图像或者将输入阴影图不加以改变直接输出，此时满足公式(9)成立，引入抑制生成残差图中无阴影区域像素值的损失函数
Figure FDA0003229066800000031
该
Figure FDA0003229066800000032
是通过求取残差图中无阴影区域像素点的灰度值与零值的距离来抑制无阴影区残差值的生成，损失定义为：
Figure FDA0003229066800000033
其中i为属于非阴影区的所有像素点；m为非阴影区像素点的数量；|yi|1表示对yi取1范数；
最后，对于在训练的过程中阴影区域容易产生颜色偏差问题，引入了针对提亮图像色差的损失函数
Figure FDA0003229066800000034
由此减弱生成的阴影去除图像的颜色偏差问题，定义为：
Figure FDA0003229066800000035
其中y′i为阴影残差网络生成的残差图像与原图像相加后得到的阴影去除图中i像素位置的值；Ii为RGB颜色空间得到的粗提亮图像在i像素位置的像素值；n为图像中像素点的数量；
由此，得到完整的残差网络训练损失函数为：
Figure FDA0003229066800000036
步骤4-2：设计阴影提亮网络损失函数；
阴影提亮网络类似于图像生成任务中有监督网络的训练，使用均值方差损失函数作为了阴影提亮网络的主要损失函数，其中
Figure FDA0003229066800000037
定义如下：
Figure FDA0003229066800000038
其中y″i，
Figure FDA0003229066800000039
分别为输入阴影图像与阴影提亮网络输出图像中i像素位置的像素值，n为图像中像素点的数量；
由于阴影去除任务中只关注阴影区域的像素值变化，对于非阴影区域希望其值是不要变化的，因此，引入1范数损失来约束非阴影区域值的不变性，该损失定义为：
Figure FDA00032290668000000310
其中y″i，
Figure FDA00032290668000000311
同样为输入阴影图像与阴影提亮网络输出图像中i像素位置的像素值，但此时的i像素均在非阴影区域；m为图像中非阴影区域像素点的数量；| |1表示对函数取1范数；
类似的，对于阴影区域容易产生颜色偏差问题，引入了向粗提亮图像学习的损失函数
Figure FDA0003229066800000041
希望减少生成的阴影去除图像的颜色偏差问题，定义为：
Figure FDA0003229066800000042
其中y″i为阴影提亮网络生成的阴影去除图中i像素位置的值；Ii为RGB颜色空间得到的粗提亮图像在i像素位置的像素值；n为图像中像素点的数量；
由此，得到完整的提亮网络训练损失函数为：
Figure FDA0003229066800000043
基于弱监督的阴影去除网络的损失由两个网络的损失之和L＝LM+LR构成，其中λa，λb，λc，λd均为超参数；
步骤5：设计整体网络框架；
基于弱监督的阴影去除网络整体框架由两个子网络组成：阴影残差网络M-net和阴影提亮网络R-net两部分组成，即利用伪标签训练阴影残差网络，同时利用阴影残差网络输出来训练阴影提亮网络，并使用R-net输出作为M-net输入一部分，从而达到相互激励的目的；
其中，阴影残差网络用于估计阴影残差图，并期望通过阴影残差图消除阴影；阴影残差网络的输入有三类信息：一类是数据集中原有的阴影图像Ishadow；一类是利用光学模型获得的粗阴影提亮图Irelight；还有一类是由阴影提亮网络生成的阴影粗去除结果IR-net；阴影残差网络的输出为输入图像对应的阴影残差图像，即：输入为阴影图像Ishadow时，输出为残差图像Mshadow；输入为粗阴影提亮图Irelight时，输出为残差图像Mrelight；输入为粗去除结果图IR-net时，输出为残差图像MR-net；阴影提亮网络用于消除图像中的阴影区域，对于输入的包含阴影的图像，生成阴影消除的结果；
训练分为两个阶段，第一阶段，网络初始训练，利用阴影图像Ishadow和利用物理模型获得的粗提亮图像Irelight分别对阴影残差网络和阴影提亮网络进行初始训练获得网络初始参数；第二阶段，阴影残差网络和阴影提亮网络交替训练，即先训练阴影残差网络同时固定提亮网络，然后再训练阴影提亮网络同时固定残差网络，通过不断交替迭代使得整个网络达到最优；
其中，对于阴影残差网络，将阴影图像Ishadow和与之对应的粗提亮图Irelight两张图片一起作为一组输入，或者将阴影图像Ishadow和对应的粗阴影去除结果图IR-net两张图片作为一组输入；两组输入图像任取一组作为输入送入残差阴影网络，分别得到各自相应的阴影残差图像，根据公式(9)，两张残差图之差等于输入的两张图像之差，根据式(13)计算得到阴影残差网络的训练损失Lm，其中均值方差损失Lmse，抑制损失Lzero，颜色一致性损失Lcolor分别根据公式(10)，公式(11)，公式(12)获得，阴影残差网络的训练损失求取过程不同于以往直接利用标签训练网络，是一种全新的利用软约束间接训练阴影残差网络的方法；
对于阴影提亮网络，输入为阴影图像，期望其输出为阴影去除图像；由于缺乏真实的阴影去除图像作为训练标签，而利用阴影残差网络生成结果Mshadow与原阴影图像Ishadow直接相加得到的阴影去除结果图像IM-net作为标签图像，并通过计算阴影残差网络结果IM-net与提亮网络的输出结果图像IR-net之间的误差，即公式(17)，通过误差反传来实现对提亮网络参数的优化；阴影提亮网络结果可以丰富阴影残差网络输入数据，提升阴影残差网络能力，同时间接提升自身性能。由于残差网络的注意力主要集中于阴影区域内，造成图像在统一性上略有缺失，阴影提亮网络的输出可作为最终阴影消除的结果。本发明设计了阴影残差网络和阴影提亮网络两个子网络，通过两个网络的联合训练和相互约束，可以在缺失无阴影标签图像的条件下，完成对网络的弱监督训练，并可对输入的阴影图像实现端到端的阴影去除的功能。
2.根据权利要求1所述的基于弱监督的双网络互激励学习阴影去除方法，其特征在于：
所述步骤2中，稠密块的结构中，令[x0，x1，x2，...，xl-1，]表示将0到l-1层的输出特征图做在通道维度的合并；Hl表示三个3*3卷积层，每个卷积层均采用ReLU作为激活函数，并在最后一个卷积层后连接一个批归一化层，则稠密块的输出表示为Xf＝Hl([x0，x1，x2，...，xl-1，])；稠密块通过网络层之间的密集连接保证梯度的有效传输，在阴影残差网络中主要用于特征提取。
3.根据权利要求1所述的基于弱监督的双网络互激励学习阴影去除方法，其特征在于：
所述阴影提亮网络中，网络第1层是卷积层和归一化层，第2-6层为基本残差块，第7层为卷积层，最终输出结果为阴影去除图像。
4.根据权利要求3所述的基于弱监督的双网络互激励学习阴影去除方法，其特征在于：
所述步骤3中，网络第1层为卷积核为3×3、通道数为64的卷积层，基本残差块的卷积核为3×3、通道数为64，第7层卷积层卷积核为3×3、通道数为3。
5.根据权利要求1所述的基于弱监督的双网络互激励学习阴影去除方法，其特征在于：
所述超参数λa，λb，λc，λd均取0.1。
CN202110980864.4A 2021-08-25 2021-08-25 基于弱监督的双网络互激励学习阴影去除方法 Active CN113870124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110980864.4A CN113870124B (zh) 2021-08-25 2021-08-25 基于弱监督的双网络互激励学习阴影去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110980864.4A CN113870124B (zh) 2021-08-25 2021-08-25 基于弱监督的双网络互激励学习阴影去除方法

Publications (2)

Publication Number Publication Date
CN113870124A true CN113870124A (zh) 2021-12-31
CN113870124B CN113870124B (zh) 2023-06-06

Family

ID=78988225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110980864.4A Active CN113870124B (zh) 2021-08-25 2021-08-25 基于弱监督的双网络互激励学习阴影去除方法

Country Status (1)

Country Link
CN (1) CN113870124B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627348A (zh) * 2022-03-22 2022-06-14 厦门大学 多主体任务中基于意图的图片识别方法
CN114742724A (zh) * 2022-03-29 2022-07-12 中国科学技术大学 一种基于模型驱动的图像阴影去除方法
CN114841895A (zh) * 2022-05-24 2022-08-02 中国科学技术大学 一种基于双向映射网络的图像阴影去除方法
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技（中国）有限公司 一种去除图像阴影模型及其构建方法、装置及应用
CN114627348B (zh) * 2022-03-22 2024-05-31 厦门大学 多主体任务中基于意图的图片识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978807A (zh) * 2019-04-01 2019-07-05 西北工业大学 一种基于生成式对抗网络的阴影去除方法
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
CN111666977A (zh) * 2020-05-09 2020-09-15 西安电子科技大学 一种单色图像的阴影检测方法
CN111666842A (zh) * 2020-05-25 2020-09-15 东华大学 一种基于双流空洞卷积神经元网络的阴影检测方法
CN111797712A (zh) * 2020-06-16 2020-10-20 南京信息工程大学 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN112529789A (zh) * 2020-11-13 2021-03-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
CN109978807A (zh) * 2019-04-01 2019-07-05 西北工业大学 一种基于生成式对抗网络的阴影去除方法
CN111666977A (zh) * 2020-05-09 2020-09-15 西安电子科技大学 一种单色图像的阴影检测方法
CN111666842A (zh) * 2020-05-25 2020-09-15 东华大学 一种基于双流空洞卷积神经元网络的阴影检测方法
CN111797712A (zh) * 2020-06-16 2020-10-20 南京信息工程大学 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN112529789A (zh) * 2020-11-13 2021-03-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI ZHENG ET AL.: "Image Shadow Removal Based on Residual Neural Network", 《2018 INTERNATIONAL CONFERENCE ON SECURITY, PATTERN ANALYSIS, AND CYBERNETICS (SPAC)》 *
WEI ZHENG ET AL.: "Image Shadow Removal Based on Residual Neural Network", 《2018 INTERNATIONAL CONFERENCE ON SECURITY, PATTERN ANALYSIS, AND CYBERNETICS (SPAC)》, 17 December 2018 (2018-12-17), pages 429 - 434, XP033693658, DOI: 10.1109/SPAC46244.2018.8965500 *
钱真真: "基于生成对抗网络的自然图像阴影去除研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
钱真真: "基于生成对抗网络的自然图像阴影去除研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, 15 March 2021 (2021-03-15), pages 1 - 68 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627348A (zh) * 2022-03-22 2022-06-14 厦门大学 多主体任务中基于意图的图片识别方法
CN114627348B (zh) * 2022-03-22 2024-05-31 厦门大学 多主体任务中基于意图的图片识别方法
CN114742724A (zh) * 2022-03-29 2022-07-12 中国科学技术大学 一种基于模型驱动的图像阴影去除方法
CN114742724B (zh) * 2022-03-29 2024-04-02 中国科学技术大学 一种基于模型驱动的图像阴影去除方法
CN114841895A (zh) * 2022-05-24 2022-08-02 中国科学技术大学 一种基于双向映射网络的图像阴影去除方法
CN114841895B (zh) * 2022-05-24 2023-10-20 中国科学技术大学 一种基于双向映射网络的图像阴影去除方法
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技（中国）有限公司 一种去除图像阴影模型及其构建方法、装置及应用

Also Published As

Publication number Publication date
CN113870124B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN109493303B (zh) 一种基于生成对抗网络的图像去雾方法
CN110163246B (zh) 基于卷积神经网络的单目光场图像无监督深度估计方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN113870124A (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN102881011B (zh) 基于区域分割的肖像光照迁移方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN114943963A (zh) 一种基于双分支融合网络的遥感图像云和云影分割方法
CN108764250B (zh) 一种运用卷积神经网络提取本质图像的方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN113033432A (zh) 一种基于渐进监督的遥感影像居民区提取方法
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
CN114842216A (zh) 一种基于小波变换的室内rgb-d图像语义分割方法
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN110766640B (zh) 一种基于深度语义分割的图像去雾方法
CN116403103A (zh) 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN111310767A (zh) 一种基于边界增强的显著性检测方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant