CN112991329A - 一种基于gan的图像阴影检测和消除方法 - Google Patents

一种基于gan的图像阴影检测和消除方法 Download PDF

Info

Publication number
CN112991329A
CN112991329A CN202110411932.5A CN202110411932A CN112991329A CN 112991329 A CN112991329 A CN 112991329A CN 202110411932 A CN202110411932 A CN 202110411932A CN 112991329 A CN112991329 A CN 112991329A
Authority
CN
China
Prior art keywords
shadow
image
training
area
elimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110411932.5A
Other languages
English (en)
Inventor
陈少君
蒋杼倩
龙斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zhiyun Information Technology Co ltd
Original Assignee
Zhejiang Zhiyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zhiyun Information Technology Co ltd filed Critical Zhejiang Zhiyun Information Technology Co ltd
Priority to CN202110411932.5A priority Critical patent/CN112991329A/zh
Publication of CN112991329A publication Critical patent/CN112991329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于GAN的图像阴影检测和消除方法，本发明定义了一种生成对抗网络的网络结构，用于共同完成图像中的阴影检测和消除；使用光照强度作为阴影模型中的强度信息，调整阴影部分的光照强度来完成阴影去除的工作。本发明可以迅速有效的在单张图像中消除阴影部分，消除阴影部分后，整张图片的亮度与非阴影部分可以保持相同，不会导致非阴影部分亮度下降，不影响消除后图片质量。

Description

一种基于GAN的图像阴影检测和消除方法
技术领域
本发明涉及一种图像阴影检测和消除方法，具体地说，是涉及一种基于GAN的图像阴影检测和消除方法。
背景技术
生成对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，由两种神经网络组成，分别是生成器和判别器。生成器用来解决提出的问题，而判别器接收生成器的结果，判断生成器生成的结果是否真实。这两种神经网络被训练成敌对的姿态来完成相互对抗，推动生成器生成更逼真的图像。
图像中的阴影经常会导致在图像分割、图像识别等计算机视觉技术出现各种问题，所以阴影去除技术对提升图像识别、目标跟踪等技术有很大的帮助。这个过程可以分为两步，分别是阴影检测和阴影消除。在阴影检测过程中，需要准确的标记处阴影区域和非阴影区域，而在阴影消除过程中，需要重点关注在检测过程中标记的阴影区域，并重构出没有阴影的图像。在这两个算法中，它们都接收相同的基础数据，产生不同的结果。在现有技术中，这两个流程一般是分开处理的。
发明内容
本发明的目的在于提供一种基于GAN的图像阴影检测和消除方法。本发明定义了一种生成对抗网络的网络结构，用于共同完成图像中的阴影检测和消除；使用光照强度作为阴影模型中的强度信息，调整阴影部分的光照强度来完成阴影去除的工作。
本发明采用的技术方案为：
一种基于GAN的图像阴影检测和消除方法，包括下述步骤：
(1)固定阴影检测生成器G1的网络结构和权重参数不变，输入一张原始的有阴影的图像，输出一张由G1标记的阴影区域图像，阴影区域和非阴影区域用表示如下：
Figure BDA0003024160250000011
其中阴影区域表示为1，非阴影区域表示为0；
(2)训练阴影检测判别器D1，D1接收由G1生成的阴影区域图像和原始图像，输出阴影区域的真实程度，训练D1的损失函数表示如下：
Figure BDA0003024160250000012
其中x表示输入的图像，y表示阴影实际检测出来的区域，L表示训练D1的损失值，Ex,y～pdata(x,y)表(x,y)在pdata(x,y)分布中的期望值；
(3)完成判别器D1的训练后，训练生成器G1，训练G1的损失函数如下：
Ldata1(G1)＝Ex,y～pdata(x,y)||y-G1(x)||2
(4)完成阴影检测生成器和阴影检测判别器后，固定阴影消除生成器G2的权重，首先训练阴影消除判别器D2，训练D2的损失函数表示如下：
Figure BDA0003024160250000021
r表示的是用于去除阴影的地面真实图像标记；
(5)随后开始训练阴影消除生成器G2，使用真实的图片与G1生成的阴影标记图像相乘得到的图像，作为G2的输入的一部分，同时输入原始的阴影图片，最终得到消除后的阴影部分；训练G2的损失函数表示如下：
Ldata2(G2|G1)＝Ex,r～pdata(x,r)||r-G2(x,G1(x))||2
(6)使用上述损失函数在网络中更新权重：
Figure BDA0003024160250000022
(7)在完成全部的G1和G2的训练后，输入一张阴影图片到G1中，由G2的输出得到一张消除阴影后的图片。
作为优选，步骤(1)中，阴影区域和非阴影区域用二进制表示。
作为优选，在阴影消除生成器G2消除阴影区域时，使用了一种阴影模型，公式如下：
I(θ,λ)＝Li(θ,λ)R(θ,λ)
其中I是在像素点θ的λ波长反映出来的强度，Li和R分别是光照强度和反射强度；非阴影区域的光照强度表示为：
Ilit(θ，λ)＝Lid(θ，λ)R(θ，λ)+Lia(θ，λ)R(θ，λ)
其中Lid和Lia和别表示直接照射和环境光的光照强度；阴影区域会有一些物体阻塞来自光源的直接光照强度，阴影区域的光照强度表示为：
Ishadow(θ，λ)＝at(θ)La(θ,λ)R(θ,λ)
其中at(θ)表示为环境光照的衰减因子，取值范围在(0,1)之间；通过补偿阴影区域的光照强度至非阴影区域的强度，达到消除阴影的目标。
本发明可以迅速有效的在单张图像中消除阴影部分，消除阴影部分后，整张图片的亮度与非阴影部分可以保持相同，不会导致非阴影部分亮度下降，不影响消除后图片质量。
附图说明
图1是本发明的整体流程示意图；
图2是本发明生成器G2输入生成流程示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明，但本发明所要保护的范围并不限于此。
参照图1，一种基于GAN的图像阴影检测和消除方法，包括下述步骤：
(1)固定阴影检测生成器G1的网络结构和权重参数不变，输入一张原始的有阴影的图像，输出一张由G1标记的阴影区域图像，阴影区域和非阴影区域用二进制表示：
Figure BDA0003024160250000031
其中阴影区域表示为1，非阴影区域表示为0；
(2)训练阴影检测判别器D1，D1接收由G1生成的阴影区域图像和原始图像，输出阴影区域的真实程度，训练D1的损失函数表示如下：
Figure BDA0003024160250000032
其中x表示输入的图像，y表示阴影实际检测出来的区域，L表示训练D1的损失值，Ex,y～pdata(x，y)表(x，y)在pdata(x，y)分布中的期望值。
(3)完成判别器D1的训练后，训练生成器G1，训练G1的损失函数如下：
Ldata1(G1)＝Ex，y～pdata(x，y)||y-G1(x)||2
(4)完成阴影检测生成器和阴影检测判别器后，固定阴影消除生成器G2的权重，首先训练阴影消除判别器D2，训练D2的损失函数表示如下：
Figure BDA0003024160250000033
(5)随后开始训练阴影消除生成器G2，如图2所示，使用真实的图片与G1生成的阴影标记图像相乘得到的图像，作为G2的输入的一部分，同时输入原始的阴影图片，最终得到消除后的阴影部分；训练G2的损失函数表示如下：
Ldata2(G2|G1)＝Ex，r～pdata(x，r)||r-G2(x，G1(x))||2
r表示的是用于去除阴影的地面真实图像标记。
(6)使用上述损失函数在网络中更新权重：
Figure BDA0003024160250000041
(7)在完成全部的G1和G2的训练后，输入一张阴影图片到G1中，由G2的输出得到一张消除阴影后的图片。
作为优选，在消除阴影区域的生成器G2消除阴影区域时，使用了一种阴影模型，公式如下：
I(θ,λ)＝Li(θ,λ)R(θ,λ)
其中I是在像素点θ的λ波长反映出来的强度，Li和R分别是光照强度和反射强度；非阴影区域的光照强度表示为：
Ilit(θ,λ)＝Lid(θ,λ)R(θ,λ)+Lia(θ,λ)R(θ,λ)
其中Lid和Lia和别表示直接照射和环境光的光照强度；阴影区域会有一些物体阻塞来自光源的直接光照强度，阴影区域的光照强度表示为：
Ishadow(θ,λ)＝at(θ)La(θ,λ)R(θ,λ)
其中at(θ)表示为环境光照的衰减因子，取值范围在(0,1)之间；通过补偿阴影区域的光照强度至非阴影区域的强度，达到消除阴影的目标。
应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (3)

1.一种基于GAN的图像阴影检测和消除方法，其特征在于包括下述步骤：
(1)固定阴影检测生成器G1的网络结构和权重参数不变，输入一张原始的有阴影的图像，输出一张由G1标记的阴影区域图像，阴影区域和非阴影区域用表示如下：
Figure FDA0003024160240000011
其中阴影区域表示为1，非阴影区域表示为0；
(2)训练阴影检测判别器D1，D1接收由G1生成的阴影区域图像和原始图像，输出阴影区域的真实程度，训练D1的损失函数表示如下：
Figure FDA0003024160240000012
其中x表示输入的图像，y表示阴影实际检测出来的区域，L表示训练D1的损失值，Ex，y～pdata(x，y)表示(x，y)在pdata(x，y)分布中的期望值；
(3)完成判别器D1的训练后，训练生成器G1，训练G1的损失函数如下：
Ldata1(G1)＝Ex，y～pdata(x，y)||y-G1(x)||2
(4)完成阴影检测生成器和阴影检测判别器后，固定阴影消除生成器G2的权重，首先训练阴影消除判别器D2，训练D2的损失函数表示如下：
LCGAN2(G2，D2|G1)
＝Ex，r～pdata(x，y，r)[logD2(x，y，r)]+Ex～pdata(x)[log(1-D2(x，G1(x),G2(x，G1(x))))]
r表示的是用于去除阴影的地面真实图像标记；
(5)随后开始训练阴影消除生成器G2，使用真实的图片与G1生成的阴影标记图像相乘得到的图像，作为G2的输入的一部分，同时输入原始的阴影图片，最终得到消除后的阴影部分；训练G2的损失函数表示如下：
Ldata2(G2|G1)＝Ex，r～pdata(x，r)||r-G2(x，G1(x))||2
(6)使用上述损失函数在网络中更新权重：
Figure FDA0003024160240000013
(7)在完成全部的G1和G2的训练后，输入一张阴影图片到G1中，由G2的输出得到一张消除阴影后的图片。
2.根据权利要求1所述基于GAN的图像阴影检测和消除方法，其特征在于：步骤(1)中，阴影区域和非阴影区域用二进制表示。
3.根据权利要求1所述基于GAN的图像阴影检测和消除方法，其特征在于：在阴影消除生成器G2消除阴影区域时，使用了一种阴影模型，公式如下：
I(θ,λ)＝Li(θ,λ)R(θ,λ)
其中I是在像素点θ的λ波长反映出来的强度，Li和R分别是光照强度和反射强度；非阴影区域的光照强度表示为：
Ilit(θ，λ)＝Lid(θ，λ)R(θ，λ)+Lia(θ，λ)R(θ，λ)
其中Lid和Lia和别表示直接照射和环境光的光照强度；
阴影区域的光照强度表示为：
Ishadow(θ，λ)＝at(θ)La(θ,λ)R(θ,λ)
其中at(θ)表示为环境光照的衰减因子，取值范围在(0,1)之间。
CN202110411932.5A 2021-04-16 2021-04-16 一种基于gan的图像阴影检测和消除方法 Pending CN112991329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110411932.5A CN112991329A (zh) 2021-04-16 2021-04-16 一种基于gan的图像阴影检测和消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110411932.5A CN112991329A (zh) 2021-04-16 2021-04-16 一种基于gan的图像阴影检测和消除方法

Publications (1)

Publication Number Publication Date
CN112991329A true CN112991329A (zh) 2021-06-18

Family

ID=76340819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110411932.5A Pending CN112991329A (zh) 2021-04-16 2021-04-16 一种基于gan的图像阴影检测和消除方法

Country Status (1)

Country Link
CN (1) CN112991329A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023066173A1 (zh) * 2021-10-18 2023-04-27 虹软科技股份有限公司 图像处理方法、装置及存储介质、电子设备
CN116704316A (zh) * 2023-08-03 2023-09-05 四川金信石信息技术有限公司 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIFENG WANG，ET AL: "Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal", 《ARXIV:1712.02478V1》 *
韦鑫 等: "基于YCbCr的近景图像阴影去除方法研究", 《中国农机化学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023066173A1 (zh) * 2021-10-18 2023-04-27 虹软科技股份有限公司 图像处理方法、装置及存储介质、电子设备
CN116704316A (zh) * 2023-08-03 2023-09-05 四川金信石信息技术有限公司 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Similar Documents

Publication Publication Date Title
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN109214327B (zh) 一种基于pso的反人脸识别方法
US7536064B2 (en) Image comparison by metric embeddings
Banić et al. Smart light random memory sprays Retinex: a fast Retinex implementation for high-quality brightness adjustment and color correction
CN112991329A (zh) 一种基于gan的图像阴影检测和消除方法
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
CN105678245A (zh) 一种基于哈尔特征的靶位识别方法
CN112116582A (zh) 一种库存或陈列场景下的条烟检测识别方法
CN114092793B (zh) 适用于复杂水下环境的端到端生物目标检测方法
CN115731166A (zh) 一种基于深度学习的高压电缆接头打磨缺陷检测方法
CN112102192A (zh) 一种图像白平衡方法
Cui et al. A novel underwater image restoration method based on decomposition network and physical imaging model
CN112819017B (zh) 基于直方图的高精度色偏图像识别方法
CN114049264A (zh) 暗光图像增强方法、装置、电子设备及存储介质
CN117094910A (zh) 基于非线性无激活网络的生成对抗网络图像去模糊方法
US11900564B2 (en) Storage medium storing program, image processing apparatus, and training method of machine learning model
Deng et al. Robust underwater image enhancement method based on natural light and reflectivity
CN112686249B (zh) 一种基于对抗补丁的Grad-CAM攻击方法
CN115188039A (zh) 一种基于图像频域信息的深度伪造视频技术溯源方法
CN112116580B (zh) 用于摄像头支架的检测方法、系统及设备
Zhao et al. Nonuniform illumination correction for underwater images through a pseudo-siamese network
CN112907469B (zh) 基于Lab域增强、分类及对比度提升的水下图像识别方法
CN117611578B (zh) 一种图像处理方法及图像处理系统
CN114372537B (zh) 一种面向图像描述系统的通用对抗补丁生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618