CN111626951B - 一种基于内容感知信息的图像阴影消除方法 - Google Patents

一种基于内容感知信息的图像阴影消除方法 Download PDF

Info

Publication number
CN111626951B
CN111626951B CN202010430576.7A CN202010430576A CN111626951B CN 111626951 B CN111626951 B CN 111626951B CN 202010430576 A CN202010430576 A CN 202010430576A CN 111626951 B CN111626951 B CN 111626951B
Authority
CN
China
Prior art keywords
image
shadow
network model
network
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010430576.7A
Other languages
English (en)
Other versions
CN111626951A (zh
Inventor
张玲
石恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202010430576.7A priority Critical patent/CN111626951B/zh
Publication of CN111626951A publication Critical patent/CN111626951A/zh
Application granted granted Critical
Publication of CN111626951B publication Critical patent/CN111626951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于内容感知信息的图像阴影消除方法，包括：建立虚拟场景和真实场景的阴影图像数据集及无阴影图像数据集；构建生成器网络模型，该生成器网络模型包含全局内容网络及局部修正网络；将阴影图像x作为输入对生成器网络模型进行训练，经过全局内容网络后输出初始阴影消除结果图像x1，再经过局部修正网络后输出最终阴影消除结果图像x2；构建鉴别器网络模型；将最终阴影消除结果图像x2及对应的无阴影图像y作为鉴别器网络的输入；通过损失函数对生成器网络模型及鉴别器网络模型进行训练优化；利用优化后的生成器网络模型对待处理阴影图像进行阴影消除。本发明的基于内容感知信息的图像阴影消除方法处理得到的无阴影图像自然真实。

Description

一种基于内容感知信息的图像阴影消除方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于内容感知信息的图像阴影消除方法。
背景技术
阴影是光线被部分或者全部遮挡时产生的一种自然现象，并且阴影区域的亮度比其他区域低，这种低亮度的特点会降低某些计算机视觉任务的准确性和有效性，例如目标跟踪，目标检测，目标识别等。因此，在这些工作任务中有必要对图像中的阴影进行消除，恢复阴影区域的光照，提高图像的视觉效果，从而确保这些工作任务可以更加准确有效的施行。但是，由于场景中光照和纹理的变化以及其他环境因素的影响，使得复杂场景的图像阴影消除任务依然是一项十分具有挑战性的问题。
图像的阴影消除是指在保证阴影区域原有色调及纹理结构的基础上，恢复阴影区域的光照，使恢复后阴影区域的亮度、颜色、纹理等与周围环境一致的。然而，目前的使用深度学习方法虽然在图像阴影消除领域上取得了一些进步，但是仍然存在一些不足：一方面，这些图像阴影消除方法对训练数据集依赖性较大，而目前公开的阴影图像数据集中阴影及场景类型都较为简单，使得训练得到的网络模型效果不够好；另一方面，图像阴影消除方法的有效性在很大程度上取决于设计的网络模型，而目前这些图像阴影消除方法的网络模型设计不够科学合理，大多只关注图像本身，而没有很好的探索其他额外与图像相关的信息，这也使得图像最终处理效果不够理想。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于内容感知信息的图像阴影消除方法，提出一种由全局到局部的网络模型来完成图像的阴影消除任务。
本发明的目的具体通过如下技术方案实现：
本发明提供的基于内容感知信息的图像阴影消除方法，其特征在于，包括：步骤1，建立虚拟场景和真实场景的阴影图像数据集X，并建立对应的虚拟场景和真实场景的无阴影图像数据集Y；步骤2，构建一个生成器网络模型，该生成器网络模型包含全局内容网络以及局部修正网络；步骤3，将阴影图像数据集X中的阴影图像x作为输入对生成器网络模型进行训练，x经过全局内容网络后输出初始阴影消除结果图像x1，x1经过局部修正网络后输出最终阴影消除结果图像x2；步骤4，构建一个鉴别器网络模型；步骤5，将最终阴影消除结果图像x2以及无阴影图像数据集Y中对应的无阴影图像y作为输入，通过鉴别器网络模型对最终阴影消除结果图像x2进行鉴别；步骤6，通过损失函数对生成器网络模型以及鉴别器网络模型进行训练优化，并得到优化后的生成器网络模型以及鉴别器网络模型；步骤7，利用步骤6所得的优化后的生成器网络模型对待处理阴影图像进行阴影消除。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，全局内容网络包含一个编码器及一个解码器，编码器采用卷积操作以及非线性变换操作对输入的图像进行降采样，提取图像特征；解码器将降采样的图像特征结果作为网络输入，通过反卷积操作进行上采样并重建图像，得到初始阴影消除结果图像x1。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，局部修正网络包含内容感知层网络、颜色修正网络以及细节修正网络，内容感知层网络以初始阴影消除结果图像x1作为输入，提取图像中的局部一致性特征；颜色修正网络以初始阴影消除结果图像x1的颜色信息、局部一致性特征作为输入融合，并通过反卷积操作将融合后的局部特征进行上采样并重建图，得到颜色修正结果；细节修正网络以初始阴影消除结果图像x1、颜色修正结果、局部一致性特征作为输入融合，并通过反卷积操作将融合后局部特征进行上采样并重建图，得到最终阴影消除结果图像x2。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，内容感知层网络包括5个卷积核为3×3步长为1的卷积构成，且每个卷积的输出维度分别为48、96、96、192、192，输出的特征大小分别为128×128、64×64、32×32、16×16、8×8，内容感知层网络通过3×3的特征块来匹配前景待修复区域块。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，鉴别器网络模型为PatchGAN网络，该PatchGAN网络由5个卷积核大小为4×4，步长为1的卷积层构成，前4层卷积层的输出维度分别为64、128、256、512，最后一个卷积层输入映射，将30×30的矩阵作为输出，并将输出矩阵的均值作为鉴别器网络模型的输出结果。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，步骤6中损失函数的公式表示如下：
Losstotal 1＝Wgan*Ladv+WL1*LL1+Wvgg*Lvgg+Wcolor*Lcolor (1)
公式(1)中，Losstotal 1为总损失；LAdv为生成对抗损失；LL1为数据损失；Lvgg为特征损失；Lcolor为颜色损失；Wgan、WL1、Wvgg、Wcolor分别为各项权重值；*表示乘法运算，
生成对抗损失LAdv的计算公式如下：
Figure GDA0004081060520000043
公式(2)中，E表示分布函数的期望值；pdata(x)表示真实样本的分布；pnoize(z)表示低维的噪声分布；D(x2)表示通过鉴别器网络模型对最终阴影消除结果图像x2的鉴别结果；D(y)表示通过鉴别器网络模型对无阴影图片的鉴别结果，
数据损失LL1的计算公式如下：
Figure GDA0004081060520000041
公式(3)中，Lcoarse为初始阴影消除结果图像x1的数据损失；Lfinal为最终阴影消除结果图像x2的数据损失，
Figure GDA0004081060520000042
Lfinal＝||y-x2||1 (5)
公式(4)、(5)中，y表示对应的无阴影图像；x1是初始阴影消除结果图像；x2是最终阴影消除结果图像，
特征损失Lvgg的计算公式如下：
Figure GDA0004081060520000051
公式(6)中，V(x2)表示最终阴影消除结果图像x2通过VGG网络的特征输出；V(y)表示对应的无阴影图像y通过VGG网络的特征输出；C表示图像通道；W表示图像宽度；H表示图像高度，
颜色损失Lcolor的计算公式如下：
Figure GDA0004081060520000055
公式(7)中，C(x1)是颜色修正网络生成的颜色图像，G是无阴影图像y的颜色图像。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，采用亮度敏感的平滑方法，逐点对图像上的点进行平滑处理，平滑公式如下：
Figure GDA0004081060520000052
Figure GDA0004081060520000053
Figure GDA0004081060520000054
公式(9)(10)(11)中，Si_m为平滑结果；Nm为像素点m的一个领域；n为领域Nm中的一点；Wmn表示颜色相似度；S(i-1)_m为图像Si-1在点m处的颜色值；S(i-1)_n为图像Si-1在点n处的颜色值；Imn表示亮度相似度；σ1为预定参数；Lm为图像Si-1在点m处的亮度值；Ln为图像Si-1在点n处的亮度值。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，在网络训练过程中，公式(1)中各项权重值取值为Wgan＝2、WL1＝100、Wvgg＝10、Wcolor＝10。
进一步，在本发明提供的基于内容感知信息的图像阴影消除方法中，还具有这样的特征：其中，在网络训练过程中，采用反向传播算法更新生成器网络模型的参数以及鉴别器网络模型的参数，每次迭代执行一次鉴别器网络模型的参数更新后，再执行一次生成器网络模型的参数更新，并同时计算模型测试得分，将最终得分最高的生成器网络模型作为优化后的生成器网络模型。
本发明的有益效果：
本发明的基于内容感知信息的图像阴影消除方法构建了一种新的由全局到局部的生成器网络模型，首先，通过全局内容网络对图像阴影区域进行整体光照恢复，获得一个初始阴影消除结果图像；然后，通过局部修正网络利用了上下文注意力机制对初始阴影消除结果图像中阴影区域的颜色和纹理进行局部修正，这样使得生成的无阴影图像更真实自然。另外，本发明的基于内容感知信息的图像阴影消除方法中构建了更为复杂的阴影图像和无阴影图像数据集，使得训练效果更佳。并且，最终采用的生成器网络模型是通过损失函数对生成器网络模型以及鉴别器网络模型进行训练优化后所得模型。因此，采用本发明的基于内容感知信息的图像阴影消除方法可以将阴影图像处理得更加自然真实。
附图说明
图1是本发明的实施例中基于内容感知信息的图像阴影消除方法的模型训练流程图；
图2是采用本发明的实施例中基于内容感知信息的图像阴影消除方法的处理前和处理后的图像示意图，其中(a)是处理前的图像，(b)是处理后的图像。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明的基于内容感知信息的图像阴影消除方法作具体阐述。
<实施例>
本实施例提供一种基于内容感知信息的图像阴影消除方法包括以下步骤：
步骤1：建立虚拟场景和真实场景的阴影图像数据集X，并建立对应的虚拟场景和真实场景的无阴影图像数据集Y。具体包括：
步骤1.1：建立真实场景的阴影图像数据集和无阴影图像数据集：
采用带有三脚架的摄像机以及无线相机遥控器，用一个固定的内置参数，在不同光照条件下、不同的场景中以及不同的物体表面，通放置遮挡物和拿开遮挡物来拍摄阴影图像和对应的无阴影图像。在拍摄时使用不同形状的遮挡物，以不同的角度来投射阴影。如此拍摄若干组图像，每组图像均包含一张阴影图像和一张相对应的无阴影图像。
步骤1.2：建立虚拟场景的阴影图像数据集和无阴影图像数据集：
采用建模软件Maya中构建场景模型并贴图，设置场景的光源及参数，通过渲染获得图像数据，渲染时通过设置添加阴影和不添加阴影来分别获得阴影图像和对应的无阴影图像。采用此方法获得若干组图像，每组图像均包含一张阴影图像和一张相对应的无阴影图像。在虚拟场景图像数据创建时需要设置不同的光照强度和不同的光照颜色的场景。
在本实施例中，采集虚拟场景和真实场景的阴影图像共3450张，相对应无阴影图像共3450张，即共3450组图像数据。随机分配其中3000组图像数据作为训练集，其余450组图像数据作为模型评分测试的测试集。
步骤2：构建一个由全局到局部的生成器网络模型，该生成器网络模型包含全局内容网络以及局部修正网络，全局内容网络用于生成一个初始阴影消除结果图像x1，局部修正网络用于对初始阴影消除结果图像x1在局部上对颜色及细节进行修正。
2.1)全局内容网络包含一个编码器及一个解码器。
编码器采用卷积操作以及非线性变换操作对输入的图像进行降采样，提取图像特征。解码器将降采样的图像特征结果作为网络输入，通过反卷积操作进行上采样并重建图像，得到初始阴影消除结果图像x1。
该全局内容网络采用U型网络结构，编码器包含5个密集块，解码器也包含5个密集块。编码器进行降采样之后的瓶颈层包含1个密集块。编码器进行降采样过程中每个密集块后都有1个向下的过渡层，过渡层采用批处理规范化、激活操作和通过1个卷积核为4×4步长为1的卷积来进行降采样操作。解码器的上采样过程中，每个密集块后都通过1个卷积核为4×4步长为2的反卷积操作来重建图像。解码器的上采样过程中每个密集块都包含4个复合层，复合层通过批处理规范化、激活操作和1个卷积核为1步长为1的卷积操作提取图像特征，且每个复合层的固定输出维度是12，密集块将每个复合层输出的特征进行拼接作为下一层的输入。
2.2)局部修正网络包含内容感知层网络、颜色修正网络以及细节修正网络。
2.2.1)内容感知层网络用于提取图像中的局部一致性特征。内容感知层网络以初始阴影消除结果图像x1作为输入，通过卷积操作以及非线性变换操作对前景图像进行特征图像采样，将获得的采样结果通过内积结构进行匹配且通过softmax得到注意力得分。
内容感知层网络包括5个卷积核为3×3步长为1的卷积构成，且每个卷积的输出维度分别为48、96、96、192、192，输出的特征大小分别为128×128、64×64、32×32、16×16、8×8，内容感知层网络通过3×3的特征块来匹配前景待修复区域块。
2.2.2)颜色修正网络以初始阴影消除结果图像x1的颜色信息、局部一致性特征作为输入融合，并通过反卷积操作将融合后的局部特征进行上采样并重建图，得到颜色修正结果。颜色修正网络的结构与全局内容网络的结构相同。
初始阴影消除结果图像x1的颜色信息提取方法具体如下：
通过图像多尺度分解方法对初始阴影消除结果图像x进行(N+1)级分解，分解后的结果包含一个基本层b和N个细节层，即：
Figure GDA0004081060520000101
其中，Li表示细节层，即第i次平滑时过滤掉的细节信息；基本层b是第N次平滑的图像SN；细节层Li为前后两次平滑层之差，即：
Li＝Si-1-Si，i∈1，2，...，N，
其中，Si表示第i次平滑的结果；Si-1表示第i-1次平滑的结果，S0＝N。
初始阴影消除结果图像x1的颜色图像即为基本层b：C(x1)＝b。
2.2.3)细节修正网络以初始阴影消除结果图像x1、颜色修正结果、局部一致性特征作为输入融合，并通过反卷积操作将融合后局部特征进行上采样并重建图，得到最终阴影消除结果图像x2。细节修正网络的结构与全局内容网络的结构相同。
步骤3：将训练集中的阴影图像x(本实施例中采用上述3000张阴影图像)作为输入对生成器网络模型进行训练，x经过全局内容网络后输出初始阴影消除结果图像x1，x1经过局部修正网络后输出最终阴影消除结果图像x2。
步骤4：构建一个鉴别器网络模型。
本实施例中鉴别器网络模型为PatchGAN网络，该PatchGAN网络由5个卷积核大小为4×4，步长为1的卷积层构成，前4层卷积层的输出维度分别为64、128、256、512，最后一个卷积层输入映射，将30×30的矩阵作为输出，并将输出矩阵的均值作为鉴别器网络模型的输出结果。
步骤5：将3000张最终阴影消除结果图像x2以及训练集中对应的无阴影图像y(本实施例中采用上述3000张无阴影图像)作为输入，通过鉴别器网络模型对最终阴影消除结果图像x2进行鉴别。
步骤6：通过损失函数对生成器网络模型以及鉴别器网络模型进行训练优化，并得到优化后的生成器网络模型以及鉴别器网络模型。
损失函数的公式表示如下：
Losstotal 1＝Wgan*Ladv+WL1*LL1+Wvgg*Lvgg+Wcolor*Lcolor (1)
公式(1)中，Losstotal 1为总损失；LAdv为生成对抗损失；LL1为数据损失；Lvgg为特征损失；Lcolor为颜色损失；Wgan、WL1、Wvgg、Wcolor分别为各项权重值；*表示乘法运算，
生成对抗损失LAdv的计算公式如下：
Figure GDA0004081060520000111
公式(2)中，E表示分布函数的期望值；pdata(x)表示真实样本的分布；pnoize(z)表示低维的噪声分布；D(x2)表示通过鉴别器网络模型对最终阴影消除结果图像x2的鉴别结果；D(y)表示通过鉴别器网络模型对无阴影图片的鉴别结果，
数据损失LL1的计算公式如下：
LL1＝Lcoarse+Lfinal (3)
公式(3)中，Lcoarse为初始阴影消除结果图像x1的数据损失；Lfinal为最终阴影消除结果图像x2的数据损失，
Lcoarse＝||y-x1||1 (4)
Lfinal＝||y-x2||1 (5)
公式(4)、(5)中，y表示对应的无阴影图像；x1是初始阴影消除结果图像；x2是最终阴影消除结果图像，
特征损失Lvgg的计算公式如下：
Figure GDA0004081060520000121
公式(6)中，V(x2)表示最终阴影消除结果图像x2通过VGG网络的特征输出；V(y)表示对应的无阴影图像y通过VGG网络的特征输出；C表示图像通道；W表示图像宽度；H表示图像高度，
颜色损失Lcolor的计算公式如下：
Figure GDA0004081060520000122
公式(7)中，C(x1)是颜色修正网络生成的颜色图像，G是无阴影图像y的颜色图像。
颜色图像的获取方式如下：
通过图像多尺度分解方法对图像进行(N+1)级分解，分解后的结果包含一个基本层b和N个细节层
Figure GDA0004081060520000123
其中，第N次平滑的图像SN为基本层b，细节层Li为前后两次平滑层之差，即：
Li＝Si-1-Si，i∈1，2，...，N， (8)
公式(8)中，Si表示第i次平滑的结果；Si-1表示第i-1次平滑的结果，
颜色图像即基本层b。
采用亮度敏感的平滑方法，逐点对图像上的点进行平滑处理，平滑公式如下：
Figure GDA0004081060520000131
公式(9)(10)(11)中，Si_m为平滑结果；Nm为像素点m的一个领域；n为领域Nm中的一点；Wmn表示颜色相似度；S(i-1)_m为图像Si-1在点m处的颜色值；S(i-1)_n为图像Si-1在点n处的颜色值；Imn表示亮度相似度；σ1为预定参数；Lm为图像Si-1在点m处的亮度值；Ln为图像Si-1在点n处的亮度值。
在网络训练过程中，公式(1)中各项权重值取值为Wgan＝2、WL1＝100、Wvgg＝10、Wcolor＝10。在网络训练过程中，采用反向传播算法更新生成器网络模型的参数以及鉴别器网络模型的参数，每次迭代执行一次鉴别器网络模型的参数更新后，再执行一次生成器网络模型的参数更新，并同时每次迭代结束后通过测试集(上述的450组图像数据)来计算两个模型测试得分，将最终得分最高的鉴别器网络模型作为优化后的鉴别器网络模型，将最终得分最高的生成器网络模型作为优化后的生成器网络模型。
步骤7：利用步骤6所得的优化后的生成器网络模型对待处理阴影图像进行阴影消除。
采用本实施例中的优化后的生成器网络模型对阴影图像进行处理，图2示意了一个具体案例，其中(a)是处理前的图像，(b)是处理后的图像。如图2所示，采用本发明的基于内容感知信息的图像阴影消除方法进行图像处理，处理所得图像表现为无阴影，并且该无阴影图像与处理前的图像相比，表现为真实自然，其处理效果较现有技术的无阴影图像处理效果更佳。
应当理解的是，上述实施例仅是本发明的一个具体实施例，对于所属领域的普通技术人员来说，在上述说明的基础上进行的各种不同形式的修改和变形，均应认为是本发明的保护范围。

Claims (7)

1.一种基于内容感知信息的图像阴影消除方法，其特征在于，包括以下步骤：
步骤1，建立虚拟场景和真实场景的阴影图像数据集X，并建立对应的虚拟场景和真实场景的无阴影图像数据集Y；
步骤2，构建一个生成器网络模型，该生成器网络模型包含全局内容网络以及局部修正网络；
步骤3，将阴影图像数据集X中的阴影图像x作为输入对所述生成器网络模型进行训练，x经过全局内容网络后输出初始阴影消除结果图像x1，x1经过局部修正网络后输出最终阴影消除结果图像x2；
步骤4，构建一个鉴别器网络模型；
步骤5，将最终阴影消除结果图像x2以及无阴影图像数据集Y中对应的无阴影图像y作为输入，通过鉴别器网络模型对最终阴影消除结果图像x2进行鉴别；
步骤6，通过损失函数对所述生成器网络模型以及所述鉴别器网络模型进行训练优化，并得到优化后的生成器网络模型以及鉴别器网络模型；
步骤7，利用步骤6所得的优化后的生成器网络模型对待处理阴影图像进行阴影消除；
其中，所述全局内容网络包含一个编码器及一个解码器，所述编码器采用卷积操作以及非线性变换操作对输入的图像进行降采样，提取图像特征；所述解码器将降采样的图像特征结果作为网络输入，通过反卷积操作进行上采样并重建图像，得到初始阴影消除结果图像x1；
所述局部修正网络包含内容感知层网络、颜色修正网络以及细节修正网络，所述内容感知层网络以初始阴影消除结果图像x1作为输入，提取图像中的局部一致性特征；所述颜色修正网络以初始阴影消除结果图像x1的颜色信息、所述局部一致性特征作为输入融合，并通过反卷积操作将融合后的局部特征进行上采样并重建图，得到颜色修正结果；所述细节修正网络以初始阴影消除结果图像x1、所述颜色修正结果、所述局部一致性特征作为输入融合，并通过反卷积操作将融合后局部特征进行上采样并重建图，得到最终阴影消除结果图像x2。
2.如权利要求1所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，所述鉴别器网络模型为PatchGAN网络，该PatchGAN网络由5个卷积核大小为4×4，步长为1的卷积层构成，前4层卷积层的输出维度分别为64、128、256、512，最后一个卷积层输入映射，将30×30的矩阵作为输出，并将输出矩阵的均值作为所述鉴别器网络模型的输出结果。
3.如权利要求1所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，步骤6中所述损失函数的公式表示如下：
Losstotal 1＝Wgan*Ladv+WL1*LL1+Wvgg*Lvgg+Wcolor*Lcolor(1)
公式(1)中，Losstotal 1为总损失；LAdv为生成对抗损失；LL1为数据损失；Lvgg为特征损失；Lcolor为颜色损失；Wgan、WL1、Wvgg、Wcolor分别为各项权重值；*表示乘法运算，
生成对抗损失LAdv的计算公式如下：
公式(2)中，E表示分布函数的期望值；pdata(x)表示真实样本的分布；pnoize(z)表示低维的噪声分布；D(x2)表示通过鉴别器网络模型对最终阴影消除结果图像x2的鉴别结果；D(y)表示通过鉴别器网络模型对无阴影图片的鉴别结果，
数据损失LL1的计算公式如下：
LL1＝Lcoarse+Lfinal (3)
公式(3)中，Lcoarse为初始阴影消除结果图像x1的数据损失；Lfinal为最终阴影消除结果图像x2的数据损失，
Lcoarse＝||y-x1||1 (4)
Lfinal＝||y-x2||1 (5)
公式(4)、(5)中，y表示对应的无阴影图像；x1是初始阴影消除结果图像；x2是最终阴影消除结果图像，
特征损失Lvgg的计算公式如下：
公式(6)中，V(x2)表示最终阴影消除结果图像x2通过VGG网络的特征输出；V(y)表示对应的无阴影图像y通过VGG网络的特征输出；C表示图像通道；W表示图像宽度；H表示图像高度，
颜色损失Lcolor的计算公式如下：
公式(7)中，C(x1)是颜色修正网络生成的颜色图像，G是无阴影图像y的颜色图像。
4.如权利要求3所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，颜色图像的获取方式如下：
通过图像多尺度分解方法对图像进行(N+1)级分解，分解后的结果包含一个基本层b和N个细节层
其中，第N次平滑的图像SN为基本层b，细节层Li为前后两次平滑层之差，即：
Li＝Si-1-Si，i∈1，2，…，N， (8)
公式(8)中，Si表示第i次平滑的结果；Si-1表示第i-1次平滑的结果，
所述颜色图像即基本层b。
5.如权利要求4所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，采用亮度敏感的平滑方法，逐点对图像上的点进行平滑处理，平滑公式如下：
公式(9)(10)(11)中，Si_m为平滑结果；Nm为像素点m的一个领域；n为领域Nm中的一点；Wmn表示颜色相似度；S(i-1)_m为图像Si-1在点m处的颜色值；S(i-1)_n为图像Si-1在点n处的颜色值；Lmn表示亮度相似度；σ1为预定参数；Lm为图像Si-1在点m处的亮度值；Ln为图像Si-1在点n处的亮度值。
6.如权利要求3所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，在网络训练过程中，公式(1)中各项权重值取值为Wgan＝2、WL1＝100、Wvgg＝10、Wcolor＝10。
7.如权利要求3所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，在网络训练过程中，采用反向传播算法更新所述生成器网络模型的参数以及所述鉴别器网络模型的参数，每次迭代执行一次鉴别器网络模型的参数更新后，再执行一次生成器网络模型的参数更新，并同时计算模型测试得分，将最终得分最高的生成器网络模型作为优化后的生成器网络模型。
CN202010430576.7A 2020-05-20 2020-05-20 一种基于内容感知信息的图像阴影消除方法 Active CN111626951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430576.7A CN111626951B (zh) 2020-05-20 2020-05-20 一种基于内容感知信息的图像阴影消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430576.7A CN111626951B (zh) 2020-05-20 2020-05-20 一种基于内容感知信息的图像阴影消除方法

Publications (2)

Publication Number Publication Date
CN111626951A CN111626951A (zh) 2020-09-04
CN111626951B true CN111626951B (zh) 2023-04-18

Family

ID=72272536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430576.7A Active CN111626951B (zh) 2020-05-20 2020-05-20 一种基于内容感知信息的图像阴影消除方法

Country Status (1)

Country Link
CN (1) CN111626951B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529663A (zh) * 2020-11-03 2022-05-24 华为技术有限公司 一种消除阴影的方法和电子设备
CN113178010B (zh) * 2021-04-07 2022-09-06 湖北地信科技集团股份有限公司 基于深度学习的高分影像阴影区域恢复重建方法
CN113378775B (zh) * 2021-06-29 2023-04-07 武汉大学 一种基于深度学习的视频阴影检测与消除方法
CN113689354B (zh) * 2021-08-30 2022-08-12 广州市保伦电子有限公司 一种图像阴影去除方法及处理终端
CN116012232A (zh) * 2021-10-18 2023-04-25 虹软科技股份有限公司 图像处理方法、装置及存储介质、电子设备
CN114187186B (zh) * 2021-10-26 2024-06-04 山东师范大学 一种纸质化验单图像预处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507146A (zh) * 2017-08-28 2017-12-22 武汉大学 一种自然图像软阴影消除方法
US10593021B1 (en) * 2019-09-11 2020-03-17 Inception Institute of Artificial Intelligence, Ltd. Motion deblurring using neural network architectures

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
US11443165B2 (en) * 2018-10-18 2022-09-13 Deepnorth Inc. Foreground attentive feature learning for person re-identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507146A (zh) * 2017-08-28 2017-12-22 武汉大学 一种自然图像软阴影消除方法
US10593021B1 (en) * 2019-09-11 2020-03-17 Inception Institute of Artificial Intelligence, Ltd. Motion deblurring using neural network architectures

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Satoshi Iizuka ; .Globally and locally consistent image completion.《ACM Transactions on Graphics 》.2017,全文. *
吴梦婷 ; 李伟红 ; 龚卫国 ; .双框架卷积神经网络用于运动模糊图像盲复原.计算机辅助设计与图形学学报.2018,(12),全文. *
张玲 ; 程义民 ; 葛仕明 ; 李杰 ; .基于纹理的运动阴影检测方法.光电工程.2008,(01),全文. *

Also Published As

Publication number Publication date
CN111626951A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626951B (zh) 一种基于内容感知信息的图像阴影消除方法
Fan et al. Integrating semantic segmentation and retinex model for low-light image enhancement
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110889813A (zh) 基于红外信息的低光图像增强方法
CN108416745B (zh) 一种具有色彩恒常性的图像自适应去雾增强方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
Moriwaki et al. Hybrid loss for learning single-image-based HDR reconstruction
WO2023066173A1 (zh) 图像处理方法、装置及存储介质、电子设备
CN110807738B (zh) 一种基于边缘图块锐化的模糊图像非盲复原方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN117611494B (zh) 一种全色遥感图像薄云去除方法
CN113222845A (zh) 基于卷积神经网络的肖像外部阴影去除方法
CN116051407A (zh) 一种图像修复方法
CN113178010A (zh) 基于深度学习的高分影像阴影区域恢复重建方法
CN113378980B (zh) 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法
CN117952883A (zh) 一种基于双边网格和显著性引导的逆光图像增强方法
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
CN116433822B (zh) 一种神经辐射场训练方法、装置、设备及介质
CN110738624B (zh) 一种区域自适应的图像去雾系统及方法
Sangeetha et al. A novel exemplar based Image Inpainting algorithm for natural scene image completion with improved patch prioritizing
Jiang et al. Mask‐guided image person removal with data synthesis
CN114418872A (zh) 一种基于mGANprior的真实图像美感增强方法
Shen et al. High dynamic range image tone mapping and retexturing using fast trilateral filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant