CN113379634B - 一种基于两阶段图像上下文识别网络及单图像阴影去除方法 - Google Patents

一种基于两阶段图像上下文识别网络及单图像阴影去除方法 Download PDF

Info

Publication number
CN113379634B
CN113379634B CN202110677383.6A CN202110677383A CN113379634B CN 113379634 B CN113379634 B CN 113379634B CN 202110677383 A CN202110677383 A CN 202110677383A CN 113379634 B CN113379634 B CN 113379634B
Authority
CN
China
Prior art keywords
image
shadow
feature
matching
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110677383.6A
Other languages
English (en)
Other versions
CN113379634A (zh
Inventor
肖春霞
陈子沛
罗飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110677383.6A priority Critical patent/CN113379634B/zh
Publication of CN113379634A publication Critical patent/CN113379634A/zh
Application granted granted Critical
Publication of CN113379634B publication Critical patent/CN113379634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像光照编辑领域，提供了一种基于两阶段图像上下文识别网络及单图像阴影去除方法。该方法显式地捕获阴影图像中隐式存在的阴影与非阴影图像对关系并根据该匹配对关系来进行图像的上下文信息特征迁移从而将有用的非阴影区域的信息迁移至非阴影区域，有效地消除图像中的阴影。解决了当前阴影去除结果不准确，存在一些如处理结果颜色扭曲，泛化能力较差的问题，同时实现了对单幅图像进行的高质量的阴影去除。

Description

一种基于两阶段图像上下文识别网络及单图像阴影去除方法
技术领域
本发明属于图像光照编辑领域，具体涉及一种基于两阶段图像上下文识别网络及单图像阴影去除方法，可以捕获并利用图像中成对的上下文匹配信息有效地消除图像中的阴影。
背景技术
目前，常用的阴影去除方式可主要分为以下两类：一、基于传统物理的方法，如论文“Single-image shadow detection and removal using paired regions”中所提出的阴影去除方法，通过物理的模型来组像素地分析图像的光照强度。该方法在一定假设前提下能够取得不错的阴影去除效果，但由于十分依赖于先验知识的获取和一系列相关的假设，该方法的泛化能力较差，无法较好的处理假设之外的大部分数据且通常结果存在部分伪影；二、基于深度学习的方法，这类方法可以较好的克服传统物理的方法中依赖大量假设、处理结果存在伪影的问题，如论文“RIS-GAN:Explore Residual and Illuminationwith Generative AdversarialNetworks for Shadow Removal”中所提出的基于对抗生成网络的阴影去除方法通过大量数据的有监督学习，取得了一定的进展，但该方法仍然存在一些如处理结果颜色扭曲，阴影去除不完全的严重问题，难以满足实际应用中的需求。现有技术中，仍然缺乏一种泛化能力强，能满足用户需求，在现实世界中实际有效的单图像阴影去除方法。
发明内容
为了克服现有技术的不足，本发明提供了一种基于两阶段图像上下文识别网络的单图像阴影去除方法，旨在解决现有的阴影去除方法泛化能力不强、处理结果存在颜色扭曲、难以满足实际应用需求的问题。本发明提供的基于两阶段图像上下文识别网络，其特殊之处在于：包括基于上下文特征迁移的阴影去除网络和结果精化网络两阶段，其中，阴影去除网络包括特征提取器、“双头”上下文信息匹配模块、上下文特征迁移模块和上采样阴影去除结果生成模块；所述结果精化网络用于对阴影去除网络输出的结果进行进一步精化处理；
所述特征提取器用于提取不同尺度的图像特征；
所述“双头”上下文信息匹配模块首先对图像块的特征表示进行建模并根据该特征来捕获需要的图像中存在的上下文信息匹配对集合；
所述上下文特征迁移模块包括一个高斯采样层和一个采样结果聚合层，通过高斯采样进行上下文特征信息的迁移；
所述上采样阴影去除结果生成模块将提取的特征图还原成输入图像的原始大小并分别预测L,A,B通道上的阴影去除结果。
进一步地，所述“双头”上下文信息匹配模块包括一个用于提取图像块特征表示的特征提取器，一个用于区分匹配对类型的分类器和一个用于预测图像块匹配程度的预测器；
其中，所述特征提取器由卷积层和残差块组成；所述预测器由全连接层和SoftMax层组成。
进一步地，所述上采样阴影去除结果生成模块包括四个反卷积层、四个残差层和三个卷积层。
进一步地，匹配对类型分为“0、1、-1”三类：“0”表示图像块的匹配对来自相同区域，即均为阴影块或均为非阴影块；“1”表示前一个图像块为阴影块，后一个图像块为非阴影块；“-1”则与1相反；预测的匹配程度为一个0～1的浮点数，表示匹配对的匹配程度，“0”表示最不匹配，“1”表示最匹配。
基于同一发明构思，本发明还涉及一种利用基于两阶段图像上下文识别网络的单图像阴影去除方法，包括以下步骤：
步骤S1：利用SRD数据集制作单图像阴影去除数据集；
步骤S2：使用步骤S1的单图像阴影去除数据集，训练“双头”上下文信息匹配模块；
步骤S3：使用步骤S1中涉及的除数据集和步骤S2中训练好的“双头”上下文信息匹配模块，根据步骤S2中所述的网络进行有监督地训练；
步骤S4：利用步骤S3中训练好的网络进行单图像阴影去除。
进一步地，所述步骤S1中单图像阴影去除数据集包括两种，其一为现有数据集，即成对的阴影图像和对应的无阴影图像,还包括该阴影图像的阴影遮罩；其二为制作数据集，即随机从现有数据集图像的阴影区域和非阴影区域各选择一个图像块，计算它们的余弦相似度，选择其中余弦相似度高于0.95的图像块对作为匹配对，小于0.5的图像块对作为非匹配对；此外，从图像中随机选择两个图像块，并根据图像块所属区域给予其对应的匹配对类型标签。
更进一步，
步骤S2使用步骤S1中的现有数据集和制作数据集，训练两阶段图像上下文识别网络中“双头”上下文信息匹配模块，具体过程如下：
S21首先对现有数据集中的阴影图片进行均值滤波来使得阴影图像的光照强度均值化，从而获得shadow-unaware图像，具体计算公式如下：
Figure GDA0003832509760000021
其中Ii,j表示阴影图像在坐标(i,j)处的亮度值，P表示以(i,j)为中心的一个3*3的图像块，N表示P图像块中的像素点的个数，Iavg表示图像的全局平均亮度值；
S22将S21中输入的阴影图片和得到的shadow-unaware图像按照步骤S1中制作的训练集中的图像块的划分方法，划分为相同像素大小32*32的图像块，将相同位置的两个图像块进行级联并将级联后的结果送入“双头”上下文信息匹配模块中的特征提取器，对图像块的特征表示进行建模；其中，将输入图片缩小或放大至400*400的大小；
S23将S22中计算得到的特征表示送入“双头”上下文信息匹配模块中的匹配对类型分类器和图像块匹配程度预测器分别预测图像块对的匹配对类型和匹配程度；
S24分别用交叉熵损失Lcls和L2损失Lreg计算预测的匹配对类型和匹配程度与步骤S1的制作数据集中Ground-truth值的误差，以训练该模块，计算公式如下：
Figure GDA0003832509760000031
Figure GDA0003832509760000032
其中
Figure GDA0003832509760000033
为真实的匹配对类型，
Figure GDA0003832509760000034
为真实的匹配程度，yi为预测的匹配对类型，S为预测的匹配程度，‖·‖2为L2距离。
再进一步地，步骤S3使用步骤S1中涉及的现有数据集和步骤S2中训练好的“双头”上下文信息匹配模块，对将使用的两阶段图像上下文识别网络进行有监督地训练，具体过程如下：
S31将阴影图片输入训练好的“双头”上下文信息匹配模块中进行前向推理，具体过程见上述步骤S2，预测图像块的匹配对类型和匹配程度，并根据这些结果选出能有效帮助阴影去除任务的匹配对，即预测的匹配对类型为“1”的匹配对中分类中匹配程度最高的k对匹配对；
S32将输入的阴影图片输入两阶段图像上下文识别网络中的特征提取器中，提取输入阴影图像的不同尺度的特征图：feature1，feature2，feature3，feature4；
S33将S31中计算得到的图像块匹配对集合和S32中提取的特征图输入上下文信息特征迁移模块进行上下文信息特征迁移，得到对应的迁移特征T_feature1，T_feature2，T_feature3，T_feature4，迁移时使用的高斯采样具体公式定义如下：
Figure GDA0003832509760000035
其中F′x,y和Fx,y分别为采样后特征图T_feature和采样前特征图feature在(x,y)处的值，
Figure GDA0003832509760000036
为在位置(x+Δx,y+Δy)的高斯权重且其公式如下：
Figure GDA0003832509760000037
其中σ为高斯分布的方差；
S34将S33中迁移后的特征输入两阶段图像上下文识别网络中的上采样阴影去除模块使特征图恢复到与输入图片一致的原始图像的大小并分别预测图像L通道、A通道和B通道上的阴影去除结果；
S35将S34中得到L通道、A通道和B通道的阴影去除结果，和输入的阴影图像一同送入第二阶段精化网络中，最终得到精化处理后的阴影去除结果；
S36使用像素级的阴影去除损失Lrem，感知损失Lper和梯度损失Lgrad计算阴影去除结果和Ground-truth值的误差，训练两阶段图像上下文识别网络CANet，具体计算公式如下：
Figure GDA0003832509760000041
Figure GDA0003832509760000042
Figure GDA0003832509760000043
其中，
Figure GDA0003832509760000044
为阴影去除结果的真实值，O为预测的阴影去除结果，VGG(·)为VGG16网络中的特征提取器，
Figure GDA0003832509760000045
为图像在像素级别上的梯度。
本发明的优点在于：
1、本发明提出的“双头”上下文信息匹配模块可以显式地捕获图像中存在的上下文信息匹配关系。
2、本发明提出的上下文特征迁移模块可以根据捕获的上下文信息匹配对，有效地迁移图像上下文特征。
3、本发明提出的两阶段图像上下文识别网络通过对LAB颜色空间中的不同通道进行分别处理，可以有效避免处理结果颜色扭曲的问题。
4、本发明提供的基于两阶段图像上下文识别网络的单图像阴影去除方法可以取得比现有阴影去除方法更精确的效果，具有准确的优点。
附图说明
图1为实施例1中的制作训练“双头”上下文信息匹配模块使用的数据集的示意图。
图2为实施例1中的“双头”上下文信息匹配模块的示意图。
图3为实施例1中的上下文特征迁移模块的示意图。
图4为实施例1中的两阶段的图像上下文识别网络的示意图。
具体实施方式
为进一步了解本发明的内容，使本发明的目的、技术方案及优点更加清晰明了，以下结合附图和实施例对本发明进行详细说明。应当理解的是，此处仅是对本发明进行解释而并非限定。
本发明所设计的基于两阶段图像上下文识别网络Context-Aware Network(CANet)，包括基于上下文特征迁移的阴影去除网络和结果精化网络两阶段，其中，阴影去除网络包括特征提取器、“双头”上下文信息匹配模块、上下文特征迁移模块和上采样阴影去除结果生成模块；结果精化网络用于对阴影去除网络输出的结果进行进一步精化处理。
其中，特征提取器用于提取不同尺度的图像特征。
“双头”上下文信息匹配模块首先对图像块的特征表示进行建模并根据该特征来捕获需要的图像中存在的上下文信息匹配对集合；“双头”上下文信息匹配模块包括一个用于提取图像块特征表示的特征提取器，一个用于区分匹配对类型的分类器和一个用于预测图像块匹配程度的预测器；特征提取器由卷积层和残差块组成；所述预测器由全连接层和SoftMax层组成。该“双头”上下文信息匹配模块首先对输入的阴影图像进行均值滤波来使得阴影图像的光照强度均值化，然后对两张图片进行图像块的划分并将划分出的图像块成对地输入到网络中，分别预测出匹配对的匹配类型和匹配程度。预测的匹配对类型分为“0、1、-1”三类：“0”表示图像块的匹配对来自相同区域，即均为阴影块或均为非阴影块；“1”表示前一个图像块为阴影块，后一个图像块为非阴影块；“-1”则与1相反。预测的匹配程度为一个0～1的浮点数，表示匹配对的匹配程度，“0”表示最不匹配，“1”表示最匹配。
上下文特征迁移模块包括一个高斯采样层和一个采样结果聚合层，通过高斯采样进行上下文特征信息的迁移；在本实施例中，对于输入的特征图，该模块首先为每个阴影图像块在捕获的上下文信息匹配对集合中检索匹配程度最高的k个非阴影图像块，在得到的图像块的位置分别进行高斯采样，然后将采样得到的结果迁移至对应的阴影区域处。最后，将k个迁移后的结果进行合并。考虑到计算的时间成本，本实施例中k取值为3。
上采样阴影去除结果生成模块将提取的特征图还原成输入图像的原始大小并分别预测L,A,B通道上的阴影去除结果。上采样阴影去除结果生成模块包括四个反卷积层、四个残差层和三个卷积层。
本发明的基于两阶段图像上下文识别网络，能较好地实现对目标单幅图像的阴影去除。该CANet网络是一个端到端的单幅图像阴影去除网络，采用两个阶段来实现阴影的去除。在本实施例进行阴影去除时，在第一阶段，首先通过预训练的DenseNet提取图像的上下文特征，预训练的DenseNet网络是公开的预训练模型，其中上下文特征是一种比较常用的，对特征图feature map的描述，通常表示为经过深度卷积神经网络提取的特征；并根据设计的“双头”上下文信息匹配模块所获得的上下文信息匹配对集，利用上下文特征迁移模块来对提取的图像特征进行上下文信息的迁移；然后利用这些迁移的特征，分别恢复对L通道，A通道，B通道的阴影进行恢复。在第二阶段，精化网络整合输入的阴影图像和上一届段的输出，对阴影去除结果进行进一步精化处理，生成最终的阴影去除结果。
基于同一构思，本发明还设计了一种基于两阶段图像上下文识别网络的单图像阴影去除方法，其包括以下步骤：
步骤S1：制作数据集，使用与应用场景相近的成对的数据集或公开的数据集，所需数据集需包括成对的阴影图像、非阴影图像和阴影遮罩。本实施例使用论文“Deshadownet:A multi-context embedding deep network for shadow removal”中公开的SRD数据集制作训练CANet中“双头”上下文信息匹配模块所需要的数据集，其具体制作流程如图1所示，随机从图像的阴影区域和非阴影区域各选择一个图像块，图像块为32*32的大小，图像块的划分为在缩放到400*400的图像上利用滑动窗口进行图像块的截取，计算它们的余弦相似度，选择其中余弦相似度高于0.95的图像块对作为匹配对，小于0.5的图像块对作为非匹配对。此外，从图像中随机选择两个图像块，并根据图像块所属区域给予其对应的匹配对类型标签(例如：来自相同区域，标为“0”)；制作的数据集的大小根据使用的现有数据集的大小而定，在可允许范围内可使用整个数据集进行制作，如使用ISTD数据集，训练集包括1330对图片，制作的数据集大小在360,000左右。在制作数据集时，为阴影图像的每一个阴影块寻找k个匹配的非阴影块，本发明中k为3，同时随机寻找与匹配对数量相同的非匹配对，即360,000对中50％是匹配对，50％是非匹配对。
步骤S2：使用步骤S1中涉及的现有阴影去除数据集(包括阴影图像和对应的无阴影图像对)和步骤S1制作的数据集，训练CANet中“双头”上下文信息匹配模块具体过程为：
S21首先对现有阴影去除数据集中的阴影图片进行均值滤波来使得阴影图像的光照强度均值化，从而获得shadow-unaware图像，具体计算公式如下：
Figure GDA0003832509760000061
其中Ii,j表示阴影图像在坐标(i,j)处的亮度值，P表示以(i,j)为中心的一个3*3的图像块，N表示P图像块中的像素点的个数，在本实施例中为9，Iavg表示图像的全局平均亮度值；
S22将S21中输入的阴影图片和得到的shadow-unaware图像按照步骤S1中制作的训练集中的图像块的划分方法，划分为相同大小(32*32)的图像块，将相同位置的两个图像块进行级联并将级联后的结果送入“双头”上下文信息匹配模块中的特征提取器，对图像块的特征表示进行建模，本实施例建模为256维的特征向量；其中，将输入图片缩小或放大至400*400的大小；
S23将S22中计算得到的特征表示送入“双头”上下文信息匹配模块中的匹配对类型分类器和图像块匹配程度预测器分别预测图像块对的匹配对类型和匹配程度；
S24分别用交叉熵损失Lcls和L2损失Lreg计算预测的匹配对类型和匹配程度与步骤S1制作的数据集中Ground-truth值的误差，以训练该模块，计算公式如下：
Figure GDA0003832509760000062
Figure GDA0003832509760000071
其中
Figure GDA0003832509760000072
为真实的匹配对类型，
Figure GDA0003832509760000073
为真实的匹配程度，yi为预测的匹配对类型，S为预测的匹配程度，‖·‖2为L2距离。
步骤S3：使用步骤S1中涉及的现有阴影去除数据集(包括阴影图像和对应的无阴影图像对)和步骤S2中训练好的“双头”上下文信息匹配模块，对将使用的两阶段图像上下文识别网络CANet进行有监督地训练，具体过程如下：
S31将阴影图片输入训练好的“双头”上下文信息匹配模块中进行前向推理，过程见上述步骤S2，预测图像块的匹配对类型和匹配程度，并根据这些结果选出能有效帮助阴影去除任务的匹配对，即预测的匹配对类型为“1”的匹配对中分类中匹配程度最高的k对匹配对，本实施例K为3；
S32将输入的阴影图片输入CANet中的特征提取器中，提取输入阴影图像的不同尺度的特征图：feature1，feature2，feature3，feature4；
S33将S31中计算得到的图像块匹配对集合和S32中提取的特征图输入CFT模块进行上下文信息特征迁移，得到对应的迁移特征T_feature1，T_feature2，T_feature3，T_feature4，迁移时使用的高斯采样具体公式定义如下：
Figure GDA0003832509760000074
其中F′x,y和Fx,y分别为采样后特征图T_feature和采样前特征图feature在(x,y)处的值，
Figure GDA0003832509760000075
为在位置(x+Δx,y+Δy)的高斯权重且其公式如下：
Figure GDA0003832509760000076
其中σ为高斯分布的方差；
S34将S33中迁移后的特征输入CANet中的上采样阴影去除模块使特征图恢复到与输入图片一致的原始图像的大小并分别预测图像L通道、A通道和B通道上的阴影去除结果；
S35将S34中得到L通道、A通道和B通道的阴影去除结果，和输入的阴影图像一同送入第二阶段精化网络中，最终得到精化处理后的阴影去除结果；
S36使用像素级的阴影去除损失Lrem，感知损失Lper和梯度损失Lgrad计算阴影去除结果和Ground-truth值的误差，训练两阶段图像上下文识别网络CANet，具体计算公式如下：
Figure GDA0003832509760000077
Figure GDA0003832509760000078
Figure GDA0003832509760000081
其中，
Figure GDA0003832509760000082
为阴影去除结果的真实值，O为预测的阴影去除结果，VGG(·)为VGG16网络中的特征提取器，
Figure GDA0003832509760000083
为图像在像素级别上的梯度。
考虑到计算的时间成本，在本实施例使用的图片在输入网络中之前需要对输入图片进行图像尺寸变换，将通过双线性插值其缩小或放大至400*400的图像大小；相对的，需要将网络输出的结果重新调整至原图像大小。
在本实施例使用的图片在输入网络中之前需要对输入图片进行归一化操作，具体计算公式如下：
Figure GDA0003832509760000084
其中Imagei,j表示输入图像在(i,j)位置处的像素值；相对的，网络输出的结果需要进行反归一化操作：
Imagei,j＝Imagei,j*255.0。
步骤S4：利用步骤S3中训练好的网络进行单图像阴影去除，该过程为网络自动处理。具体需要进行如下过程：
对需要进行处理的阴影图片进行均值滤波来使得阴影图像的光照强度均值化，从而获得shadow-unaware图像；
将需要进行处理的阴影图像和中得到的shadow-unaware图像划分为2500个32*32大小的图像块，将相同位置的两个图像块进行级联并将级联后的结果送入“双头”上下文信息匹配模块分别预测图像块对的匹配对类型和匹配程度，并根据这些结果选出能有效帮助阴影去除任务的匹配对，即预测的匹配对类型为“1”的匹配对中分类中匹配程度最高的k对匹配对；
利用步骤S3中训练好的CANet中的特征提取器提取输入阴影图像的不同尺度的特征图：feature1，feature2，feature3，feature4；
根据计算得到的图像块匹配对集合，利用上下文信息特征迁移模块对不同尺度的图像特征feature1，feature2，feature3，feature4进行上下文信息特征迁移，得到对应的迁移特征T_feature1，T_feature2，T_feature3，T_feature4；
将迁移得到的特征图T_feature1，T_feature2，T_feature3，T_feature4输入CANet中的上采样阴影去除模块，使特征图恢复到与输入图片一致的原始图像的大小并分别预测图像L通道、A通道和B通道上的阴影去除结果；
将CANet第一阶段网络得到的L通道、A通道和B通道的阴影去除结果，和输入的阴影图像一同送入第二阶段精化网络中，最终得到精化处理后的阴影去除结果。
本实施例提供了一种基于两阶段图像上下文识别网络的单图像阴影去除方法，该方法显式地捕获阴影图像中隐式存在的阴影与非阴影图像对关系并根据该匹配对关系来进行图像的上下文信息特征迁移从而将有用的非阴影区域的信息迁移至非阴影区域；之后，利用这些迁移后的特征图进行L通道、A通道和B通道的阴影去除并经过最后的精化处理网络得到高质量的阴影去除结果。解决了当前阴影去除结果不准确，存在一些如处理结果颜色扭曲，泛化能力较差的问题，同时实现了对单幅图像进行的高质量的阴影去除。

Claims (9)

1.一种基于两阶段图像上下文识别系统，其特征在于：包括基于上下文特征迁移的阴影去除网络和结果精化网络两阶段，其中，阴影去除网络包括特征提取器、“双头”上下文信息匹配模块、上下文特征迁移模块和上采样阴影去除结果生成模块；所述结果精化网络用于对阴影去除网络输出的结果进行进一步精化处理；
所述特征提取器用于提取不同尺度的图像特征；
所述“双头”上下文信息匹配模块首先对图像块的特征表示进行建模并根据该特征来捕获需要的图像中存在的上下文信息匹配对集合；
其中，所述“双头”上下文信息匹配模块包括一个用于提取图像块特征表示的特征提取器，一个用于区分匹配对类型的分类器和一个用于预测图像块匹配程度的预测器，该“双头”上下文信息匹配模块首先对输入的阴影图像进行均值滤波来使得阴影图像的光照强度均值化，然后对原始输入图片和滤波后的图片进行图像块的划分，并将划分出的图像块成对地输入到网络中，分别预测出匹配对的匹配类型和匹配程度；
其中，所述特征提取器由卷积层和残差块组成；所述预测器由全连接层和SoftMax层组成；
所述上下文特征迁移模块包括一个高斯采样层和一个采样结果聚合层，通过高斯采样进行上下文特征信息的迁移；
所述上采样阴影去除结果生成模块将提取的特征图还原成输入图像的原始大小并分别预测L,A,B通道上的阴影去除结果。
2.根据权利要求1所述的基于两阶段图像上下文识别系统，其特征在于：所述上采样阴影去除结果生成模块包括四个反卷积层、四个残差层和三个卷积层。
3.根据权利要求1所述的基于两阶段图像上下文识别系统，其特征在于：匹配对类型分为“0、1、-1”三类：“0”表示图像块的匹配对来自相同区域，即均为阴影块或均为非阴影块；“1”表示前一个图像块为阴影块，后一个图像块为非阴影块；“-1”则与1相反；预测的匹配程度为一个0～1的浮点数，表示匹配对的匹配程度，“0”表示最不匹配，“1”表示最匹配。
4.一种利用权利要求1所述系统的单图像阴影去除方法，其特征在于，包括以下步骤：
步骤S1：利用SRD数据集制作单图像阴影去除数据集；
步骤S2：使用步骤S1的单图像阴影去除数据集，训练“双头”上下文信息匹配模块；
步骤S3：使用步骤S1中涉及的除数据集和步骤S2中训练好的“双头”上下文信息匹配模块，根据权利要求1所述的基于上下文特征迁移的阴影去除网络和结果精化网络两阶段进行有监督地训练；
步骤S4：利用步骤S3中训练好的网络进行单图像阴影去除。
5.根据权利要求4所述的基于两阶段图像上下文识别系统的单图像阴影去除方法，其特征在于：所述步骤S1中单图像阴影去除数据集包括两种，其一为现有数据集，即成对的阴影图像和对应的无阴影图像,还包括该阴影图像的阴影遮罩；其二为制作数据集，即随机从现有数据集图像的阴影区域和非阴影区域各选择一个图像块，计算它们的余弦相似度，选择其中余弦相似度高于0.95的图像块对作为匹配对，小于0.5的图像块对作为非匹配对；此外，从图像中随机选择两个图像块，并根据图像块所属区域给予其对应的匹配对类型标签。
6.根据权利要求5所述的基于两阶段图像上下文识别系统的单图像阴影去除方法，其特征在于：
步骤S2使用步骤S1中的现有数据集和制作数据集，训练两阶段图像上下文识别网络中“双头”上下文信息匹配模块，具体过程如下：
S21首先对现有数据集中的阴影图片进行均值滤波来使得阴影图像的光照强度均值化，从而获得shadow-unaware图像，具体计算公式如下：
Figure FDA0003873852570000021
其中Ii,j表示阴影图像在坐标(i,j)处的亮度值，P表示以(i,j)为中心的一个3*3的图像块，N表示P图像块中的像素点的个数，Iavg表示图像的全局平均亮度值；
S22将S21中输入的阴影图片和得到的shadow-unaware图像按照步骤S1中制作的训练集中的图像块的划分方法，划分为相同像素大小32*32的图像块，将相同位置的两个图像块进行级联并将级联后的结果送入“双头”上下文信息匹配模块中的特征提取器，对图像块的特征表示进行建模；
S23将S22中计算得到的特征表示送入“双头”上下文信息匹配模块中的匹配对类型分类器和图像块匹配程度预测器分别预测图像块对的匹配对类型和匹配程度；
S24分别用交叉熵损失Lcls和L2损失Lreg计算预测的匹配对类型和匹配程度与步骤S1的制作数据集中Ground-truth值的误差，以训练该模块，计算公式如下：
Figure FDA0003873852570000022
Figure FDA0003873852570000023
其中
Figure FDA0003873852570000024
为真实的匹配对类型，
Figure FDA0003873852570000025
为真实的匹配程度，yi为预测的匹配对类型，S为预测的匹配程度，||·||2为L2距离。
7.根据权利要求6所述的基于两阶段图像上下文识别系统的单图像阴影去除方法，其特征在于：
步骤S3使用步骤S1中涉及的现有数据集和步骤S2中训练好的“双头”上下文信息匹配模块，对将使用的两阶段图像上下文识别网络进行有监督地训练，具体过程如下：
S31将阴影图片输入训练好的“双头”上下文信息匹配模块中进行前向推理，具体过程见上述步骤S2，预测图像块的匹配对类型和匹配程度，并根据这些结果选出能有效帮助阴影去除任务的匹配对，即预测的匹配对类型为“1”的匹配对中分类中匹配程度最高的k对匹配对；
S32将输入的阴影图片输入两阶段图像上下文识别网络中的特征提取器中，提取输入阴影图像的不同尺度的特征图：feature1，feature2，feature3，feature4；
S33将S31中计算得到的图像块匹配对集合和S32中提取的特征图输入上下文信息特征迁移模块进行上下文信息特征迁移，得到对应的迁移特征T_feature1，T_feature2，T_feature3，T_feature4，迁移时使用的高斯采样具体公式定义如下：
Figure FDA0003873852570000031
其中F‘x,y和Fx,y分别为采样后特征图T_feature和采样前特征图feature在(x,y)处的值，
Figure FDA0003873852570000032
为在位置(x+Δx,y+Δy)的高斯权重且其公式如下：
Figure FDA0003873852570000033
其中σ为高斯分布的方差；
S34将S33中迁移后的特征输入两阶段图像上下文识别网络中的上采样阴影去除模块使特征图恢复到与输入图片一致的原始图像的大小并分别预测图像L通道、A通道和B通道上的阴影去除结果；
S35将S34中得到L通道、A通道和B通道的阴影去除结果，和输入的阴影图像一同送入第二阶段精化网络中，最终得到精化处理后的阴影去除结果；
S36使用像素级的阴影去除损失Lrem，感知损失Lper和梯度损失Lgrad计算阴影去除结果和Ground-truth值的误差，训练两阶段图像上下文识别网络CANet，具体计算公式如下：
Figure FDA0003873852570000034
Figure FDA0003873852570000035
Figure FDA0003873852570000036
其中，
Figure FDA0003873852570000037
为阴影去除结果的真实值，O为预测的阴影去除结果，VGG(·)为VGG16网络中的特征提取器，
Figure FDA0003873852570000038
为图像在像素级别上的梯度。
8.根据权利要求4所述的基于两阶段图像上下文识别系统的单图像阴影去除方法，其特征在于：图片在输入网络中之前需要对输入图片进行图像尺寸变换，将通过双线性插值其缩小或放大至400*400的图像大小；相对的，需要将网络输出的结果重新调整至原图像大小。
9.根据权利要求4所述的基于两阶段图像上下文识别系统的单图像阴影去除方法，其特征在于：图片在输入网络中之前需要对输入图片进行归一化操作，具体计算公式如下：
Figure FDA0003873852570000041
其中Imagei，j表示输入图像在(i，j)位置处的像素值；相对的，网络输出的结果需要进行反归一化操作：
Imagei，j＝Imagei，j*255.0。
CN202110677383.6A 2021-06-18 2021-06-18 一种基于两阶段图像上下文识别网络及单图像阴影去除方法 Active CN113379634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110677383.6A CN113379634B (zh) 2021-06-18 2021-06-18 一种基于两阶段图像上下文识别网络及单图像阴影去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110677383.6A CN113379634B (zh) 2021-06-18 2021-06-18 一种基于两阶段图像上下文识别网络及单图像阴影去除方法

Publications (2)

Publication Number Publication Date
CN113379634A CN113379634A (zh) 2021-09-10
CN113379634B true CN113379634B (zh) 2022-11-15

Family

ID=77577621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110677383.6A Active CN113379634B (zh) 2021-06-18 2021-06-18 一种基于两阶段图像上下文识别网络及单图像阴影去除方法

Country Status (1)

Country Link
CN (1) CN113379634B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507146A (zh) * 2017-08-28 2017-12-22 武汉大学 一种自然图像软阴影消除方法
CN110503643A (zh) * 2019-08-23 2019-11-26 闽江学院 一种基于多尺度快速场景检索的目标检测方法和装置
CN112508032A (zh) * 2021-01-29 2021-03-16 成都东方天呈智能科技有限公司 一种联合物体上下文信息的人脸图像分割方法及分割网络

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10672109B2 (en) * 2018-03-29 2020-06-02 Pixar Multi-scale architecture of denoising monte carlo renderings using neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507146A (zh) * 2017-08-28 2017-12-22 武汉大学 一种自然图像软阴影消除方法
CN110503643A (zh) * 2019-08-23 2019-11-26 闽江学院 一种基于多尺度快速场景检索的目标检测方法和装置
CN112508032A (zh) * 2021-01-29 2021-03-16 成都东方天呈智能科技有限公司 一种联合物体上下文信息的人脸图像分割方法及分割网络

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Towards ghost-free shadow removal via dual hierarchical aggregation network and shadow matting gan;Xiaodong Cun，et al.;《Proceedings of the AAAI Conference on Artificial Intelligence》;20201231;全文 *
融合边缘检测和自注意力的图像修复方法;李维乾 等;《计算机系统应用》;20210428;全文 *

Also Published As

Publication number Publication date
CN113379634A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN112287940B (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN108399419B (zh) 基于二维递归网络的自然场景图像中中文文本识别方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN108305253B (zh) 一种基于多倍率深度学习的病理图像分类方法
CN110956681B (zh) 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN111161213B (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN115775316A (zh) 基于多尺度注意力机制的图像语义分割方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN111079516B (zh) 基于深度神经网络的行人步态分割方法
CN113379634B (zh) 一种基于两阶段图像上下文识别网络及单图像阴影去除方法
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN115100409B (zh) 一种基于孪生网络的视频人像分割算法
Zhu et al. Semantics and Contour Based Interactive Learning Network For Building Footprint Extraction
CN115311456A (zh) 基于改进DeepLabv3+的风口焦炭分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant