CN112598598B - 一种基于两级反射光消除网络的图像反射光去除方法 - Google Patents

一种基于两级反射光消除网络的图像反射光去除方法 Download PDF

Info

Publication number
CN112598598B
CN112598598B CN202011573740.6A CN202011573740A CN112598598B CN 112598598 B CN112598598 B CN 112598598B CN 202011573740 A CN202011573740 A CN 202011573740A CN 112598598 B CN112598598 B CN 112598598B
Authority
CN
China
Prior art keywords
reflected light
network
stage
image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011573740.6A
Other languages
English (en)
Other versions
CN112598598A (zh
Inventor
赵东
王青
汪磊
李晨
张见
牛明
郜云波
马弘宇
陶旭
刘朝阳
杨成东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binjiang College of Nanjing University of Information Engineering
Original Assignee
Binjiang College of Nanjing University of Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binjiang College of Nanjing University of Information Engineering filed Critical Binjiang College of Nanjing University of Information Engineering
Priority to CN202011573740.6A priority Critical patent/CN112598598B/zh
Publication of CN112598598A publication Critical patent/CN112598598A/zh
Application granted granted Critical
Publication of CN112598598B publication Critical patent/CN112598598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于两级反射光消除网络的图像反射光去除方法，首先设置两级反射光消除网络中生成器的一级子网络和二级子网络；然后设定两级反射光消除网络中生成器的损失函数，由像素损失和感知损失两部分构成；再设定两级反射光消除网络中鉴别器的损失函数；训练两级反射光消除网络直到两级反射光消除网络参数收敛得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。本发明克服了现有技术中容易出现色彩失真和细节损失的缺点，使得本发明对反射图像的去除效果更加明显，并且不存在色彩失真。

Description

一种基于两级反射光消除网络的图像反射光去除方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于两级反射光消除网络的图像反射光去除方法。
背景技术
反射光去除是图像质量提升技术领域的重要组成部分，它在光电成像系统、图像复原系统、图像质量提升系统等许多系统中都有非常广泛的实际应用。近几年，基于深度学习的图像反射光去除方法广泛应用在图像质量提升领域。
现有的图像反射光去除方法中，CEILNet网络由两个结构相同的32层子网络构成，总深度达到64层，其中第一个子网络接收反射干扰图像及其梯度作为输入，其输出为透射光的梯度预测，而第二个子网络则将反射干扰图像与预测梯度值作为输入，最终得到透射光估计。两个子网络相互独立，单独训练推理。该方法存在的不足之处是：由于CEILNet网络增强特性数量较少，因此图像反射光去除以后的结果存在色彩失真。
目前还存在利用CRRN网络对图像反射光去除的方法，该方法同样将反射干扰图像及其梯度作为独立输入，其不同点是两个子网络在多个不同尺度上进行了互联，其梯度与图像推理可以并行实现，这比CEILNet更加紧凑，而且两个子网络不再需要分别训练。该方法存在的不足之处是：由于CRRN网络是直接估计透射图，因此图像反射光去除以后的结果存在细节损失的问题。
发明内容
本发明针对现有技术中的不足，提供一种基于两级反射光消除网络的图像反射光去除方法，首先利用模拟数据和真实数据构建训练数据集和测试数据集，再设置两级反射光消除网络中生成器的一级子网络和二级子网络；然后设定两级反射光消除网络中生成器的损失函数；再设定两级反射光消除网络中鉴别器的损失函数；训练两级反射光消除网络直到两级反射光消除网络参数收敛，得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。
为实现上述目的，本发明采用以下技术方案：一种基于两级反射光消除网络的图像反射光去除方法，包括如下步骤：
步骤一、利用模拟数据和真实数据构建训练数据集和测试数据集；
步骤二、设置两级反射光消除网络中生成器的一级子网络；
步骤三、设置两级反射光消除网络中生成器的二级子网络；
步骤四、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据像素损失的损失函数；
步骤五、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据像素损失的损失函数；
步骤六、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数；
步骤七、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数；
步骤八、将两级反射光消除网络中生成器基于模拟数据像素损失和感知损失的损失函数、两级反射光消除网络中生成器基于真实数据像素损失和感知损失的损失函数以及原始生成器对抗损失函数加权相加，作为两级反射光消除网络中生成器的损失函数；
步骤九、设定两级反射光消除网络中鉴别器的损失函数；
步骤十、训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像；如果是，则完成此轮训练，进入步骤十一；如果不是，则继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；
步骤十一、判断两级反射光消除网络参数是否收敛，如果是，则完成全部训练，进入步骤十二；如果不是，则返回步骤十，继续下一轮训练直到得到训练好的两级反射光消除网络；
步骤十二、用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤二具体通过以下步骤实现：
S201、设定一个8层的编码-解码器，该编码-解码器具有4个不同尺度的卷积块；
S202、利用4个卷积块注意单元分别连接同一尺度的编码-解码器层；
S203、构建一个全卷积神经网络，前七层的通道数均为64，第八层为两个三通道；
S204、将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络。
进一步地，步骤三具体通过以下步骤实现：
S301、设定9层基于门卷积神经网络的特征提取层；
S302、设定1层卷积网络特征提取层；
S303、将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。
进一步地，步骤四具体包括：根据如下公式来设定两级反射光消除网络中生成器基于模拟数据像素损失的损失函数：
其中，LpixelS表示两级反射光消除网络中生成器基于模拟数据像素损失的损失函数，表示梯度运算符，||·||2表示求二范数操作，η表示约束因子，λ1表示权值，λ2表示梯度权值，T表示真实透射图，/>表示粗估计的透射图，/>表示图像反射光去除以后的透射图，R表示真实反射图，/>表示粗估计的反射图。
进一步地，步骤五具体包括：根据如下公式设定两级反射光消除网络中生成器基于真实数据像素损失的损失函数：
其中，LpixelR表示两级反射光消除网络中生成器基于真实数据像素损失的损失函数。
进一步地，步骤六具体包括：根据如下公式设定两级反射光消除网络中生成器基于模拟数据感知损失的损失函数：
其中，LperceptualS表示两级反射光消除网络中生成器基于模拟数据感知损失的损失函数，∑表示累加运算符，||·||1表示求一范数操作，η表示约束因子，Φl(·)表示VGG19网络特征图的第l层，λl为权重系数，T表示真实透射图，表示粗估计的透射图，/>表示图像反射光去除以后的透射图，R表示真实反射图，/>表示粗估计的反射图；其中，l取值为1到5的五个整数。
进一步地，步骤七具体包括：根据如下公式设定两级反射光消除网络中生成器基于真实数据感知损失的损失函数：
其中，LperceptualR表示两级反射光消除网络中生成器基于真实数据感知损失的损失函数。
进一步地，步骤八具体包括：根据如下公式设定两级反射光消除网络中生成器的损失函数L：
L＝αLA+β(LpixelS+LpixelR)+χ(LperceptualS+LperceptualR)
LA＝-E(D(I，G(I，θ)))
其中，α、β和χ分别为LA、LpixelS+LpixelR和LperceptualS+LperceptualR的权重系数，LA为原始生成器对抗损失函数，E(·)表示求期望操作，D表示两级反射光消除网络中的鉴别器，I表示输入图像，D(I，G(I，θ))表示在给定输入图像以及待鉴别图像G(I，θ)时，两级反射光消除网络中的鉴别器输出的G(I，θ)属于透射图像的概率，G表示原始生成器，G(I，θ)表示原始生成器网络参数为θ时，对于给定输入图像得到的透射图像估计结果。
进一步地，步骤九具体包括：根据如下公式设定两级反射光消除网络中鉴别器的损失函数：
其中，LD表示两级反射光消除网络中鉴别器的损失函数，T表示真实透射图，μ为的权重系数。
本发明的有益效果是：
第一、由于本发明采用步骤二与步骤三所述的两级反射光消除网络中生成器的一级子网络和二级子网络，两个子网络通过逐层卷积方式不断地提升特征表达能力，一级子网络通过卷积块注意单元的编解码模块来提取一组64通道的特征，并采用该特征对反射和透射图进行粗估计，而后这两个估计量与提取出的特征一起作为二级子网络的输入，以进一步提升透射图的估计精度，即本发明所提出的网络采用的是“由粗到精”的两级结构，克服了现有技术中直接估计透射图导致的图像反射光去除以后的结果存在细节不清楚的缺点；
第二、由于本发明采用步骤四到步骤八的损失函数计算方式，即损失函数由像素损失和感知损失两部分构成，像素损失通过最小化真实透射图与估计的透射图的像素误差来实现监督。但是像素损失会引起振铃现象而极大影响生成图像的视觉效果，因此引入感知损失，将真实透射图与估计透射图分别输入VGG19网络，采用对应特征层之间的误差来度量感知损失，克服了单纯基于像素损失的损失函数计算方法带来的生成图像质量差，如容易出现颜色失真。
附图说明
图1为本发明的图像反射光去除方法流程图。
图2为本发明两级反射光消除网络的示意图。
图3为本发明实施例中模拟数据的输入图像示意图。
图4为本发明实施例中模拟数据的真实透射图示意图。
图5为本发明实施例中模拟数据的真实反射图示意图。
图6为本发明实施例中模拟数据的粗估计的透射图示意图。
图7为本发明实施例中模拟数据的粗估计的反射图示意图。
图8为本发明实施例中模拟数据的图像反射光去除以后的透射图示意图。
图9为本发明实施例中真实数据的输入图像示意图。
图10为本发明实施例中真实数据的真实透射图示意图。
图11为本发明实施例中真实数据的粗估计的透射图示意图。
图12为本发明实施例中真实数据的图像反射光去除以后的透射图示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。现在结合附图对本发明作进一步详细的说明。
本发明实施例提供一种基于两级反射光消除网络的图像反射光去除方法，如图1和2所示该方法为：
步骤1：利用模拟数据和真实数据构建训练数据集和测试数据集；
具体地，在本发明的一个实施例中，本发明两级反射光消除网络采用的训练数据是伯克利大学数据集，构建的训练数据集包括13000对透射图和反射图的模拟数据，以及80幅真实数据，构建的测试数据集包括12幅真实数据。如图3所示，为本发明实施例中模拟数据的输入图像示意图。如图4所示，为本发明实施例中模拟数据的真实透射图示意图。如图5所示，为本发明实施例中模拟数据的真实反射图示意图。
步骤2：设置两级反射光消除网络中生成器的一级子网络；
具体通过以下步骤实现：
步骤201，设定一个8层的编码-解码器，该编码-解码器具有4个不同尺度的卷积块；
具体地，本发明编码-解码器8个卷积层的通道数量分别设置为{64，128，256，512，512，256，128，64}，卷积模板均为3×3，每个卷积层包含一个LReLU激活层以及批量正则化操作。
步骤202，利用4个卷积块注意单元连接同一尺度的编码-解码器层；
具体地，卷积块注意单元主要通过两个步骤来实现特征增强：第一步，针对通道特征增强，首先对每个通道分别进行最大池化与平均池化，形成两个与特征通道数等长的特征向量；然后再通过共享权值的三层全连接网络对两个特征向量进行处理，最终得到一个增强向量；最后将增强向量中元素的值作为增强系数，与各个通道特征图分别相乘，实现特征的通道增强。第二步，针对空间特征增强，则是先对特征进行空间最大池化和平均池化，得到两幅特征图；而后通过参数共享的卷积与Sigmoid激活，得到空间增强系数；最后将这一增强系数与原特征图相同位置所有通道的值分别相乘，得到最终结果。
步骤203，构建一个全卷积神经网络，前七层的通道数均为64，第八层为两个三通道；
具体地，全卷积子网络的前7层的通道数均设置为64，并引入空洞卷积来增大感受野，空洞卷积的空间跨度分别设置为{2，4，8，16，32，64，1，1}，卷积窗口尺寸均为3×3，前7层的激活与归一化函数设置与编解码子网络相同。最后一层的输出为3×2通道，并将其作为两个三通道RGB图像来分别表示粗估计的反射图和透射图。
步骤204，将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络。
步骤3：设置两级反射光消除网络中生成器的二级子网络；
具体通过以下步骤实现：
步骤301，设定9层基于门卷积神经网络的特征提取层；
具体地，9层基于门卷积神经网络的特征提取层的特征通道数均为32，采用的空洞卷积空间跨度分别设置为{1，2，4，8，16，32，64，1，1}，卷积窗口尺寸均为3×3。
步骤302，设定1层卷积网络特征提取层；
具体地，最后1层卷积网络特征提取层为普通卷积层且不含激活和归一化，本层输出为3通道，即RGB格式的透图像反射光去除以后的透射图。
步骤303，将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。
步骤4：利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于模拟数据像素损失的损失函数，具体为：按照下式，设定两级反射光消除网络中生成器基于模拟数据像素损失的损失函数：
其中，LpixelS表示两级反射光消除网络中生成器基于模拟数据像素损失的损失函数，表示梯度运算符，||·||2表示求二范数操作，η表示约束因子，λ1表示权值，λ2表示梯度权值，T表示真实透射图，/>表示粗估计的透射图，/>表示图像反射光去除以后的透射图，R表示真实反射图，/>表示粗估计的反射图。
具体地，实验中η取值为0.5，λ1取值为0.2，λ2取值为0.4。引入约束因子的目的是期望通过这一设计来增加最终的透射光预测的误差权重，从而提升精度。
步骤5：利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于真实数据像素损失的损失函数，具体为：按照下式，设定两级反射光消除网络中生成器基于真实数据像素损失的损失函数：
其中，LpixelR表示两级反射光消除网络中生成器基于真实数据像素损失的损失函数。
具体地，对于真实数据，由于没有反射参考图，因此LpixelR中不包含反射误差项。
步骤6：利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数，具体为：按照下式，设定两级反射光消除网络中生成器基于模拟数据感知损失的损失函数：
其中，LperceptualS表示两级反射光消除网络中生成器基于模拟数据感知损失的损失函数，∑表示累加运算符，||·||1表示求一范数操作，η表示约束因子，Φl(·)表示VGG19网络特征图的第l层，λl为权重系数，T表示真实透射图，表示粗估计的透射图，/>表示图像反射光去除以后的透射图，R表示真实反射图，/>表示粗估计的反射图；其中，l取值为1到5的五个整数。
具体地，实验中η取值为0.5，λl为权重系数，实验中设置为{1/2.6，1/4.8，1/3.7，1/5.6，1/0.15}。引入约束因子的目的是期望通过这一设计来增加最终的透射光预测的误差权重，从而提升精度。像素损失虽然能够取得很高的PSNR指标值，但同时会引起振铃现象而极大影响生成图像的视觉效果。为此，本发明引入感知损失，将真实透射图像与估计透射图像分别输入VGG19网络，采用对应特征层之间的误差来度量感知损失。
步骤7：利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数，具体为：按照下式，设定两级反射光消除网络中生成器基于真实数据感知损失的损失函数：
其中，LperceptualR表示两级反射光消除网络中生成器基于真实数据感知损失的损失函数。
具体地，对于真实数据，由于没有反射参考图，因此LperceptualR中不包含反射误差项。
步骤8：将两级反射光消除网络中生成器基于模拟数据像素损失和感知损失的损失函数、两级反射光消除网络中生成器基于真实数据像素损失和感知损失的损失函数以及原始生成器对抗损失函数加权相加，作为两级反射光消除网络中生成器的损失函数：
L＝αLA+β(LpixelS+LpixelR)+χ(LperceprualS+LperceptualR)
LA＝-E(D(I，G(I，θ)))
其中，α、β和χ分别为LA、LpixelS+LpixelR和Lperceptuals+LperceptualR的权重系数，LA为原始生成器对抗损失函数，E(·)表示求期望操作，D表示两级反射光消除网络中的鉴别器，I表示输入图像，G表示原始生成器，D(I，G(I，θ))表示在给定输入图像以及待鉴别图像G(I，θ)时，两级反射光消除网络中的鉴别器输出的G(I，θ)属于透射图的概率，G(I，θ)表示原始生成器网络参数为θ时，对于给定输入图像得到的透射图像估计结果，θ表示原始生成器网络参数。
具体地，实验中α、β和χ均等于1。
步骤9：设定两级反射光消除网络中鉴别器的损失函数，具体地，按照下式，设定两级反射光消除网络中鉴别器的损失函数：
其中，LD表示两级反射光消除网络中鉴别器的损失函数，μ为的权重系数。
步骤10：训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像，如果是则完成此轮训练，进入步骤11；如果不是，令M＝M+1，继续载入后续帧图像进行训练，其中，M表示大于等于一的整数。
如图6所示为本发明实施例中模拟数据的粗估计的透射图示意图，图7为本发明实施例中模拟数据的粗估计的反射图示意图，图8为本发明实施例中模拟数据的图像反射光去除以后的透射图示意图，图9为本发明实施例中真实数据的输入图像示意图，图10为本发明实施例中真实数据的真实透射图示意图，图11为本发明实施例中真实数据的粗估计的透射图示意图，图12为本发明实施例中真实数据的图像反射光去除以后的透射图示意图。
步骤11：判断两级反射光消除网络参数是否收敛，如果是则完成全部训练，进入步骤12；如果不是则返回步骤10，令M＝M+1，继续下一轮训练直到得到训练好的两级反射光消除网络。
具体地，本发明所提到的两级反射光消除网络通过Nvidia RTX Titan V以及Tensorflow 1.9.0进行训练，共训练180个回合(学习率0.0001、0.00003以及0.00001各训练60回合)。
步骤12：用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。
本发明采用基于两级反射光消除网络的图像反射光去除方法对图像反射光进行去除，首先设置两级反射光消除网络中生成器的一级子网络和二级子网络，两个子网络通过逐层卷积方式不断地提升特征表达能力，一级子网络通过卷积块注意单元的编解码模块来提取一组64通道的特征，并采用该特征对反射和透射图进行粗估计，而后这两个估计量与提取出的特征一起作为二级子网络的输入，以进一步提升透射图的估计精度；然后设定两级反射光消除网络中生成器的损失函数，由像素损失和感知损失两部分构成，像素损失通过最小化真实透射图与估计的透射图的像素误差来实现监督，但是像素损失会引起振铃现象而极大影响生成图像的视觉效果，因此引入感知损失，将真实透射图与估计透射图分别输入VGG19网络，采用对应特征层之间的误差来度量感知损失；再设定两级反射光消除网络中鉴别器的损失函数；训练两级反射光消除网络直到两级反射光消除网络参数收敛得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，实现图像反射光去除以后的透射图，可以对多种场景的图像进行有效的反射光去除，克服了单纯基于像素损失的损失函数计算方法带来的生成图像质量差，如容易出现颜色失真的情况。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于两级反射光消除网络的图像反射光去除方法，其特征在于，包括如下步骤：
步骤一、利用模拟数据和真实数据构建训练数据集和测试数据集；
步骤二、设置两级反射光消除网络中生成器的一级子网络；
步骤三、设置两级反射光消除网络中生成器的二级子网络；
步骤四、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据像素损失的损失函数；
步骤五、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据像素损失的损失函数；
步骤六、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数；
步骤七、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数；
步骤八、将两级反射光消除网络中生成器基于模拟数据像素损失和感知损失的损失函数、两级反射光消除网络中生成器基于真实数据像素损失和感知损失的损失函数以及原始生成器对抗损失函数加权相加，作为两级反射光消除网络中生成器的损失函数；
步骤九、设定两级反射光消除网络中鉴别器的损失函数；
步骤十、训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像；如果是，则完成此轮训练，进入步骤十一；如果不是，则继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；
步骤十一、判断两级反射光消除网络参数是否收敛，如果是，则完成全部训练，进入步骤十二；如果不是，则返回步骤十，继续下一轮训练直到得到训练好的两级反射光消除网络；
步骤十二、用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图；
步骤二具体通过以下步骤实现：
S201、设定一个8层的编码-解码器，该编码-解码器具有4个不同尺度的卷积块；
S202、利用4个卷积块注意单元分别连接同一尺度的编码-解码器层；
S203、构建一个全卷积神经网络，前七层的通道数均为64，第八层为两个三通道；
S204、将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络；
步骤三具体通过以下步骤实现：
S301、设定9层基于门卷积神经网络的特征提取层；
S302、设定1层卷积网络特征提取层；
S303、将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。
2.如权利要求1所述的图像反射光去除方法，其特征在于，步骤四具体包括：根据如下公式来设定两级反射光消除网络中生成器基于模拟数据像素损失的损失函数：
其中，LpixelS表示两级反射光消除网络中生成器基于模拟数据像素损失的损失函数，表示梯度运算符，||·||2表示求二范数操作，η表示约束因子，λ1表示权值，λ2表示梯度权值，T表示真实透射图，/>表示粗估计的透射图，/>表示图像反射光去除以后的透射图，R表示真实反射图，/>表示粗估计的反射图。
3.如权利要求2所述的图像反射光去除方法，其特征在于，步骤五具体包括：根据如下公式设定两级反射光消除网络中生成器基于真实数据像素损失的损失函数：
其中，LpixelR表示两级反射光消除网络中生成器基于真实数据像素损失的损失函数。
4.如权利要求3所述的图像反射光去除方法，其特征在于，步骤六具体包括：根据如下公式设定两级反射光消除网络中生成器基于模拟数据感知损失的损失函数：
其中，LperceptualS表示两级反射光消除网络中生成器基于模拟数据感知损失的损失函数，∑表示累加运算符，||·||1表示求一范数操作，η表示约束因子，Φl(·)表示VGG19网络特征图的第l层，λl为权重系数，T表示真实透射图，表示粗估计的透射图，/>表示图像反射光去除以后的透射图，R表示真实反射图，/>表示粗估计的反射图；其中，l取值为1到5的五个整数。
5.如权利要求4所述的图像反射光去除方法，其特征在于，步骤七具体包括：根据如下公式设定两级反射光消除网络中生成器基于真实数据感知损失的损失函数：
其中，LperceptualR表示两级反射光消除网络中生成器基于真实数据感知损失的损失函数。
6.如权利要求5所述的图像反射光去除方法，其特征在于，步骤八具体包括：根据如下公式设定两级反射光消除网络中生成器的损失函数L：
L＝αLA+β(LpixelS+LpixelR)+x(LperceptualS+LperceptualR)
LA＝-E(D(I,G(I,θ)))
其中，α、β和χ分别为LA、LpixelS+LpixelR和LperceptualS+LperceptualR的权重系数，LA为原始生成器对抗损失函数，E(·)表示求期望操作，D表示两级反射光消除网络中的鉴别器，I表示输入图像，D(I,G(I,θ))表示在给定输入图像以及待鉴别图像G(I,θ)时，两级反射光消除网络中的鉴别器输出的G(I,θ)属于透射图像的概率，G表示原始生成器，G(I,θ)表示原始生成器网络参数为θ时，对于给定输入图像得到的透射图像估计结果。
7.如权利要求6所述的图像反射光去除方法，其特征在于，步骤九具体包括：根据如下公式设定两级反射光消除网络中鉴别器的损失函数：
其中，LD表示两级反射光消除网络中鉴别器的损失函数，T表示真实透射图，μ为的权重系数。
CN202011573740.6A 2020-12-25 2020-12-25 一种基于两级反射光消除网络的图像反射光去除方法 Active CN112598598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011573740.6A CN112598598B (zh) 2020-12-25 2020-12-25 一种基于两级反射光消除网络的图像反射光去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011573740.6A CN112598598B (zh) 2020-12-25 2020-12-25 一种基于两级反射光消除网络的图像反射光去除方法

Publications (2)

Publication Number Publication Date
CN112598598A CN112598598A (zh) 2021-04-02
CN112598598B true CN112598598B (zh) 2023-11-28

Family

ID=75203308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011573740.6A Active CN112598598B (zh) 2020-12-25 2020-12-25 一种基于两级反射光消除网络的图像反射光去除方法

Country Status (1)

Country Link
CN (1) CN112598598B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222080A1 (zh) * 2021-04-21 2022-10-27 浙江大学 一种基于位置感知的单图像反射层移除方法
CN118711114A (zh) * 2024-08-30 2024-09-27 盛视科技股份有限公司 基于目标跟踪检测的托盘遗留物检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243478A (ja) * 2009-03-31 2010-10-28 Mitsubishi Electric Research Laboratories Inc 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
CA2941729A1 (en) * 2015-09-14 2017-03-14 Sightline Innovation Inc. System and method for specular surface inspection
WO2017205537A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications
CN107464227A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于深度神经网络进行去除反射和平滑图像的方法
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
DE102018009315A1 (de) * 2017-11-27 2019-05-29 Nvidia Corporation Verfahren tiefgehenden Lernens zum Trennen von Reflexions- und Übertragungsbildern, die an einer halbreflektierenden Oberfläche in einem Computerbild einer Realweltszene sichtbar sind
CN110675336A (zh) * 2019-08-29 2020-01-10 苏州千视通视觉科技股份有限公司 一种低照度图像增强方法及装置
CN111275651A (zh) * 2020-02-25 2020-06-12 东南大学 一种基于对抗神经网络的人脸有光去除方法
CN111369464A (zh) * 2020-03-04 2020-07-03 深圳市商汤科技有限公司 去除图像中的反光的方法及装置、电子设备和存储介质
EP3706069A2 (en) * 2019-03-05 2020-09-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
CN112085677A (zh) * 2020-09-01 2020-12-15 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质
CN112116537A (zh) * 2020-08-31 2020-12-22 中国科学院长春光学精密机械与物理研究所 图像反射光消除方法及图像反射光消除网络构建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165192A1 (en) * 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
US10586310B2 (en) * 2017-04-06 2020-03-10 Pixar Denoising Monte Carlo renderings using generative adversarial neural networks
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243478A (ja) * 2009-03-31 2010-10-28 Mitsubishi Electric Research Laboratories Inc 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
CA2941729A1 (en) * 2015-09-14 2017-03-14 Sightline Innovation Inc. System and method for specular surface inspection
WO2017205537A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications
CN107464227A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于深度神经网络进行去除反射和平滑图像的方法
DE102018009315A1 (de) * 2017-11-27 2019-05-29 Nvidia Corporation Verfahren tiefgehenden Lernens zum Trennen von Reflexions- und Übertragungsbildern, die an einer halbreflektierenden Oberfläche in einem Computerbild einer Realweltszene sichtbar sind
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
EP3706069A2 (en) * 2019-03-05 2020-09-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
CN110675336A (zh) * 2019-08-29 2020-01-10 苏州千视通视觉科技股份有限公司 一种低照度图像增强方法及装置
CN111275651A (zh) * 2020-02-25 2020-06-12 东南大学 一种基于对抗神经网络的人脸有光去除方法
CN111369464A (zh) * 2020-03-04 2020-07-03 深圳市商汤科技有限公司 去除图像中的反光的方法及装置、电子设备和存储介质
CN112116537A (zh) * 2020-08-31 2020-12-22 中国科学院长春光学精密机械与物理研究所 图像反射光消除方法及图像反射光消除网络构建方法
CN112085677A (zh) * 2020-09-01 2020-12-15 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep learning-based hologram generation using a white light source;Taesik Go et al;《Open Access》;全文 *
一种基于直接数字控制的Buck变换器的设计;王青等;《数字技术与应用》(第04期);全文 *
一种基于稀疏系数匹配学习的图像去雾算法;南栋等;《控制与决策》;第35卷(第11期);全文 *

Also Published As

Publication number Publication date
CN112598598A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110045419B (zh) 一种感知器残差自编码网络地震资料去噪方法
CN111080541B (zh) 基于比特分层和注意力融合机制的彩色图像去噪方法
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN109685743B (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
CN112598598B (zh) 一种基于两级反射光消除网络的图像反射光去除方法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN110517237B (zh) 基于膨胀三维卷积神经网络的无参考视频质量评价方法
CN111127435B (zh) 基于双流卷积神经网络的无参考图像质量评估方法
CN109410149B (zh) 一种基于并行特征提取的cnn去噪方法
CN109635763B (zh) 一种人群密度估计方法
CN114972085B (zh) 一种基于对比学习的细粒度噪声估计方法和系统
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN114445292A (zh) 一种多阶段渐进式水下图像增强方法
CN115205147A (zh) 一种基于Transformer的多尺度优化低照度图像增强方法
CN112767279A (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
CN111127331A (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN112116537A (zh) 图像反射光消除方法及图像反射光消除网络构建方法
CN116403103A (zh) 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法
CN113992920A (zh) 一种基于深度展开网络的视频压缩感知重建方法
CN112215199A (zh) 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN108550152B (zh) 基于深度特征感知推理的全参考图像质量客观评价方法
CN116992946B (zh) 模型压缩方法、装置、存储介质和程序产品
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant