CN111709886B - 一种基于u型空洞残差网络的图像去高光方法 - Google Patents

一种基于u型空洞残差网络的图像去高光方法 Download PDF

Info

Publication number
CN111709886B
CN111709886B CN202010461626.8A CN202010461626A CN111709886B CN 111709886 B CN111709886 B CN 111709886B CN 202010461626 A CN202010461626 A CN 202010461626A CN 111709886 B CN111709886 B CN 111709886B
Authority
CN
China
Prior art keywords
size
convolution
layer
image
highlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010461626.8A
Other languages
English (en)
Other versions
CN111709886A (zh
Inventor
罗凌杰
陈华华
余帅东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010461626.8A priority Critical patent/CN111709886B/zh
Publication of CN111709886A publication Critical patent/CN111709886A/zh
Application granted granted Critical
Publication of CN111709886B publication Critical patent/CN111709886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于U型空洞残差网络的图像去高光方法。现有在高光方法需要多幅多角度的图像，限制了其应用，并且处理流程复杂，步骤繁琐，实时性较弱。本发明方法包括训练阶段和测试阶段。首先构建去高光网络模型，模型由U型结构、空洞残差结构组成。U型结构使用压缩部分提取图像深层信息，使用扩展部分重构得到图像的边缘、纹理特征，空洞残差结构利用原图以及U型结构提取到的特征对无高光图像进行预测。模型训练完成后，直接将测试图像缩放为固定大小并由模型预测无高光图像。本发明的模型结构能够实时高效地去除图像中的高光现象，并对色彩、纹理复杂的图像具有较大的适应性和较强的鲁棒性。

Description

一种基于U型空洞残差网络的图像去高光方法
技术领域
本发明属于数字图像处理技术领域，具体涉及到一种基于U型空洞残差网络的图像高光去除方法。
背景技术
随着计算机的出现和普及，人类所能获取的图像信息日益增长，对信息传播速度、处理速度及处理的要求也越来越高。高光作为一种图像中经常出现的情况，会造成图像细节信息的大量丢失，图像质量大幅度下降，如何进行有效的去除高光是一种极具前景的研究方向。
物体在强光照射下时，光滑的表面容易发生镜面反射，即高光现象，且光照强度远远大于漫反射成分。因此当物体表面出现高光时，感官上而言人会有刺眼的感觉，且纹理和色彩信息会被高光遮挡，变得模糊不清甚至全部消失。高光的出现对计算机视觉领域造成了很大的影响，主要体现在图像定位、物体识别、边缘检测、图像修复等方面。传统图像处理算法受高光影响较大，主要是因为传统算法大部分都是基于朗伯反射假设，即认为物体表面只有漫反射，无镜面反射存在。而现实情况下，很多物体都具有光滑的表面，极其容易发生镜面反射，产生“高光”现象。这对许多图像处理算法的正确性和鲁棒性都造成了巨大的影响，因此越来越多的国内外研究人员开始关注和研究图像去高光问题。
在高光去除方面，己有的方法均存在一定程度的问题：(1)需要多幅多角度的图像，限制了其应用；(2)处理流程复杂，去高光步骤繁琐，实时性较弱。
发明内容
本发明的目的就是针对现有技术的不足，提供一种基于U型空洞残差网络的图像去高光方法。
本发明方法包括训练阶段和测试阶段。
训练阶段的具体步骤是：
步骤(1).构建去高光网络模型：
所述的去高光网络模型是一个端到端的网络模型，包括两部分：U型结构、空洞残差结构；
所述的U型结构负责提取图像的纹理、边缘特征，并拼接原始高光图像与特征信息，作为空洞残差结构的输入；U型结构包括压缩部分、扩展部分和最底块，最底块用于桥接压缩部分和扩展部分。
所述的压缩部分包含四个压缩块，每个压缩块中存在两个卷积模块层以及一个下采样层；每个卷积模块层依次包括一个卷积层和一个激活层；其中，卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU(rectified linear unit)函数；下采样层采用核尺寸为2×2的最大池化层，前三个压缩块的下采样层位于两个压缩块之间，最后一个下采样层处于压缩块和最底块之间。压缩部分输入尺寸为256×256×3，经过第一个压缩块后的输出尺寸为256×256×64，经过第二个压缩块后的输出尺寸为128×128×128，经过第三个压缩块后的输出尺寸为64×64×256个，经过第四个压缩块后的输出尺寸为32×32×512。
所述的最底块中存在两个卷积模块层以及一个下采样层；每个卷积模块层依次包括一个卷积层和一个激活层；其中，卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；最底块输入尺寸为32×32×512，输出尺寸为16×16×1024。
所述的扩展部分为U型结构的核心，包含四个扩展块，前三个扩展块中存在两个卷积模块层和一个上采样层，最后一个扩展块中只存在两个卷积模块层；每个卷积模块层依次包括一个卷积层和一个激活层；除最后一个卷积层外的其他卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；上采样层采用尺寸为2×2的卷积核，第一个上采样层位于最底块与扩展块之间，后三个上采样层位于两个扩展块之间。每个扩展块的输入复制并拼接来自于同一高度的压缩块输出；最后通过核尺寸为1×1的最后一个卷积层过滤提取到的特征，与输入的高光图像拼接，得到尺寸为256×256×4的输出。
所述的空洞残差结构包括输入端、空洞残差网络和输出端，负责增强卷积核的视野区以防止物体色彩纹理信息的大量丢失，并利用U型结构提取到的纹理、边缘特征进行无高光图像的预测。
所述的输入端负责特征的初步提取，包含两个卷积模块层，每个卷积模块层依次包括一个卷积层、一个激活层和一个下采样层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；下采样层采用核尺寸为2×2的最大池化层；输入尺寸为256×256×4，经过第一个卷积模块后的输出尺寸为128×128×32，经过第二个卷积模块后的输出尺寸64×64×64。
所述的空洞残差网络负责利用纹理、边缘特征对图像中的镜面反射分量进行分离，得到无高光图像；空洞残差网络包含八个空洞残差块，每个空洞残差块包含两个卷积模块层，每个空洞残差块的空洞值分别为[1,1,2,2,4,4,2,1]；每个卷积模块层依次包括一个卷积层和一个激活层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；前六块空洞残差块还包含快捷连接结构(“快捷连接”结构见文献“DeepResidual Learning for Image Recognition”,IEEE Conference on Computer Visionand Pattern Recognition,Kaiming He，Xiangyu Zhang et al)。空洞残差网络输入尺寸为64×64×64，经过第一个空洞残差块后的输出尺寸为64×64×128，经过第二个空洞残差块后的输出尺寸为64×64×128，经过第三个空洞残差块后的输出尺寸为64×64×256，经过第四个空洞残差块后的输出尺寸为64×64×256，经过第五个空洞残差块后的输出尺寸为64×64×512，经过第六个空洞残差块后的输出尺寸为64×64×512，经过第七个空洞残差块后的输出尺寸为64×64×512，经过第八个空洞残差块后的输出尺寸为64×64×512。
所述的输出端负责恢复图像大小，包含两个卷积模块层，每个卷积模块层依次包括一个卷积层、一个激活层和一个上采样层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；上采样层采用尺寸为2×2的卷积核。输出端的输入尺寸为64×64×512，经过第一个卷积模块后的输出尺寸为128×128×32，经过第二个卷积模块后的输出尺寸为256×256×3。
输出端的最后输出即为预测的无高光图像。
步骤(2).训练去高光网络模型：
(2-1).采用正态分布初始化去高光网络模型中所有权值参数；
(2-2).构建训练数据集：收集用于训练的彩色图像，将所有图像缩放大小为256×256，并扩充数据集，扩充数据集采用通过旋转或翻转方法；然后从集合中随机选择20～50％的图像组成验证集，剩余的图像组成训练网络的训练数据集；
(2-3).训练网络参数：首先设定学习率为α，采用指数衰减，每β次迭代衰减为原来的γ，每δ次迭代计算一次验证集损失，批尺寸为η；0.00001≤α≤0.0001，1000≤β≤3000，0.8≤γ≤0.9，500≤δ≤1500，η＝4,8；定义损失函数为：
Figure BDA0002511136850000031
n为像素点总数，n＝65536为像素点总数，yi和yi′别为第i个像素点真实的和预测的无高光强度值；y和y′分别为真值图和无高光预测图，SSIM为结构相似性指数；
然后采用误差反向传播算法迭代更新网络中的各项权值参数；每迭代M_n次后判断当前模型预测输出与真值之间的损失函数s是否小于设定阈值th，500≤M_n≤1500，th＝4～8：若s<th，则停止迭代，训练结束，输出训练得到的目标检测模型及其对应参数；若s≥th，继续迭代训练，当总的迭代次数达到设定最高次数Iter_max时，训练结束，30000≤Iter_max≤50000。
测试阶段具体方法是：模型为端到端模型，若输入图像大小不为256×256，首先将图像缩放至256×256，然后将测试图像输入到模型当中，输出即为预测的无高光图像。
本发明的有益效果：本发明提出了一种基于U型空洞残差网络的图像去高光方法，通过U型结构良好的纹理、边缘特征提取能力收集高光图像特征，然后使用深度空洞残差结构，有效保护了卷积核视野范围，能够高效的使用提取到的特征去除图像中高光现象，并对色彩、纹理复杂的图像具有较大的适应性和较强的鲁棒性。
附图说明
图1为本发明方法中去高光模型示意图。
具体实施方案
下面结合附图和实施实例对本发明加以详细说明，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知的功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
一种基于U型空洞残差网络的图像去高光方法，包括训练阶段和测试阶段。
训练阶段的具体步骤是：
步骤(1).构建去高光网络模型，去高光网络模型如图1所示：
所述的去高光网络模型是一个端到端的网络模型，包括两部分：U型结构、空洞残差结构；
所述的U型结构负责提取图像的纹理、边缘特征，并拼接原始高光图像与特征信息，作为空洞残差结构的输入；U型结构包括压缩部分、扩展部分和最底块，最底块用于桥接压缩部分和扩展部分。
所述的压缩部分包含四个压缩块，每个压缩块中存在两个卷积模块层以及一个下采样层；每个卷积模块层依次包括一个卷积层和一个激活层；其中，卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU(rectifiedlinearunit)函数；下采样层采用核尺寸为2×2的最大池化层，前三个压缩块的下采样层位于两个压缩块之间，最后一个下采样层处于压缩块和最底块之间。压缩部分输入尺寸为256×256×3，经过第一个压缩块后的输出尺寸为256×256×64，经过第二个压缩块后的输出尺寸为128×128×128，经过第三个压缩块后的输出尺寸为64×64×256个，经过第四个压缩块后的输出尺寸为32×32×512。
所述的最底块中存在两个卷积模块层以及一个下采样层；每个卷积模块层依次包括一个卷积层和一个激活层；其中，卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；最底块输入尺寸为32×32×512，输出尺寸为16×16×1024。
所述的扩展部分为U型结构的核心，包含四个扩展块，前三个扩展块中存在两个卷积模块层和一个上采样层，最后一个扩展块中只存在两个卷积模块层；每个卷积模块层依次包括一个卷积层和一个激活层；除最后一个卷积层外的其他卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；上采样层采用尺寸为2×2的卷积核，第一个上采样层位于最底块与扩展块之间，后三个上采样层位于两个扩展块之间。每个扩展块的输入复制并拼接来自于同一高度的压缩块输出；最后通过核尺寸为1×1的最后一个卷积层过滤提取到的特征，与输入的高光图像拼接，得到尺寸为256×256×4的输出。
所述的空洞残差结构包括输入端、空洞残差网络和输出端，负责增强卷积核的视野区以防止物体色彩纹理信息的大量丢失，并利用U型结构提取到的纹理、边缘特征进行无高光图像的预测。
所述的输入端负责特征的初步提取，包含两个卷积模块层，每个卷积模块层依次包括一个卷积层、一个激活层和一个下采样层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；下采样层采用核尺寸为2×2的最大池化层；输入尺寸为256×256×4，经过第一个卷积模块后的输出尺寸为128×128×32，经过第二个卷积模块后的输出尺寸64×64×64。
所述的空洞残差网络负责利用纹理、边缘特征对图像中的镜面反射分量进行分离，得到无高光图像；空洞残差网络包含八个空洞残差块，每个空洞残差块包含两个卷积模块层，每个空洞残差块的空洞值分别为[1,1,2,2,4,4,2,1]；每个卷积模块层依次包括一个卷积层和一个激活层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；前六块空洞残差块还包含快捷连接结构(“快捷连接”结构见文献“DeepResidual Learning for Image Recognition”,IEEE Conference on Computer Visionand Pattern Recognition,Kaiming He，Xiangyu Zhang et al)。空洞残差网络输入尺寸为64×64×64，经过第一个空洞残差块后的输出尺寸为64×64×128，经过第二个空洞残差块后的输出尺寸为64×64×128，经过第三个空洞残差块后的输出尺寸为64×64×256，经过第四个空洞残差块后的输出尺寸为64×64×256，经过第五个空洞残差块后的输出尺寸为64×64×512，经过第六个空洞残差块后的输出尺寸为64×64×512，经过第七个空洞残差块后的输出尺寸为64×64×512，经过第八个空洞残差块后的输出尺寸为64×64×512。
所述的输出端负责恢复图像大小，包含两个卷积模块层，每个卷积模块层依次包括一个卷积层、一个激活层和一个上采样层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；上采样层采用尺寸为2×2的卷积核。输出端的输入尺寸为64×64×512，经过第一个卷积模块后的输出尺寸为128×128×32，经过第二个卷积模块后的输出尺寸为256×256×3。
输出端的最后输出即为预测的无高光图像。
步骤(2).训练去高光网络模型：
(2-1).采用正态分布初始化去高光网络模型中所有权值参数。具体地，使各层人工神经网络权值参数以正态分布初始化，正态分布的均值为零，方差大小为该层输入神经元数目与该层输出神经元数目之和的倒数的两倍。
(2-2).构建训练数据集：收集用于训练的彩色图像，将所有图像缩放大小为256×256，并扩充数据集，扩充数据集采用通过旋转或翻转方法，共得到110张训练图像。然后从集合中随机选择20～50％的图像组成验证集，剩余的图像组成训练网络的训练数据集。本实施例随机选择30％的图像(33张)组成验证集，剩余的图像(77张)组成训练网络的训练数据集。
(2-3).训练网络参数：首先设定学习率为α，采用指数衰减，每β次迭代衰减为原来的γ，每δ次迭代计算一次验证集损失，批尺寸为η；0.00001≤α≤0.0001，1000≤β≤3000，0.8≤γ≤0.9，500≤δ≤1500，η＝4,8；定义损失函数为：
Figure BDA0002511136850000061
n为像素点总数，n＝65536为像素点总数，yi和yi′别为第i个像素点真实的和预测的无高光强度值；y和y′分别为真值图和无高光预测图，SSIM为结构相似性指数；
然后采用误差反向传播算法迭代更新网络中的各项权值参数；每迭代M_n次后判断当前模型预测输出与真值之间的损失函数s是否小于设定阈值th，500≤M_n≤1500，th＝4～8：若s<th，则停止迭代，训练结束，输出训练得到的目标检测模型及其对应参数；若s≥th，继续迭代训练，当总的迭代次数达到设定最高次数Iter_max时，训练结束，30000≤Iter_max≤50000。
本实施例中，首先设定学习率为α＝0.0001，采用指数衰减，每2000次迭代衰减为原来的90％，并每1000次迭代计算一次验证集损失。批尺寸为η＝4。然后采用误差反向传播算法迭代更新网络中的各项权值参数。每迭代1000次后判断当前模型预测输出与真值之间的损失函数s是否小于设定阈值5：若s<5，则停止迭代，输出训练得到的目标检测模型及其对应参数；若s≥5，继续迭代训练；当总的迭代次数达到设定的最高次数35000次时，训练结束。
测试阶段具体方法是：模型为端到端模型，若输入图像大小不为256×256，首先将图像缩放至256×256，然后将测试图像输入到模型当中，输出即为预测的无高光图像。

Claims (7)

1.一种基于U型空洞残差网络的图像去高光方法，包括训练阶段和测试阶段，其特征在于：
所述的训练阶段具体是：
步骤(1).构建去高光网络模型：
所述的去高光网络模型是一个端到端的网络模型，包括两部分：U型结构、空洞残差结构；
所述的U型结构负责提取图像的纹理、边缘特征，并拼接原始高光图像与特征信息，作为空洞残差结构的输入；U型结构包括压缩部分、扩展部分和最底块，最底块用于桥接压缩部分和扩展部分；
所述的压缩部分包含四个压缩块，每个压缩块中存在两个卷积模块层以及一个下采样层；每个卷积模块层依次包括一个卷积层和一个激活层；其中，卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；下采样层采用核尺寸为2×2的最大池化层；压缩部分输入尺寸为256×256×3，经过第一个压缩块后的输出尺寸为256×256×64，经过第二个压缩块后的输出尺寸为128×128×128，经过第三个压缩块后的输出尺寸为64×64×256个，经过第四个压缩块后的输出尺寸为32×32×512；
所述的最底块中存在两个卷积模块层以及一个下采样层；每个卷积模块层依次包括一个卷积层和一个激活层；其中，卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；最底块输入尺寸为32×32×512，输出尺寸为16×16×1024；
所述的扩展部分包含四个扩展块，前三个扩展块中存在两个卷积模块层和一个上采样层，最后一个扩展块中只存在两个卷积模块层；每个卷积模块层依次包括一个卷积层和一个激活层；除最后一个卷积层外的其他卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；上采样层采用尺寸为2×2的卷积核，第一个上采样层位于最底块与扩展块之间，后三个上采样层位于两个扩展块之间；每个扩展块的输入复制并拼接来自于同一高度的压缩块输出；最后通过核尺寸为1×1的最后一个卷积层过滤提取到的特征，与输入的高光图像拼接，得到尺寸为256×256×4的输出；
所述的空洞残差结构包括输入端、空洞残差网络和输出端，负责增强卷积核的视野区以防止物体色彩纹理信息的大量丢失，并利用U型结构提取到的纹理、边缘特征进行无高光图像的预测；
所述的输入端包含两个卷积模块层，每个卷积模块层依次包括一个卷积层、一个激活层和一个下采样层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；下采样层采用核尺寸为2×2的最大池化层；输入尺寸为256×256×4，经过第一个卷积模块后的输出尺寸为128×128×32，经过第二个卷积模块后的输出尺寸64×64×64；
所述的空洞残差网络包含八个空洞残差块，每个空洞残差块包含两个卷积模块层；每个卷积模块层依次包括一个卷积层和一个激活层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；空洞残差网络输入尺寸为64×64×64，经过第一个空洞残差块后的输出尺寸为64×64×128，经过第二个空洞残差块后的输出尺寸为64×64×128，经过第三个空洞残差块后的输出尺寸为64×64×256，经过第四个空洞残差块后的输出尺寸为64×64×256，经过第五个空洞残差块后的输出尺寸为64×64×512，经过第六个空洞残差块后的输出尺寸为64×64×512，经过第七个空洞残差块后的输出尺寸为64×64×512，经过第八个空洞残差块后的输出尺寸为64×64×512；
所述的输出端包含两个卷积模块层，每个卷积模块层依次包括一个卷积层、一个激活层和一个上采样层；卷积层采用3×3尺寸卷积核，滑动步长为1，零边缘填充尺寸为1；激活层采用ReLU函数；上采样层采用尺寸为2×2的卷积核；输出端的输入尺寸为64×64×512，经过第一个卷积模块后的输出尺寸为128×128×32，经过第二个卷积模块后的输出尺寸为256×256×3；
输出端的最后输出即为预测的无高光图像；
步骤(2).训练去高光网络模型：
(2-1).采用正态分布初始化去高光网络模型中所有权值参数；
(2-2).构建训练数据集：收集用于训练的彩色图像，将所有图像缩放大小为256×256，并扩充数据集，扩充数据集采用旋转或翻转方法；然后从集合中随机选择20～50％的图像组成验证集，剩余的图像组成训练网络的训练数据集；
(2-3).训练网络参数：首先设定学习率为α，采用指数衰减，每β次迭代衰减为原来的γ，每δ次迭代计算一次验证集损失，批尺寸为η；定义损失函数为：n为像素点总数，n＝65536为像素点总数，yi和yi′分别为第i个像素点真实的和预测的无高光强度值；y和y′分别为真值图和无高光预测图，SSIM为结构相似性指数；
然后采用误差反向传播算法迭代更新网络中的各项权值参数；每迭代M_n次后判断当前模型预测输出与真值之间的损失函数s是否小于设定阈值th，th＝4～8：若s<th，则停止迭代，训练结束，输出训练得到的目标检测模型及其对应参数；若s≥th，继续迭代训练，当总的迭代次数达到设定最高次数Iter_max时，训练结束；
所述的测试阶段具体是：模型为端到端模型，若输入图像大小不为256×256，首先将图像缩放至256×256，然后将测试图像输入到模型当中，输出即为预测的无高光图像。
2.如权利要求1所述的一种基于U型空洞残差网络的图像去高光方法，其特征在于：U型结构的压缩部分的四个压缩块中，前三个压缩块的下采样层位于两个压缩块之间，最后一个压缩块的下采样层位于压缩块和U型结构的最底块之间。
3.如权利要求1所述的一种基于U型空洞残差网络的图像去高光方法，其特征在于：空洞残差网络的八个空洞残差块中，前六块空洞残差块还包含快捷连接结构。
4.如权利要求1所述的一种基于U型空洞残差网络的图像去高光方法，其特征在于：空洞残差网络的每个空洞残差块的空洞值为[1,1,2,2,4,4,2,1]。
5.如权利要求1所述的一种基于U型空洞残差网络的图像去高光方法，其特征在于：步骤(2-2)中扩充数据集采用旋转或翻转方法。
6.如权利要求1所述的一种基于U型空洞残差网络的图像去高光方法，其特征在于：步骤(2-3)中，0.00001≤α≤0.0001，1000≤β≤3000，0.8≤γ≤0.9，500≤δ≤1500，η＝4,8。
7.如权利要求1所述的一种基于U型空洞残差网络的图像去高光方法，其特征在于：步骤(2-3)中，500≤M_n≤1500，30000≤Iter_max≤50000。
CN202010461626.8A 2020-05-27 2020-05-27 一种基于u型空洞残差网络的图像去高光方法 Active CN111709886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010461626.8A CN111709886B (zh) 2020-05-27 2020-05-27 一种基于u型空洞残差网络的图像去高光方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010461626.8A CN111709886B (zh) 2020-05-27 2020-05-27 一种基于u型空洞残差网络的图像去高光方法

Publications (2)

Publication Number Publication Date
CN111709886A CN111709886A (zh) 2020-09-25
CN111709886B true CN111709886B (zh) 2023-04-18

Family

ID=72538716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010461626.8A Active CN111709886B (zh) 2020-05-27 2020-05-27 一种基于u型空洞残差网络的图像去高光方法

Country Status (1)

Country Link
CN (1) CN111709886B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763327B (zh) * 2021-08-10 2023-11-24 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596062A (zh) * 2018-04-12 2018-09-28 清华大学 基于深度学习的人脸图片实时高光去除方法及装置
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111179196A (zh) * 2019-12-28 2020-05-19 杭州电子科技大学 一种基于分而治之的多分辨率深度网络图像去高光方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596062A (zh) * 2018-04-12 2018-09-28 清华大学 基于深度学习的人脸图片实时高光去除方法及装置
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111179196A (zh) * 2019-12-28 2020-05-19 杭州电子科技大学 一种基于分而治之的多分辨率深度网络图像去高光方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Fan Q et al..《 A generic deep architecture for single image reflection removal and image smoothing》.《Proceedings of the IEEE International Conference on Computer Vision》.2017,全文. *
Zhixiang Chi et al..《Single Image Reflection Removal Using Deep Encoder-Decoder Network》.《https://arXiv:1802.00094v1》.2018,全文. *
周乐.《基于对抗生成网络的反射去除算法》.《中国优秀硕士学位论文全文数据库信息科技辑》.2018,全文. *
高如新 等.《双边滤波的改进高光去除》.《中国图象图形学报》.2018,全文. *

Also Published As

Publication number Publication date
CN111709886A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111242138B (zh) 一种基于多尺度特征融合的rgbd显著性检测方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110443892B (zh) 一种基于单张图像的三维网格模型生成方法及装置
CN111931787A (zh) 一种基于特征聚合的rgbd显著性检测方法
CN112861690B (zh) 多方法融合的遥感影像变化检测方法及系统
CN109389562A (zh) 图像修复方法及装置
CN111861906B (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN113780132B (zh) 一种基于卷积神经网络的车道线检测方法
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN113450288A (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN115588024B (zh) 一种基于人工智能的复杂工业影像边缘提取方法及装置
CN113139551A (zh) 一种基于DeepLabv3+的改进语义分割方法
CN113066089A (zh) 一种基于注意力引导机制的实时图像语义分割网络
CN111709886B (zh) 一种基于u型空洞残差网络的图像去高光方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN113177956B (zh) 一种面向无人机遥感影像的语义分割方法
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN117197438A (zh) 一种基于视觉显著性的目标检测方法
CN112733756A (zh) 一种基于w散度对抗网络的遥感图像语义分割方法
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN116051407A (zh) 一种图像修复方法
CN115512100A (zh) 基于多尺度特征提取与融合的点云分割方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant