CN107464227A - 一种基于深度神经网络进行去除反射和平滑图像的方法 - Google Patents
一种基于深度神经网络进行去除反射和平滑图像的方法 Download PDFInfo
- Publication number
- CN107464227A CN107464227A CN201710736636.6A CN201710736636A CN107464227A CN 107464227 A CN107464227 A CN 107464227A CN 201710736636 A CN201710736636 A CN 201710736636A CN 107464227 A CN107464227 A CN 107464227A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- msub
- network
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 230000004075 alteration Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 206010003084 Areflexia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 230000014509 gene expression Effects 0.000 abstract description 3
- 210000005036 nerve Anatomy 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于深度神经网络进行去除反射和平滑图像的方法。其主要内容包括：深度神经络结构、边缘预测网络、图像重建网络、反射图像合成、平滑图像生成，其过程为，使用级联边缘和图像学习网络，把直接预测图像的任务分离为预测目标图像的边缘图以及重构目标图像两个子任务，通过级联两个类似的卷积神经网络进行端到端学习完成预测任务，边缘图表示特定任务的目标图像中每对相邻像素之间的色差，但不作为边缘检测问题的稀疏突出结构，由于许多层分离任务缺少标定的事实，故提出一种新型的弱监督学习方法训练去除反射的路径，通过模拟自然场景中的物理反射来合成图像，为遥感领域的新设计，以及医学领域的创新解决方案做了进一步贡献。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及了一种基于深度神经网络进行去除反射和平滑图像的方法。
背景技术
平滑图像是对图像作低通滤波，进行压制、弱化或消除图像中的细节、突变、边缘和噪声等图像处理任务，去除反射是通过计算机算法消除照片中的反射，去除反射和平滑图像常用于遥感，医学，海洋，监控以及摄影等领域。具体的，在遥感领域，在卫星遥感影像图中使用平滑图像和反射去除的相关算法，得到更清晰的目标。在医学领域，可以排除医学图像中的噪声干扰，促进病情诊断。在海洋领域，由于声呐图像像素少品质恶劣，保边去噪显得尤为重要，因此可将其应用于海底小目标声呐图像平滑。而在监控领域，在街道监控中所得到的视频图像常常受到建筑物反射影响，能够通过识别照片中的重影来判断哪部分图像是所需要的，哪部分图像是玻璃反射需要去除的。另外在摄影领域，在飞机，博物馆，水族馆等只能通过玻璃拍摄的场景中，利用去除反射和平滑图像，得到更逼真的图像。由于许多方法仅使用简单的卷积神经网络模型解决问题，并且其传统的过滤方法，操作不灵活，因此，在广泛的去除反射和平滑图像方面，尚且存在一定的挑战。
本发明提出一种基于深度神经网络进行去除反射和平滑图像的方法。使用级联边缘和图像学习网络(CEILNet)，调整层分离和图像过滤等不同的图像处理任务，把直接预测图像的任务分离为预测目标图像的边缘图以及重构目标图像的两个子任务，通过级联两个类似的卷积神经网络(CNN)进行端到端学习完成预测任务，边缘图表示特定任务的目标图像中每对相邻像素之间的色差，但不作为边缘检测问题的稀疏突出结构，由于许多层分离任务缺少标定的事实，故提出一种新型的弱监督学习方法训练去除反射的路径，通过模拟自然场景中的物理反射来合成图像，为遥感领域的新设计，以及医学领域的创新解决方案做了进一步贡献。
发明内容
针对图像合成，提出了一个新的带变异和交叉算子基于随机游走的进化算法，根据现有的图像，在保留原始图像的部分显着特征的情况下直接进行图像合成，为工程领域的新设计，以及艺术领域的创新解决方案做了进一步贡献。
为解决上述问题，本发明提供一种基于深度神经网络进行去除反射和平滑图像的方法，其主要内容包括：
(一)深度神经络结构；
(二)边缘预测网络；
(三)图像重建网络；
(四)反射图像合成；
(五)平滑图像生成。
其中，所述的深度神经网络结构，使用级联边缘和图像学习网络(CEILNet)，调整层分离和图像过滤等不同的图像处理任务，把直接预测图像的任务分离成两个子任务：(i)通过深度监督子网络预测目标图像的边缘图，(ii)改变预测图的边缘映射重构目标图像，通过级联两个类似的CNN进行端到端学习完成预测任务，边缘图表示特定任务的目标图像中每对相邻像素之间的色差，但不作为边缘检测问题的稀疏突出结构，由于许多层分离任务缺少标定的事实，故提出一种新型的弱监督学习方法训练去除反射的路径，通过模拟自然场景中的物理反射来合成图像。
进一步地，所述的边缘预测网络，边缘预测网络(E-CNN)常用于去除反射和平滑图像等图像处理任务，给定源图像IS，采用卷积神经网络(CNN)学习目标图像It的边缘图Et，图像I的边缘图E由下式计算：
其中x,y是像素坐标，c表示三原色光模式色彩空间中的通道，增加源图像Is和边缘图像Es作为输入的附加通道，加快训练过程的收敛，
Et＝f(Is,Es) (2)
E-CNN近似以上f函数。
进一步地，所述的图像重建网络，图像重建网络(I-CNN)是深度神经网络结构的第二个子网络，通过学习E-CNN预测输入图像Is的目标边缘图像Et的过程来重构目标图像It，近似于下面的g函数：
It＝g(Is,Et) (3)
输入图像和目标边缘被组合为一个4声道张量作为输入，在基于边缘图像的平滑图像任务中，I-CNN采用多用途数据驱动来替代传统的固定滤波操作。
其中，所述的卷积神经网络，两个子网络仅在最终输出的通道数量上不同，即对于E-CNN而言通道数量为1，对于I-CNN而言为3，使用32个内核尺寸为3×3的相同卷积层，中间的30个卷积层的输入和输出特征图尺寸为64，31层之后是批量归一化和ReLU激活函数，为了得到更好的上下文信息，下采样内部特征图到一半大小来扩大接收域，然后将第三卷积层的步幅改变为2进行上采样，第三到最后一层卷积层以步幅2进行反卷积，内核大小为4×4，通过这种方式，有效扩大接收域且不会损失图像细节，将中间的26个卷积层用作13个残差单元，以获得更好的性能和更快的收敛性，为了解决深度网络中的颜色衰减问题，通过和放大预测图像，全局色彩校正在I-CNN后作为一个无参数层实施。
其中，所述的训练，首先用标定的真实图像及其边缘图分别对子网络进行训练，以保证每个独立网络的最佳表现，然后对整个网络进行端到端的调整，令两个子网络有更多的机会相互配合，将其预测的均方误差进行最小化来训练子网络，其中符号*表示标定的图像，边缘预测损失为：
对于图像预测，最大限度地减少均方误差的颜色差异和渐变的差异：
联合培训阶段，通过最小化损失来训练整个网络：
l(θ)＝lI(θ)+γlE(θ) (6)
对于去除反射和平滑图像的所有实验，损失系数设置为α＝0.2，β＝γ＝0.4，初始化卷积权重，并训练所有网络，学习率在初始迭代中设置为0.01，微调整个网络后，学习率降低到0.001。
进一步地，所述的反射图像合成，根据菲涅耳方程，当入射光穿过具有不同折射率的介质时，该光的一部分将被反射回图像平面，这种反射光对人眼或相机的实际可视性取决于背景场景中传输光的相对强度，因此，通过反射层，透射适度光的背景层部分将被明显地阻挡，因此具有弱比例反射分量的附加模型在物理上并不合理，基于上述观察，开发出一种新方法以合成具有真实背景和反射层的图像，与初始图像混合的一个关键区别在于避免亮度溢出问题，并通过裁剪减去自适应计算的值，这种方式存在以下情况：(i)可能出现与自然现象一致的无反射区域，(ii)其它区域可能会发生强烈的反射，(iii)可以更好地保持反射对比度。
其中，所述的去除反射，使用两个自然图像生成一个包含背景层和反射层的合成图像，得到合成图像，将这些图像分成7643张图像的训练集和850张图像的测试集，用于定量比较，通过R＝I-B计算反射图像估计，调整每个图像的的参数，以获得最佳的视觉效果。
进一步地，所述的平滑图像生成，对于平滑图像，对网络进行训练，以得到现有滤波器的效果，训练数据和测试数据通过应用这些滤波器存在的数据库生成平滑图像。
其中，所述的平滑图像，其特征在于，使用数据集中的自然图像作为输入，并使用现有的平滑图像算法作为标定实例生成滤波图像，把这些图像馈送到网络但不进行裁剪，并在数据集中随机选取100张图像进行测试，结果表明深度神经网络对反射图像合成和平滑图像生成都有良好的促进效果。
附图说明
图1是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的系统流程图。
图2是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的网络结构图。
图3是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的去除反射图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的系统流程图。主要包括深度神经络结构、边缘预测网络、图像重建网络、反射图像合成、平滑图像生成。
其中，所述的深度神经网络结构，使用级联边缘和图像学习网络(CEILNet)，调整层分离和图像过滤等不同的图像处理任务，把直接预测图像的任务分离成两个子任务：(i)通过深度监督子网络预测目标图像的边缘图，(ii)改变预测图的边缘映射重构目标图像，通过级联两个类似的CNN进行端到端学习完成预测任务，边缘图表示特定任务的目标图像中每对相邻像素之间的色差，但不作为边缘检测问题的稀疏突出结构，由于许多层分离任务缺少标定的事实，故提出一种新型的弱监督学习方法训练去除反射的路径，通过模拟自然场景中的物理反射来合成图像。
图2是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的网络结构图。其中，所述的边缘预测网络，边缘c预测网络(E-CNN)常用于去除反射和平滑图像等图像处理任务，给定源图像IS，采用卷积神经网络(CNN)学习目标图像It的边缘图Et，图像I的边缘图E由下式计算：
其中x,y是像素坐标，c表示三原色光模式色彩空间中的通道，增加源图像Is和边缘图像Es作为输入的附加通道，加快训练过程的收敛，
Et＝f(Is,Es) (2)
E-CNN近似以上f函数。
进一步地，所述的图像重建网络，图像重建网络(I-CNN)是深度神经网络结构的第二个子网络，通过学习E-CNN预测输入图像Is的目标边缘图像Et的过程来重构目标图像It，近似于下面的g函数：
It＝g(Is,Et) (3)
输入图像和目标边缘被组合为一个4声道张量作为输入，在基于边缘图像的平滑图像任务中，I-CNN采用多用途数据驱动来替代传统的固定滤波操作。
其中，所述的卷积神经网络，两个子网络仅在最终输出的通道数量上不同，即对于E-CNN而言通道数量为1，对于I-CNN而言为3，使用32个内核尺寸为3×3的相同卷积层，中间的30个卷积层的输入和输出特征图尺寸为64，31层之后是批量归一化和ReLU激活函数，为了得到更好的上下文信息，下采样内部特征图到一半大小来扩大接收域，然后将第三卷积层的步幅改变为2进行上采样，第三到最后一层卷积层以步幅2进行反卷积，内核大小为4×4，通过这种方式，有效扩大接收域且不会损失图像细节，将中间的26个卷积层用作13个残差单元，以获得更好的性能和更快的收敛性，为了解决深度网络中的颜色衰减问题，通过和放大预测图像，全局色彩校正在I-CNN后作为一个无参数层实施。
其中，所述的训练，首先用标定的真实图像及其边缘图分别对子网络进行训练，以保证每个独立网络的最佳表现，然后对整个网络进行端到端的调整，令两个子网络有更多的机会相互配合，将其预测的均方误差进行最小化来训练子网络，其中符号*表示标定的图像，边缘预测损失为：
对于图像预测，最大限度地减少均方误差的颜色差异和渐变的差异：
联合培训阶段，通过最小化损失来训练整个网络：
l(θ)＝lI(θ)+γlE(θ) (6)
对于去除反射和平滑图像的所有实验，损失系数设置为α＝0.2，β＝γ＝0.4，初始化卷积权重，并训练所有网络，学习率在初始迭代中设置为0.01，微调整个网络后，学习率降低到0.001。
进一步地，所述的反射图像合成，根据菲涅耳方程，当入射光穿过具有不同折射率的介质时，该光的一部分将被反射回图像平面，这种反射光对人眼或相机的实际可视性取决于背景场景中传输光的相对强度，因此，通过反射层，透射适度光的背景层部分将被明显地阻挡，因此具有弱比例反射分量的附加模型在物理上并不合理，基于上述观察，开发出一种新方法以合成具有真实背景和反射层的图像，与初始图像混合的一个关键区别在于避免亮度溢出问题，并通过裁剪减去自适应计算的值，这种方式存在以下情况：(i)可能出现与自然现象一致的无反射区域，(ii)其它区域可能会发生强烈的反射，(iii)可以更好地保持反射对比度。
图3是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的去除反射图。其中，所述的去除反射，使用两个自然图像生成一个包含背景层和反射层的合成图像，得到合成图像，将这些图像分成7643张图像的训练集和850张图像的测试集，用于定量比较，通过R＝I-B计算反射图像估计，调整每个图像的的参数，以获得最佳的视觉效果。
进一步地，所述的平滑图像生成，对于平滑图像，对网络进行训练，以得到现有滤波器的效果，训练数据和测试数据通过应用这些滤波器存在的数据库生成平滑图像。
其中，所述的平滑图像，其特征在于，使用数据集中的自然图像作为输入，并使用现有的平滑图像算法作为标定实例生成滤波图像，把这些图像馈送到网络但不进行裁剪，并在数据集中随机选取100张图像进行测试，结果表明深度神经网络对反射图像合成和平滑图像生成都有良好的促进效果。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于深度神经网络进行去除反射和平滑图像的方法，其特征在于，主要包括深度神经网络结构(一)；边缘预测网络(二)；图像重建网络(三)；反射图像合成(四)；平滑图像生成(五)。
2.基于权利要求书1所述的深度神经网络结构(一)，其特征在于，使用级联边缘和图像学习网络(CEILNet)，调整层分离和图像过滤等不同的图像处理任务，把直接预测图像的任务分离成两个子任务：(i)通过深度监督子网络预测目标图像的边缘图，(ii)改变预测图的边缘映射重构目标图像，通过级联两个类似的CNN进行端到端学习完成预测任务，边缘图表示特定任务的目标图像中每对相邻像素之间的色差，但不作为边缘检测问题的稀疏突出结构，由于许多层分离任务缺少标定的事实，故提出一种新型的弱监督学习方法训练去除反射的路径，通过模拟自然场景中的物理反射来合成图像。
3.基于权利要求书1所述的边缘预测网络(二)，其特征在于，边缘预测网络(E-CNN)常用于去除反射和平滑图像等图像处理任务，给定源图像IS，采用卷积神经网络(CNN)学习目标图像It的边缘图Et，图像I的边缘图E由下式计算：
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>4</mn>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>c</mi>
</munder>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>x</mi>
<mo>-</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中x,y是像素坐标，c表示三原色光模式色彩空间中的通道，增加源图像Is和边缘图像Es作为输入的附加通道，加快训练过程的收敛，
Et＝f(Is,Es) (2)
E-CNN近似以上f函数。
4.基于权利要求书1所述的图像重建网络(三)，其特征在于，图像重建网络(I-CNN)是深度神经网络结构的第二个子网络，通过学习E-CNN预测输入图像Is的目标边缘图像Et的过程来重构目标图像It，近似于下面的g函数：
It＝g(Is,Et) (3)
输入图像和目标边缘被组合为一个4声道张量作为输入，在基于边缘图像的平滑图像任务中，I-CNN采用多用途数据驱动来替代传统的固定滤波操作。
5.基于权利要求书3所述的卷积神经网络，其特征在于，两个子网络仅在最终输出的通道数量上不同，即对于E-CNN而言通道数量为1，对于I-CNN而言为3，使用32个内核尺寸为3×3的相同卷积层，中间的30个卷积层的输入和输出特征图尺寸为64，31层之后是批量归一化和ReLU激活函数，为了得到更好的上下文信息，下采样内部特征图到一半大小来扩大接收域，然后将第三卷积层的步幅改变为2进行上采样，第三到最后一层卷积层以步幅2进行反卷积，内核大小为4×4，通过这种方式，有效扩大接收域且不会损失图像细节，将中间的26个卷积层用作13个残差单元，以获得更好的性能和更快的收敛性，为了解决深度网络中的颜色衰减问题，通过和放大预测图像，全局色彩校正在I-CNN后作为一个无参数层实施。
6.基于权利要求书3所述的训练，其特征在于，首先用标定的真实图像及其边缘图分别对子网络进行训练，以保证每个独立网络的最佳表现，然后对整个网络进行端到端的调整，令两个子网络有更多的机会相互配合，将其预测的均方误差进行最小化来训练子网络，其中符号*表示标定的图像，边缘预测损失为：
<mrow>
<msub>
<mi>l</mi>
<mi>E</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>E</mi>
<mi>t</mi>
</msup>
<mo>-</mo>
<msup>
<mi>E</mi>
<mrow>
<mi>t</mi>
<mo>*</mo>
</mrow>
</msup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
对于图像预测，最大限度地减少均方误差的颜色差异和渐变的差异：
<mrow>
<msub>
<mi>l</mi>
<mi>E</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>I</mi>
<mi>t</mi>
</msup>
<mo>-</mo>
<msup>
<mi>I</mi>
<mrow>
<mi>t</mi>
<mo>*</mo>
</mrow>
</msup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&beta;</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mo>&dtri;</mo>
<mi>x</mi>
</msub>
<msup>
<mi>I</mi>
<mi>t</mi>
</msup>
<mo>-</mo>
<msub>
<mo>&dtri;</mo>
<mi>x</mi>
</msub>
<msup>
<mi>I</mi>
<mrow>
<mi>t</mi>
<mo>*</mo>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>+</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mo>&dtri;</mo>
<mi>y</mi>
</msub>
<msup>
<mi>I</mi>
<mi>t</mi>
</msup>
<mo>-</mo>
<msub>
<mo>&dtri;</mo>
<mi>y</mi>
</msub>
<msup>
<mi>I</mi>
<mrow>
<mi>t</mi>
<mo>*</mo>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
联合培训阶段，通过最小化损失来训练整个网络：
l(θ)＝lI(θ)+γlE(θ) (6)
对于去除反射和平滑图像的所有实验，损失系数设置为α＝0.2，β＝γ＝0.4，初始化卷积权重，并训练所有网络，学习率在初始迭代中设置为0.01，微调整个网络后，学习率降低到0.001。
7.基于权利要求书1所述的反射图像合成(四)，其特征在于，根据菲涅耳方程，当入射光穿过具有不同折射率的介质时，该光的一部分将被反射回图像平面，这种反射光对人眼或相机的实际可视性取决于背景场景中传输光的相对强度，因此，通过反射层，透射适度光的背景层部分将被明显地阻挡，因此具有弱比例反射分量的附加模型在物理上并不合理，基于上述观察，开发出一种新方法以合成具有真实背景和反射层的图像，与初始图像混合的一个关键区别在于避免亮度溢出问题，并通过裁剪减去自适应计算的值，这种方式存在以下情况：(i)可能出现与自然现象一致的无反射区域，(ii)其它区域可能会发生强烈的反射，(iii)可以更好地保持反射对比度。
8.基于权利要求书7所述的去除反射，其特征在于，使用两个自然图像生成一个包含背景层和反射层的合成图像，得到合成图像，将这些图像分成7643张图像的训练集和850张图像的测试集，用于定量比较，通过R＝I-B计算反射图像估计，调整每个图像的的参数，以获得最佳的视觉效果。
9.基于权利要求书1所述的平滑图像生成(五)，其特征在于，对于平滑图像，对网络进行训练，以得到现有滤波器的效果，训练数据和测试数据通过应用这些滤波器存在的数据库生成平滑图像。
10.基于权利要求书9所述的平滑图像，其特征在于，使用数据集中的自然图像作为输入，并使用现有的平滑图像算法作为标定实例生成滤波图像，把这些图像馈送到网络但不进行裁剪，并在数据集中随机选取100张图像进行测试，结果表明深度神经网络对反射图像合成和平滑图像生成都有良好的促进效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710736636.6A CN107464227A (zh) | 2017-08-24 | 2017-08-24 | 一种基于深度神经网络进行去除反射和平滑图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710736636.6A CN107464227A (zh) | 2017-08-24 | 2017-08-24 | 一种基于深度神经网络进行去除反射和平滑图像的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107464227A true CN107464227A (zh) | 2017-12-12 |
Family
ID=60550519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710736636.6A Withdrawn CN107464227A (zh) | 2017-08-24 | 2017-08-24 | 一种基于深度神经网络进行去除反射和平滑图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107464227A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280453A (zh) * | 2018-01-08 | 2018-07-13 | 西安电子科技大学 | 基于深度学习的低功耗快速检测图像目标方法 |
| CN108710945A (zh) * | 2018-05-04 | 2018-10-26 | 广州华多网络科技有限公司 | 深度神经网络的下采样方法、装置和计算机设备 |
| CN109191401A (zh) * | 2018-08-30 | 2019-01-11 | 西安电子科技大学 | 一种基于并联残差网络模型的红外图像非均匀性校正方法 |
| CN109919854A (zh) * | 2019-01-16 | 2019-06-21 | 中德（珠海）人工智能研究院有限公司 | 一种缺少区域预测的方法以及系统 |
| CN110827207A (zh) * | 2019-09-17 | 2020-02-21 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN111275646A (zh) * | 2020-01-20 | 2020-06-12 | 南开大学 | 一种基于深度学习知识蒸馏技术的保边图像平滑方法 |
| CN112204574A (zh) * | 2018-05-21 | 2021-01-08 | 莫维迪乌斯有限公司 | 使用卷积神经网络来重建场景的方法、系统、制品和装置 |
| CN112232430A (zh) * | 2020-10-23 | 2021-01-15 | 浙江大华技术股份有限公司 | 神经网络模型测试方法、装置、存储介质及电子装置 |
| CN112598598A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 一种基于两级反射光消除网络的图像反射光去除方法 |
| CN112634161A (zh) * | 2020-12-25 | 2021-04-09 | 南京信息工程大学滨江学院 | 基于两级反射光消除网络和像素损失的反射光去除方法 |
| CN112907701A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 获取图像的方法、装置、计算机设备和存储介质 |
| TWI768517B (zh) * | 2020-10-21 | 2022-06-21 | 國立政治大學 | 影像品質提昇方法及使用該方法的影像處理裝置 |
| US11528435B2 (en) | 2020-12-25 | 2022-12-13 | Industrial Technology Research Institute | Image dehazing method and image dehazing apparatus using the same |
-
2017
- 2017-08-24 CN CN201710736636.6A patent/CN107464227A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| QINGNAN FAN等: "A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing", 《HTTPS://ARXIV.ORG/ABS/1708.03474V1》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280453B (zh) * | 2018-01-08 | 2020-06-16 | 西安电子科技大学 | 基于深度学习的低功耗快速检测图像目标方法 |
| CN108280453A (zh) * | 2018-01-08 | 2018-07-13 | 西安电子科技大学 | 基于深度学习的低功耗快速检测图像目标方法 |
| CN108710945A (zh) * | 2018-05-04 | 2018-10-26 | 广州华多网络科技有限公司 | 深度神经网络的下采样方法、装置和计算机设备 |
| CN112204574A (zh) * | 2018-05-21 | 2021-01-08 | 莫维迪乌斯有限公司 | 使用卷积神经网络来重建场景的方法、系统、制品和装置 |
| CN109191401A (zh) * | 2018-08-30 | 2019-01-11 | 西安电子科技大学 | 一种基于并联残差网络模型的红外图像非均匀性校正方法 |
| CN109919854A (zh) * | 2019-01-16 | 2019-06-21 | 中德（珠海）人工智能研究院有限公司 | 一种缺少区域预测的方法以及系统 |
| CN110827207A (zh) * | 2019-09-17 | 2020-02-21 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN110827207B (zh) * | 2019-09-17 | 2022-12-02 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN112907701A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 获取图像的方法、装置、计算机设备和存储介质 |
| CN111275646A (zh) * | 2020-01-20 | 2020-06-12 | 南开大学 | 一种基于深度学习知识蒸馏技术的保边图像平滑方法 |
| TWI768517B (zh) * | 2020-10-21 | 2022-06-21 | 國立政治大學 | 影像品質提昇方法及使用該方法的影像處理裝置 |
| US11948278B2 (en) | 2020-10-21 | 2024-04-02 | National Chengchi University | Image quality improvement method and image processing apparatus using the same |
| CN112232430A (zh) * | 2020-10-23 | 2021-01-15 | 浙江大华技术股份有限公司 | 神经网络模型测试方法、装置、存储介质及电子装置 |
| CN112634161A (zh) * | 2020-12-25 | 2021-04-09 | 南京信息工程大学滨江学院 | 基于两级反射光消除网络和像素损失的反射光去除方法 |
| CN112598598A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 一种基于两级反射光消除网络的图像反射光去除方法 |
| CN112634161B (zh) * | 2020-12-25 | 2022-11-08 | 南京信息工程大学滨江学院 | 基于两级反射光消除网络和像素损失的反射光去除方法 |
| US11528435B2 (en) | 2020-12-25 | 2022-12-13 | Industrial Technology Research Institute | Image dehazing method and image dehazing apparatus using the same |
| CN112598598B (zh) * | 2020-12-25 | 2023-11-28 | 南京信息工程大学滨江学院 | 一种基于两级反射光消除网络的图像反射光去除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107464227A (zh) | 一种基于深度神经网络进行去除反射和平滑图像的方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| Raihan A et al. | Review of underwater image restoration algorithms | |
| CN109712165A (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
| Nair et al. | Image mining applications for underwater environment management-A review and research agenda | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| Ding et al. | Jointly adversarial network to wavelength compensation and dehazing of underwater images | |
| Frants et al. | QCNN-H: Single-image dehazing using quaternion neural networks | |
| Wu et al. | FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN111275638A (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| Zhou et al. | Domain adaptive adversarial learning based on physics model feedback for underwater image enhancement | |
| Xue et al. | TC-net: transformer combined with cnn for image denoising | |
| Ferraioli et al. | A novel cost function for despeckling using convolutional neural networks | |
| CN117115669B (zh) | 双条件质量约束的对象级地物样本自适应生成方法及系统 | |
| Wang et al. | Low-light image enhancement based on GAN with attention mechanism and color Constancy | |
| CN111476739B (zh) | 水下图像增强方法、系统及存储介质 | |
| Yassin et al. | Using discrete wavelet transformation to enhance underwater image | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| Hepburn et al. | Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance | |
| CN115880176A (zh) | 多尺度非成对水下图像增强方法 | |
| Xu et al. | Learning-based dark and blurred underwater image restoration | |
| Tang et al. | Multi-scale convolution underwater image restoration network | |
| Yu et al. | A hybrid model-based and data-driven approach for cloud removal in satellite imagery using multi-scale distortion-aware networks | |
| Kim et al. | Bidirectional Deep Residual learning for Haze Removal. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171212 |
|
| WW01 | Invention patent application withdrawn after publication |