CN109658348A - 基于深度学习的联合噪声估计和图像去噪方法 - Google Patents
基于深度学习的联合噪声估计和图像去噪方法 Download PDFInfo
- Publication number
- CN109658348A CN109658348A CN201811366509.2A CN201811366509A CN109658348A CN 109658348 A CN109658348 A CN 109658348A CN 201811366509 A CN201811366509 A CN 201811366509A CN 109658348 A CN109658348 A CN 109658348A
- Authority
- CN
- China
- Prior art keywords
- noise
- network
- image
- estimation
- variance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属，为实现对实际噪声的方差进行更为精确的估计，并利用估计的噪声方差辅助进行图像的去噪，本发明，基于深度学习的联合噪声估计和图像去噪方法，通过卷积神经网络预测噪声η的方差∑，并借助于∑预测噪声强度值从而求解原无噪声图像具体步骤如下：步骤1：数据准备；步骤:2：设计噪声方差估计的网络架构；步骤3：构建图像去噪的网络架构；步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计；步骤5：设置网络参数。本发明主要应用于实际噪声的方差进行更为精确的估计场合。
Description
技术领域
本发明属于计算机视觉领域。涉及到图像噪声水平的估计和利用估计的噪声水平进行图像的去噪。具体讲,涉及基于深度学习的联合噪声估计和图像去噪方法。
背景技术
在很多情况下，我们需要把相机的感光度(ISO)设置为较高值，比如，抓拍快速移动的物体，在光线较暗的情况下记录一些细节，为避免模糊而不采用三脚架拍照等类似情况。但是，高ISO值也会产生更高的噪声。因高ISO值读入的噪声在经过相机内的非线性处理后，其统计特性往往要比高斯模型更加复杂，一个噪声点的噪声值不仅表现出与周围噪声在空间上的关联性，而且在单一像素点的各个颜色通道之间也表现有一定的关联性。而现有的技术大多是去除高斯噪声，对于高ISO值产生的噪声的研究工作还比较少。
图像去噪主要分为两个步骤，估计图像噪声水平和去噪。然而，在噪声水平估计这一阶段，现有的工作大部分都是对高斯分布和泊松分布的噪声水平进行估计。对于高斯噪声，其以单一参数表示图像整体的噪声水平，目前的前沿技术已经能够很准确的估计这一参数。对于泊松分布的噪声，用噪声水平函数(NLF)曲线描述噪声水平与信号强度之间的映射关系，但是，这种线模型仅适用于线性处理后的图片。而在日常生活中常见的是JPEG图片格式，这种图片格式的噪声水平是像素级的，相比较而言，噪声估计有一定难度。
而在图像去噪方面，目前的很多工作都是关注于去除高斯噪声，很少有去研究实际噪声。由于实际噪声在空间、颜色通道和频率上的相关性，这对图像的去噪增加了更大的挑战性。
近年来，随着深度学习技术的不断发展，其被越来越多地用到计算机视觉这一方面，并且取得了很好地效果。经观察，实际图像的噪声方差与图片的内容具有高度的相关性，如图1所示，而卷积神经网络很适合于提取图像的特征，所以，利用卷积神经网络学习噪声水平并进行去噪，为我们提供了很好地解决方案。
发明内容
为克服现有技术的不足，本发明基于卷积神经网络(CNN)，旨在对实际噪声的方差进行更为精确的估计，并利用估计的噪声方差辅助进行图像的去噪。为此，本发明采用的技术方案是，基于深度学习的联合噪声估计和图像去噪方法，对于一给定的带噪图像的图像模型为：
X＝Y+η (1)
其中，X代表带噪图像，Y代表原图像，η则为在相机处理过程中引入的噪声；
通过卷积神经网络预测噪声η的方差∑，并借助于∑预测噪声强度值从而求解原无噪声图像具体步骤如下：
步骤1：数据准备。
步骤1.1：数据集图片分别是四种相机拍摄，其中，无噪声图片的获得是通过对一静态场景连续拍摄500次，然后取平均值，通过取带噪图像与无噪声图像的差值，作为正确噪声的标注图，而噪声方差图也是反映500张图片对于无噪声图片的波动，然后对方差图开根号，求标准差，然后对标准差进行归一化；
步骤1.2：为增加数据量，从每一类数据集里的带噪大图中截取48*48*3大小的数据块，作为网络的输入数据，其中截取的图片之间允许有部分内容重叠，与之对应的噪声标准差图像块和噪声图像块分别作为噪声估计和去噪网络的标注；
步骤:2：设计噪声方差估计的网络架构
步骤2.1：由于噪声方差与图像内容的相关性，采用去噪卷积神经网络DnCNN网络架构，具体为1×(卷积层+修正线性单元ReLU层)—15×(卷积层+ReLU层+批规范化BN层)—1×(卷积层)—1×(损失层)，卷积层内核均为3×3大小，其中，数字意味着网络中含有多少相同的网络结构，BN是BatchNormal的缩写；
步骤2.2：基于噪声方差的拜耳(Bayer)模式，在DnCNN网络的卷积层之前加入堆叠pack层，用于将带噪图像X按照拜耳模式进行降采样，产生4个子图，即对于一个2*2的二维图像块，按照贝尔模式将图像块在深度方向上堆叠为4维图像，而对于一个三维彩色图像，其2*2*3图像块经拜耳降采样后，在深度上堆叠为12维图像；
步骤2.3：损失函数设定为：
其中，考虑计算量和运算速度，采用标准差来代替方差，表示正确的噪声方差标注，N代表训练过程中每一个小批量数据里的图片数，代表通过卷积网络F(Xi,θ1)预测的噪声标准差，||·||F代表弗罗贝尼乌斯范数(Forbenious norm)；
步骤3：构建图像去噪的网络架构
步骤3.1：将估计的噪声标准差与带噪图像在深度方向上级联，然后再带入DnCNN网络预测噪声值，即具体的去噪网络是1×(级联层)—1×(卷积层+ReLU层)—15×(卷积层+ReLU层+BatchNormal层)—1×(卷积层)—1×(损失层)，其中，卷积层内核均为3×3大小；
步骤3.2：损失函数也设定为均方值误差函数：
其中，η是噪声标注，为通过去噪网络预测的噪声；
步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计；
步骤5：设置网络参数。网络在caffe框架下训练，其中网络中卷积核均为3*3大小，每一个卷积层卷积核个数为64。
进一步具体地：
步骤4.1：为扩大数据量，网络的输入层之后，加入一层数据增广层，用于实现图像在训练过程中实时进行翻转等操作，增大数据量；
步骤4.2：整个网络的损失函数是步骤1.3和步骤2.2里的损失函数的凸组合：
L＝αL1+βL2 (4)
其中，经验证，取α为0.3，β为0.7；
步骤5：在每一次卷积时采用0进行填充。初始学习率设为10-4，并设定大约每6个epoch后，学习率降为原来的1/10，在训练时，所有训练图像通过网络训练一次为一个epoch，优化算法采用自适应时刻估计方法，即Adam(Adaptive Moment Estimation)算法，该算法能计算每个参数的自适应学习率，其中动量momentum1设为0.9，动量momentum2设置为0.999，权重衰减系数设定为0.0005，训练迭代次数设定为20个epoch。
本发明的特点及有益效果是：
本发明方法针对实际噪声的噪声水平由于与图像内容相关，且较难估计的现状，提出利用卷积神经网并结合噪声水平的拜耳分布模式进行噪声水平的估计，以获得较高准确度的估值。并同时利用估计的噪声水平辅助网络学习估计噪声残差，然后求取去噪的图像。本发明具有以下特点：
1、利用卷积网络估计噪声水平，充分利用了深度学习的优越性。
2、利用估计噪声水平辅助图像去噪的网络，提高网络去噪的性能。
3、在图像去噪网络中，学习的是噪声残差，而不是去噪后的图像，这样效果要比直接学习干净图片要相对好。
附图说明：
图1是噪声方差图的示意图
其中(a)是用尼康(Nikon)D800相机在ISO6400模式下拍摄的噪声图像，(b)是与之对应的红色通道的噪声方差图，(c)是图(b)里红色方框内容的放大版，显示了噪声方差图的拜耳模式。
图2是组合后的网络架构图，其中d1和d2均代表网络的深度。
图3是室内图去噪结果对比图
其中，(a)是用Nikon D800相机在ISO6400模式下拍摄的图像，图(b)是用NikonD600相机在ISO3200模式下拍摄的图像。去噪结果均是以峰值信噪比(PSNR)作为指标，为进行算法优劣的比较，选择了目前较为前沿的图像去噪算法。其中，稀疏三维变换域协同滤波(CBM3D)算法和DnCNN算法是用于去除高斯噪声，NC算法和多通道加权核范数最小化(MC-WNNM)算法、岳等人算法[6]和本人算法是去除实际噪声算法。
图4是室外图去噪结果对比图
其中，(a)是用Nikon D800相机在ISO6400模式下拍摄的图像，图(b)是用NikonD800相机在ISO3200模式下拍摄的图像。对比算法和图3一致，但是由于室外图缺少无噪声图像，所以不以PSNR作为参考标准，只给出视觉对比效果图。
具体实施方式
本发明属于计算机视觉领域。涉及到图像噪声水平的估计和利用估计的噪声水平进行图像的去噪。具体讲通过卷积神经网络对图像每一个像素点的噪声的标准差进行估计，然后将估计的噪声标准差图像和原带噪图像级联，带入卷积神经网络，学习出噪声，进而通过带噪图像减去噪声还原去噪图像。
本发明基于卷积神经网络(CNN)，旨在对实际噪声的方差进行更为精确的估计，并利用估计的噪声方差辅助进行图像的去噪。对于一给定的带噪图像，我们假设其图像模型为：
X＝Y+η (1)
其中，X代表带噪图像，Y代表原图像，η则为在相机处理过程中引入的噪声。
我们的工作即是通过卷积神经网络预测噪声η的方差∑，并借助于∑预测噪声强度值从而求解原无噪声图像具体步骤如下：
步骤1：数据准备。
步骤1.1：数据集来自于其他一篇论文里的数据，其中图片类型共分为四种，分别是Nikon D800 ISO3200、Nikon D800 ISO6400、Nikon D600 ISO3200和Canon EOS 5DISO3200。其中，无噪声图片的获得是通过对一静态场景连续拍摄500次，然后取平均值。通过取带噪图像与无噪声图像的差值，作为正确噪声的标注图，而噪声方差图也是反映500张图片对于无噪声图片的波动，然后对方差图开根号，求标准差，然后对标准差进行归一化。
步骤1.2：为增加数据量，从每一类数据集里的带噪大图中截取48*48*3大小的数据块，作为网络的输入数据，其中截取的图片之间允许有部分内容重叠。与之对应的噪声标准差图像块和噪声图像块分别作为噪声估计和去噪网络的标注。
步骤:2：设计噪声方差估计的网络架构
步骤2.1：由于噪声方差与图像内容的相关性，采用卷积神经网络架构，而借鉴于DnCNN的优越性和运算速度，采用DnCNN网络架构。具体为1*(卷积层+ReLU层)—15*(卷积层+ReLU层+BatchNormal层)—1*(卷积层)—1*(损失层)，其中，卷积层内核均为3*3大小。其中，数字意味着网络中含有多少相同的网络结构，例如15代表有15个卷积层+BatchNormal层+ReLU层依次连接起来。
步骤2.2：基于噪声方差的拜耳(Bayer)模式，如图1所示，在DnCNN网络的卷积层之前加入pack层，用于将带噪图像X按照拜耳模式进行降采样，产生4个子图。即对于一个2*2的二维图像块，按照贝尔模式将图像块在深度方向上堆叠为4维图像，而对于一个三维彩色图像，其2*2*3图像块经拜耳降采样后，在深度上堆叠为12维图像。
步骤2.3：损失函数设定为：
其中，考虑计算量和运算速度，采用标准差来代替方差，表示正确的噪声方差标注，N代表训练过程中每一个小批量数据里的图片数，代表通过卷积网络F(Xi,θ1)预测的噪声标准差，||·||F代表弗罗贝尼乌斯范数(Forbenious norm)。
步骤3：构建图像去噪的网络架构
步骤3.1：将估计的噪声标准差与带噪图像在深度方向上级联，然后再带入DnCNN网络预测噪声值。即具体的去噪网络是1*(级联层)—1*(卷积层+ReLU层)—15*(卷积层+ReLU层+BatchNormal层)—1*(卷积层)—1*(损失层)，其中，卷积层内核均为3*3大小。
步骤3.2：损失函数也设定为均方值误差函数：
其中，η是噪声标注，为通过去噪网络预测的噪声。
步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计。
步骤4.1：为扩大数据量，网络的输入层之后，加入一层数据增广层(augmentationlayer)，用于实现图像在训练过程中实时进行翻转等操作，增大数据量。
步骤4.2：整个网络的损失函数是步骤1.3和步骤2.2里的损失函数的凸组合：
L＝αL1+βL2 (4)
其中，经验证，取α为0.3，β为0.7。
步骤5：设置网络参数。网络再caffe框架下训练，其中网络中卷积核均为3*3大小，每一个卷积层卷积核个数为64。为保证每一次卷积之后，图片大小不变，并同时避免边界效应，在每一次卷积时采用0进行填充。初始学习率设为10-4，并设定大约每6个epoch后，学习率降为原来的1/10。优化算法采用Adam算法，其中动量1(momentum1)设为0.9，动量2(momentum2)设置为0.999。为避免过拟合，权重衰减系数设定为0.0005。训练迭代次数设定为20个epoch。
在一个实例中，本发明按照以下步骤具体实施：
步骤1：准备数据集。
步骤1.1：训练和测试的数据集均来自于其他一篇论文(论文名—《A holisticapproach to cross-channel image noise modeling and its application to imagedenoising》)里的数据，因为只有这篇论文里有带噪图像和与之对应的无噪声图像和噪声方差图。其中图片类型共分为四种，本别是Nikon D800 ISO3200、Nikon D800 ISO6400、Nikon D600 ISO3200和Canon EOS 5D ISO3200。然后取带噪图像与相对应的无噪声图像的差值，作为正确噪声值的标注，噪声方差图开根号，求标准差，然后对标准差进行归一化。
步骤1.2：从每一类数据集里的大图中截取48*48*3大小的数据块，作为网络的输入数据，其中截取步长为16，所以截取的图片之间允许有部分内容重叠。与之对应的噪声标准差图像块和噪声图像块分别作为噪声估计和去噪网络的标注。
步骤:2：设计噪声标准差估计的网络架构
步骤2.1：采用卷积神经网络估计噪声方差图，而借鉴于DnCNN的优越性和运算速度，所以采用DnCNN网络架构。具体网络结构为1*(卷积层+ReLU层)—15*(卷积层+ReLU层+BatchNormal层)—1*(卷积层)—1*(损失层)。其中，数字意味着网络中含有多少相同的网络结构，例如15代表有15个卷积层+BatchNormal层+ReLU层依次连接起来。
步骤2.2：基于噪声方差的拜耳(Bayer)模式，在DnCNN网络的卷积层之前加入pack层，用于将带噪图像X按照拜耳模式进行降采样。即对于一个2*2的二维图像块，按照贝尔模式将图像块在深度方向上堆叠为4维图像，而对于一个三维彩色图像，其2*2*3图像块经拜耳降采样后，在深度上堆叠为12维图像。
步骤2.3：损失函数设定为：
其中，θ1代表估计网络的参数考虑计算量和运算速度，采用标准差来代替方差，表示正确的噪声标准差标注，N代表训练过程中每一个小批量数据里的图片数，代表通过卷积网络F(Xi,θ1)预测的噪声标准差，||·||F代表弗罗贝尼乌斯范数(Forbeniousnorm)。
步骤3：构建图像去噪的网络架构
步骤3.1：将估计的噪声标准差与带噪图像在深度方向上级联，然后再带入DnCNN网络预测噪声值。即具体的去噪网络是1*(级联层)—1*(卷积层+ReLU层)—15*(卷积层+BatchNormal层+ReLU层)—1*(卷积层)—1*(损失层)。其中，卷积层内核均为3*3大小。
步骤3.2：损失函数也设定为均方值误差函数：
其中，θ2代表去噪网络的模型参数，η是噪声标注，为通过去噪网络预测的噪声。
步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计。
步骤4.1：为扩大数据量，网络的输入层之后，加入一层数据增广层(augmentationlayer)，用于实现图像在训练过程中实时进行翻转、旋转等操作，增大数据量。
步骤4.2：整个网络的损失函数是步骤1.3和步骤2.2里的损失函数的凸组合：
L＝αL1+βL2 (4)
其中，经验证，取α为0.3，β为0.7。
步骤5：设置网络参数。网络在caffe框架下训练，其中网络中卷积核均为3*3大小，每一个卷积层卷积核个数为64。为保证每一次卷积之后，图片大小不变，并同时避免边界效应，在每一次卷积时采用0进行填充。初始学习率设为10-4，并设定大约每6个epoch后，学习率降为原来的1/10。优化算法采用Adam算法，其中动量1(momentum1)设为0.9，动量2(momentum2)设置为0.999。为避免过拟合，权重衰减系数设定为0.0005。训练迭代次数设定为20个epoch。
步骤6：实验结果
输入图像在经过噪声估计网络后，输出的是估计的归一化的噪声标准差图，所以还需要还原成噪声方差图。噪声估计的实验结果采用均方误差(MSE)作为衡量标准，计算公式如下：
其中Γ(x,y)代表噪声方差图标注，为估计出的噪声方差图，h为图像的高度，w为图像的宽度，(x,y)为第x行第y列的像素值，Σ表示求和运算，|·|为绝对值。
去噪结果采用峰值信噪比(PSNR)作为衡量标准，计算公式为：
其中MAXI代表图像的最大值，归一化的图像，MAXI＝1，未归一化的图像，MAXI＝255。MSE是去噪后的图像与无噪声图像的均方差，计算公式如公式(5)。
同时，对于室外的图像，由于缺乏准确的无噪声图像，所以采用主观视觉效果作为评价标准。
Claims (2)
1.一种基于深度学习的联合噪声估计和图像去噪方法，其特征是，步骤如下：
对于一给定的带噪图像的图像模型为：
X＝Y+η (1)
其中，X代表带噪图像，Y代表原图像，η则为在相机处理过程中引入的噪声；
通过卷积神经网络预测噪声η的方差∑，并借助于∑预测噪声强度值从而求解原无噪声图像具体步骤如下：
步骤1：数据准备
步骤1.1：数据集图片分别是四种相机拍摄，其中，无噪声图片的获得是通过对一静态场景连续拍摄500次，然后取平均值，通过取带噪图像与无噪声图像的差值，作为正确噪声的标注图，而噪声方差图也是反映500张图片对于无噪声图片的波动，然后对方差图开根号，求标准差，然后对标准差进行归一化；
步骤1.2：为增加数据量，从每一类数据集里的带噪大图中截取48*48*3大小的数据块，作为网络的输入数据，其中截取的图片之间允许有部分内容重叠，与之对应的噪声标准差图像块和噪声图像块分别作为噪声估计和去噪网络的标注；
步骤:2：设计噪声方差估计的网络架构
步骤2.1：由于噪声方差与图像内容的相关性，采用去噪卷积神经网络DnCNN网络架构，具体为1×(卷积层+修正线性单元ReLU层)—15×(卷积层+ReLU层+批规范化BN层)—1×(卷积层)—1×(损失层)，卷积层内核均为3×3大小，其中，数字意味着网络中含有多少相同的网络结构，BN是BatchNormal的缩写；
步骤2.2：基于噪声方差的拜耳(Bayer)模式，在DnCNN网络的卷积层之前加入堆叠pack层，用于将带噪图像X按照拜耳模式进行降采样，产生4个子图，即对于一个2*2的二维图像块，按照贝尔模式将图像块在深度方向上堆叠为4维图像，而对于一个三维彩色图像，其2*2*3图像块经拜耳降采样后，在深度上堆叠为12维图像；
步骤2.3：损失函数设定为：
其中，考虑计算量和运算速度，采用标准差来代替方差，表示正确的噪声方差标注，N代表训练过程中每一个小批量数据里的图片数，代表通过卷积网络F(Xi,θ1)预测的噪声标准差，||·||F代表弗罗贝尼乌斯范数(Forbenious norm)；
步骤3：构建图像去噪的网络架构
步骤3.1：将估计的噪声标准差与带噪图像在深度方向上级联，然后再带入DnCNN网络预测噪声值，即具体的去噪网络是1×(级联层)—1×(卷积层+ReLU层)—15×(卷积层+ReLU层+BatchNormal层)—1×(卷积层)—1×(损失层)，其中，卷积层内核均为3×3大小；
步骤3.2：损失函数也设定为均方值误差函数：
其中，η是噪声标注，为通过去噪网络预测的噪声；
步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计；
步骤5：设置网络参数：网络在caffe框架下训练，其中网络中卷积核均为3*3大小，每一个卷积层卷积核个数为64。
2.如权利要求1所述的基于深度学习的联合噪声估计和图像去噪方法，其特征是，进一步具体地：
步骤4.1：为扩大数据量，网络的输入层之后，加入一层数据增广层，用于实现图像在训练过程中实时进行翻转等操作，增大数据量；
步骤4.2：整个网络的损失函数是步骤1.3和步骤2.2里的损失函数的凸组合：
L＝αL1+βL2 (4)
其中，经验证，取α为0.3，β为0.7；
步骤5：在每一次卷积时采用0进行填充，初始学习率设为10-4，并设定大约每6个epoch后，学习率降为原来的1/10，在训练时，所有训练图像通过网络训练一次为一个epoch，优化算法采用自适应时刻估计方法，即Adam(Adaptive Moment Estimation)算法，该算法能计算每个参数的自适应学习率，其中动量momentum1设为0.9，动量momentum2设置为0.999，权重衰减系数设定为0.0005，训练迭代次数设定为20个epoch。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811366509.2A CN109658348A (zh) | 2018-11-16 | 2018-11-16 | 基于深度学习的联合噪声估计和图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811366509.2A CN109658348A (zh) | 2018-11-16 | 2018-11-16 | 基于深度学习的联合噪声估计和图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109658348A true CN109658348A (zh) | 2019-04-19 |
Family
ID=66111986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811366509.2A Pending CN109658348A (zh) | 2018-11-16 | 2018-11-16 | 基于深度学习的联合噪声估计和图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658348A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110068462A (zh) * | 2019-05-14 | 2019-07-30 | 北京科技大学 | 一种电机轴承故障诊断方法及装置 |
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
| CN110363716A (zh) * | 2019-06-25 | 2019-10-22 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110852966A (zh) * | 2019-11-04 | 2020-02-28 | 西北工业大学 | 基于深度卷积神经网络的图像噪声估计方法 |
| CN111062883A (zh) * | 2019-12-04 | 2020-04-24 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| EP3734546A1 (en) * | 2019-05-02 | 2020-11-04 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
| CN112634175A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于双重卷积网络的手机拍摄图像去噪方法 |
| CN112862700A (zh) * | 2021-01-16 | 2021-05-28 | 西北工业大学 | 一种基于噪声注意力的高光谱遥感图像盲去噪方法 |
| CN113609954A (zh) * | 2021-07-30 | 2021-11-05 | 西安交通大学 | 一种基于深度学习的社交网络图像源识别方法及系统 |
| JP2022045893A (ja) * | 2020-09-09 | 2022-03-22 | 浙江大学 | グラフ畳み込みネットワークに基づくメッシュ雑音除去方法 |
| CN114270799A (zh) * | 2019-06-13 | 2022-04-01 | Lg伊诺特有限公司 | 相机装置以及相机装置的图像生成方法 |
| WO2022143812A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN114764803A (zh) * | 2022-06-16 | 2022-07-19 | 深圳深知未来智能有限公司 | 一种基于真实噪场景的噪声评估方法、装置及可存储介质 |
| CN115514964A (zh) * | 2021-06-23 | 2022-12-23 | 四川大学 | 一种基于卷积神经网络的hevc压缩噪声标准差估计方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204468A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
| CN108154487A (zh) * | 2017-12-25 | 2018-06-12 | 天津大学 | 基于多通道分解的屏摄图像摩尔纹消除方法 |
| CN108416755A (zh) * | 2018-03-20 | 2018-08-17 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
-
2018
- 2018-11-16 CN CN201811366509.2A patent/CN109658348A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204468A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
| CN108154487A (zh) * | 2017-12-25 | 2018-06-12 | 天津大学 | 基于多通道分解的屏摄图像摩尔纹消除方法 |
| CN108416755A (zh) * | 2018-03-20 | 2018-08-17 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| HUANJING YUE ET AL: "Deep Joint Noise Estimation and Removal for High ISO JPEG Images", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
| HUANJING YUE ET AL: "Image noise estimation and removal considering the bayer pattern of noise variance", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| KAI ZHANG ET AL: "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11257189B2 (en) | 2019-05-02 | 2022-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
| US11861809B2 (en) | 2019-05-02 | 2024-01-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
| EP3734546A1 (en) * | 2019-05-02 | 2020-11-04 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
| EP4414930A3 (en) * | 2019-05-02 | 2024-10-23 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
| CN110068462A (zh) * | 2019-05-14 | 2019-07-30 | 北京科技大学 | 一种电机轴承故障诊断方法及装置 |
| CN114270799B (zh) * | 2019-06-13 | 2024-04-05 | Lg伊诺特有限公司 | 相机装置以及相机装置的图像生成方法 |
| CN114270799A (zh) * | 2019-06-13 | 2022-04-01 | Lg伊诺特有限公司 | 相机装置以及相机装置的图像生成方法 |
| CN110363716B (zh) * | 2019-06-25 | 2021-11-19 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110363716A (zh) * | 2019-06-25 | 2019-10-22 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
| CN110852966A (zh) * | 2019-11-04 | 2020-02-28 | 西北工业大学 | 基于深度卷积神经网络的图像噪声估计方法 |
| CN110852966B (zh) * | 2019-11-04 | 2022-04-22 | 西北工业大学 | 基于深度卷积神经网络的图像噪声估计方法 |
| CN111062883A (zh) * | 2019-12-04 | 2020-04-24 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| CN111062883B (zh) * | 2019-12-04 | 2022-10-18 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| JP7171087B2 (ja) | 2020-09-09 | 2022-11-15 | 浙江大学 | グラフ畳み込みネットワークに基づくメッシュ雑音除去方法 |
| JP2022045893A (ja) * | 2020-09-09 | 2022-03-22 | 浙江大学 | グラフ畳み込みネットワークに基づくメッシュ雑音除去方法 |
| WO2022143812A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112634175A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于双重卷积网络的手机拍摄图像去噪方法 |
| CN112862700B (zh) * | 2021-01-16 | 2023-10-27 | 西北工业大学 | 一种基于噪声注意力的高光谱遥感图像盲去噪方法 |
| CN112862700A (zh) * | 2021-01-16 | 2021-05-28 | 西北工业大学 | 一种基于噪声注意力的高光谱遥感图像盲去噪方法 |
| CN115514964A (zh) * | 2021-06-23 | 2022-12-23 | 四川大学 | 一种基于卷积神经网络的hevc压缩噪声标准差估计方法 |
| CN113609954A (zh) * | 2021-07-30 | 2021-11-05 | 西安交通大学 | 一种基于深度学习的社交网络图像源识别方法及系统 |
| CN114764803A (zh) * | 2022-06-16 | 2022-07-19 | 深圳深知未来智能有限公司 | 一种基于真实噪场景的噪声评估方法、装置及可存储介质 |
| CN114764803B (zh) * | 2022-06-16 | 2022-09-20 | 深圳深知未来智能有限公司 | 一种基于真实噪场景的噪声评估方法、装置及可存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658348A (zh) | 基于深度学习的联合噪声估计和图像去噪方法 | |
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| Tang et al. | Investigating haze-relevant features in a learning framework for image dehazing | |
| US11610289B2 (en) | Image processing method and apparatus, storage medium, and terminal | |
| CN109993095B (zh) | 一种面向视频目标检测的帧级别特征聚合方法 | |
| CN111738953A (zh) | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 | |
| Chen et al. | Edge collapse-based dehazing algorithm for visibility restoration in real scenes | |
| Bai et al. | Adaptive correction procedure for TVL1 image deblurring under impulse noise | |
| CN107316286A (zh) | 一种图像中雨雾同步合成、去除的方法和装置 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN109767404A (zh) | 一种椒盐噪声下红外图像去模糊方法 | |
| Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| Rabie | Adaptive hybrid mean and median filtering of high-ISO long-exposure sensor noise for digital photography | |
| Yang et al. | Image dehazing using bilinear composition loss function | |
| Hsu et al. | Object detection using structure-preserving wavelet pyramid reflection removal network | |
| Yue et al. | High iso jpeg image denoising by deep fusion of collaborative and convolutional filtering | |
| Ouyang et al. | Neural camera simulators | |
| Wei et al. | DA-DRN: A degradation-aware deep Retinex network for low-light image enhancement | |
| Lyu et al. | Physics-guided reflection separation from a pair of unpolarized and polarized images | |
| Yan et al. | A natural-based fusion strategy for underwater image enhancement | |
| CN103886590A (zh) | 一种基于小波包能量谱的推扫式遥感相机自动对焦方法 | |
| Chen et al. | Multi‐scale single image dehazing based on the fusion of global and local features | |
| CN113592755A (zh) | 基于全景摄像的图像反射消除方法 | |
| Diao | A novel underwater image restoration algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190419 |