CN112819705A - 一种基于网状结构与长距离相关性的真实图像去噪方法 - Google Patents
一种基于网状结构与长距离相关性的真实图像去噪方法 Download PDFInfo
- Publication number
- CN112819705A CN112819705A CN202110044977.3A CN202110044977A CN112819705A CN 112819705 A CN112819705 A CN 112819705A CN 202110044977 A CN202110044977 A CN 202110044977A CN 112819705 A CN112819705 A CN 112819705A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- real
- denoising
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 13
- 230000002596 correlated effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于网状结构与长距离相关性的真实图像去噪方法。主要包含以下步骤：1)利用图像生成网络和真实噪声拟合方法制作数据集；2)构建基于网状结构与长距离相关性的真实图像去噪网络模型；3)联合第一步制作的额外数据集与第二步的真实去噪网络模型进行分阶段训练；4)将待去噪测试集输入网络得到去噪结果图像。相比于很多传统方法或者深度学习算法，本方法主要在真实去噪上进行提升，通过拟合生成额外的真实噪声数据集，并结合网状结构与长距离相关性的深度学习网络模型，使得在真实去噪能力有了明显提升，比如常用的指标如峰值信噪比(PSNR)和结构相似性(SSIM)。
Description
技术领域
本发明涉及计算机视觉中的图像去噪领域，特别涉及真实噪声拟合与深度学习网络结构的网状结构与长距离相关性。
背景技术
图像去噪问题是计算机视觉中非常经典的低级视觉处理问题，图像常常会因为我们手机传感器和设备读出电路的原因而产生噪点，破坏原图的清晰度，图像去噪的目的就是将噪声从噪声图像去除来恢复出干净图像。
几十年来，传统去噪方法不断深入研究，许多方法，例如全变分(totalvariation)，双边滤波(bilateral filtering)，稀疏表示(sparse representaion)或者非局部相似性(nonlocal self-similarity)等等都被提出。其中BM3D和WNNM是比较优秀的算法，BM3D利用通过相似块匹配分组，协同滤波和聚合的思想进行去噪，WNNM是利用加权核范数最小化进行恢复图像。
而随着深度学习的发展，尤其是卷积神经网络(Convolutional NeuralNetworks，CNN)大规模应用于图像处理领域，在图像去噪领域也出现了大量深度学习算法。在2017年，张等人提出的DnCNN网络，利用多个卷积层堆叠并利用残差学习的思想，取得了非常不错的效果，在多个测试集PSNR高于传统算法。之后越来越多的网络结构的提出，例如U-Net，ResNet，DenseNet等，引入图像去噪网络结构设计之中，使得深度学习图像去噪算法的性能不断提升。
然而很多深度学习图像去噪算法在进行噪声仿真时仅仅利用高斯白噪声(AddWhite Gaussian Noise，AWGN)来进行成对数据集训练，学习干净图像与噪声图像的映射关系，而高斯白噪声显然与真实成像设备产生的噪声有区别。所以如果仅仅将在高斯白噪声训练的深度学习模型应用到真实图像去噪中效果并不理想。鉴于现在深度学习在图像去噪领域大多还是采用监督学习方法，需要制作成对的真实噪声图像与干净图像，出现了很多制作真实图像去噪的数据集提供训练，例如DND数据集，SIDD数据集等。
目前来看深度学习进行图像去噪的上限高于传统方法，但是还要继续提高深度学习网络的性能；另外一点制作的真实数据集相对麻烦导致成对图像较少，这使得需要大量数据来进行驱动学习的深度学习方法有了一定的限制。这两个方面都需要进一步解决。
发明内容
为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种基于网状结构与长距离相关性的真实图像去噪方法，该方法网络结构上相比其他算法进一步提升，并且利用到长距离图像像素相关性，使得深度学习网络的真实图像去噪能力进一步提升；另外利用额外的图像生成网络和真实噪声拟合制作更多的真实图像成对数据集，辅助训练。
本发明是通过下述技术方案来实现的。
一种基于网状结构与长距离相关性的真实图像去噪方法，包括以下步骤：
1)利用图像生成网络和真实噪声拟合制作额外的真实噪声数据集：
使用异方差高斯噪声来拟合真实噪声中的光子到达统计的噪声和读出电路不精确的噪声；
利用图像生成网络将sRGB图像转为rawRGB图像，将拟合的真实噪声添加，之后再将图像从rawRGB转为sRGB图像，从而制作出额外的真实噪声数据集；
2)构建基于网状结构和长距离相关性的真实去噪网络模型；
3)联合步骤1)制作的真实噪声数据集与步骤2)的真实去噪网络模型进行训练；
4)将智能手机图像去噪数据集的测试集中待去噪图像，输入至训练好的真实图像去噪网络中，得到去噪后的图像。
进一步，步骤1)中，制作额外的真实噪声数据集包括：
1a)选取智能手机图像去噪数据集，从相机数据中的元数据中提取拍摄图像的两个噪声分量，即光子到达统计的噪声和读出电路不精确的噪声；
1b)将两种噪声近似为一个异方差高斯函数，得到均值为μ，方差为σ2的异方差高斯噪声分布；
1c)利用图像生成网络的模拟逆ISP网络将sRGB图像转换为rawRGB图像，利用模拟ISP网络将rawRGB图像转换为sRGB图像，生成模拟真实噪声的图片；
1d)选择Flickr2K干净图片并进行裁剪后，输入模拟逆ISP网络，得到rawRGB干净图像；将rawRGB干净图像通过模拟ISP网络，获得生成的sRGB干净图像；再将rawRGB干净图像与异方差高斯函数相加，所获得的rawRGB含噪图像通过模拟ISP网络，获得sRGB真实噪声图像，即为成对数据集
进一步，步骤2)中，构建基于网状结构和长距离相关性的真实去噪网络模型，主要包含长距离相关网状U型组LRNU模块；包括：
2a)构建长距离相关网状U型组，包含三层上下采样的U型网络为主体进行多尺度学习；
2b)LRNU中的网状结构在保留长距离连接add的基础上，增加了3个3×3卷积，从L1,L2,L3三个尺度层进行上采样，使用3×3卷积特征融合，在解码端使用1×1卷积进行多特征通道归整；
2c)LRNU中在L4尺度上结合了两个长距离相关模块LRM，设网络中的特征图大小为H×W×C，首先将特征图每个通道的特征改变(reshape)为HW×C二维，然后将原来每个通道对应像素位置所构成的行看作为一条原特征向量，记为xi，通过卷积学习三个转移矩阵wq，wk，wv，并与xi相乘得到qi，ki和vi三个特征向量，然后进行相关度计算得到ri特征向量；利用多头机制，得到多个ri之后，再次通过1×1的卷积恢复C个通道数量，最后通过一个残差连接，保证信息流通；
2d)整体网络使用两个LRNU模块，并且将两个LRNU的输出通道进行concat，然后加入通道注意力和空间注意力两个模块加权学习图像重点位置，1×1卷积恢复通道数，最外层进行残差学习策略。
进一步，步骤2a)中，下采样方式使用的为固定3×3卷积，卷积核为哈尔小波正变换四个卷积分量值(LL,LH,HL,HH)；上采样方式为固定3×3反卷积，卷积和为哈尔小波逆变换的四个分量值。
进一步，步骤2b)中，L3上采样特征通道C与L2层通道C融合通道2C，然后使用3×3卷积特征融合；L2层上采样特征通道C与L1层通道C使用3×3卷积特征融合，然后再与上一步L3与L2融合的特征通道C再进行一次使用3×3卷积特征融合。
进一步，步骤3)联合步骤1)制作的数据集与步骤2)的真实去噪网络模型进行训练，包括：
3a)以步骤1)中制作的成对数据集
作为预训练，然后采用SIDD图像作为微调训练，随机裁剪图像形成一个batch送入去噪网络；
3b)在训练步骤2)模型的时候，使用Adam优化器，预训练采用的损失函数Loss_pre，微调训练采用损失函数Loss_finetune，进行分段训练。
本发明由于采取以上技术方案，其具有以下有益效果：
1.本发明首先根据SIDD图像真实噪声中的shot noise和read noise进行噪声拟合，将二者拟合为一个近似符合SIDD图像真实噪声分布的异方差高斯分布，然后通过利用图像生成网络制造成对的真实噪声数据集，弥补了现有真实噪声图像数据集量较少的缺点，通过补充数据集在预训练阶段可以更好的收敛并学习基本特征。
2.本发明中的真实去噪网络利用网状结构更好的利用了多尺度信息，将底层信息及时传递到上层，避免了长距离连接造成的信息损失。利用长距离相关模块，弥补了卷积核的局部感受野的问题，能够更好地利用长距离像素之间的关系，增强去噪能力。
3.预训练阶段使用大量增广数据集，并且以Loss_pre损失函数快速进行收敛，微调阶段使用SIDD原数据集并以Loss_finetune损失函数提高真实去噪结果。两步分段使用不同训练集和不同损失函数进行学习。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：
图1是本方法的整体实施总流程图；
图2是图片生成网络处理流程图；
图3是针对SIDD真实噪声数据集所拟合的shot noise和read noise关系图；
图4是基于网状结构与长距离相关性的真实图像去噪网络模型；
图5是长距离相关网状U型组(LRNU)示意图；
图6是长距离模块(LRM)处理流程图；
图7(a)、图7(b)是本算法在SIDD测试集上的去噪前后图对比效果；
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
本发明的整体流程图如图1所示，实施步骤如下：
步骤1，利用图像生成网络和真实噪声拟合制作额外的真实噪声数据集
使用异方差高斯噪声来拟合真实噪声中的光子到达统计的噪声和读出电路不精确的噪声；利用图像生成网络将sRGB图像转为rawRGB图像，将拟合的真实噪声添加，之后再将图像从rawRGB转为sRGB图像，从而制作出额外的真实噪声数据集。具体包括：
1a)选取智能手机图像去噪数据集(Smartphone Image Denoising Dataset,SIDD)作为基础训练数据集，并且从SIDD提供的rawRGB数据中的metadata中提取两个噪声分量，光子到达统计的噪声(shot noise)和读出电路不精确的噪声(read noise)，如图3中的圆圈点所示，其中圆圈越大说明噪声在这个点的图像越多。
1b)将两种噪声近似为一个异方差高斯函数，噪声为均值为像素强度，方差为像素强度的函数，设噪声强度为n，像素强度为x，则拟合的均值为μ，方差为σ2的异方差高斯噪声分布为：
n～N(μ＝x,σ2＝λread+λshotx)
其中，λread为受读出电路不精确噪声影响因子，由相机传感器的数字增益和读出方差决定，λshot为受光子到达统计的噪声影响因子，由相机传感器的模拟增益和数字增益决定；
log(λread)的采样为均匀分布，如下：
log(λshot)～U(a,b)
其中，a、b分别为根据SIDD数据集提取的噪声分量拟合常数；
a＝log(0.0002),b＝log(0.022)
其中log(λread)的采样服从均值为μ，方差为σ2的以log(λshot)为条件的高斯分布，如下：
log(λread)|log(λshot)～N(μ＝mlog(λshot)+n,σ＝c)
其中，m、n、c分别为根据SIDD数据集提取的噪声分量拟合常数；m＝1.85,n＝1.2,c＝0.3。
具体拟合线如图3中的斜线所示。
1c)利用图像生成网络生成模拟真实噪声的图片。如图2所示，该网络主体分为两个网络，第一个网络是将sRGB图像转换为rawRGB图像，称为模拟逆ISP(image processingpipeline)网络；第二个网络是将rawRGB图像转换为sRGB图像，称为模拟ISP网络。
1d)选择Flickr2K干净图片并进行裁剪后，记为Irgb_clean，输入模拟逆ISP网络，得到rawRGB干净图像
然后将
第一次直接通过模拟ISP网络，获得生成的sRGB干净图像
第二次将
加上1b)中拟合的异方差高斯噪声，所获得rawRGB含噪图像
再通过模拟ISP网络，获得sRGB真实噪声图像
构建的成对数据集即为
步骤2，构建基于网状结构与长距离相关性的真实图像去噪网络模型，整体结构如图4所示。具体包括：
2a)构建长距离相关网状U型组(Long Range Nested Ugroup，LRNU)，结构如图5所示，该模块包含三层上下采样的U型网络为主体进行多尺度学习，其中下采样方式使用的为固定3×3卷积，卷积核为哈尔(haar)小波正变换四个卷积分量值(LL,LH,HL,HH)；上采样方式为固定3×3反卷积，卷积和为哈尔小波逆变换的四个分量值。
2b)LRNU中的网状结构在保留长距离连接(add)的基础上，图5中LRNU包含四个尺度L1,L2,L3,L4,在L1,L2,L3这三个尺度中的长距离连接的基础上增加了3个3×3卷积，从L1,L2,L3三个尺度层进行上采样，L3上采样特征(通道C)与L2层(通道C)concat融合(通道2C)然后使用3×3卷积特征融合，同理，L2层上采样特征(通道C)与L1层(通道C)使用3×3卷积特征融合，然后再与上一步L3与L2融合的特征(通道C)再进行一次使用3×3卷积特征融合。最后在解码端使用1×1卷积进行多特征通道归整。
2c)LRNU中在L4尺度上结合了两个长距离相关模块(Long Range Module，LRM)，如图6左上，设网络中的特征图大小为H×W×C，首先将特征图每个通道的特征改变(reshape)为HW×C二维。如图6右上，然后将原来每个通道对应像素位置所构成的行看作为一条特征向量，记为xi，通过卷积学习三个转移矩阵wq，wk，wv，并与xi相乘得到qi，ki和vi三个特征向量，然后进行相关度计算得到ri特征向量，即：
ri＝softmax(qi*kj)*vj
式中，softmax代表逻辑回归函数，ri,qi,kj,vj为2c)中描述的特征向量。
如图6下方，同时，利用多头机制，得到多个ri之后，再次通过1×1的卷积恢复C个通道数量，最后通过一个残差连接，保证信息流通。
2d)如图4，整体网络使用两个LRNU模块，并且将两个LRNU的输出通道进行concat，然后加入通道注意力和空间注意力两个模块加权学习图像重点位置，1×1卷积恢复通道数，最外层进行残差学习策略。
步骤3，联合步骤1制作的数据集与步骤2的真实去噪网络模型进行训练
具体包括：
3a)以步骤1中制作的成对数据集
作为预训练，然后采用SIDD图像作为微调(fintune)训练，裁剪图像为512×512大小，并且在最终输入网络之前再使用随机函数选点裁剪送入一个batch的256×256大小的图像。
3b)在训练2)模型的时候，使用Adam优化器，预训练采用的损失函数Loss_pre表示为：
其中net为步骤2中构建的去噪网络，n为图像个数，
为成对数据集
中的噪声图像，
为成对数据集
中的干净图像。
微调训练的时候使用的损失函数Loss_finetune表示为：
其中，net为步骤2中构建的去噪网络，n为图像个数，Irgb_noisy_SIDD为智能手机图像去噪数据集SIDD中的噪声图像，Irgb_clean_SIDD为智能手机图像去噪数据集SIDD中的干净图像。
使用上述两种损失函数进行分段训练，最终得到去噪后的图像。
步骤4，将智能手机图像去噪数据集的SIDD测试集中待去噪的图像输入训练好的图像去噪网络中，得到去噪后的图像。
噪声图像与去噪后的图像对比如图7(a)和图7(b)所示，可以看出本方法模型去除了绝大部分的真实噪声，恢复了较多的图像细节。
下面通过对比实验，验证本方法的真实图像去噪效果。
A、对比实验方案：
本方法与传统图像去噪算法比如BM3D，WNNM等，深度学习去噪算法DnCNN，CBDNet，RIDNet等在SIDD测试集中进行对比，比较PSNR与SSIM。
B、实验条件：
测试集为SIDD标准测试集，其中为1280张图像，然后用不同算法进行去噪对比，求出平均PSNR和SSIM来评估恢复效果。
C、实验结果分析：
实验对比PSNR结果如表1所示，BM3D和WNNM传统算法在真实噪声图像上表现不好，类似DnCNN这种在高斯噪声训练的深度学习模型也无法泛化到真实噪声图像，CBDNet由于估计了噪声分布，所以结果相比DnCNN会高出不少，但仍旧表现一般，RIDNet针对真实噪声图像进行了学习，但是依旧不如本方法。可见本方法通过对真实噪声的拟合与网络结构的改变，取得了不错的真实图像去噪效果。
表1实验对比PSNR结果
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。
Claims (10)
1.一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，包括以下步骤：
1)利用图像生成网络和真实噪声拟合制作额外的真实噪声数据集：
使用异方差高斯噪声来拟合真实噪声中的光子到达统计的噪声和读出电路不精确的噪声；
利用图像生成网络将sRGB图像转为rawRGB图像，将拟合的真实噪声添加，之后再将图像从rawRGB转为sRGB图像，从而制作出额外的真实噪声数据集；
2)构建基于网状结构和长距离相关性的真实去噪网络模型；
3)联合步骤1)制作的真实噪声数据集与步骤2)的真实去噪网络模型进行训练；
4)将智能手机图像去噪数据集SIDD的测试集中待去噪图像，输入至训练好的真实图像去噪网络中，得到去噪后的图像。
2.根据权利要求1所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，步骤1)中，制作额外的真实噪声数据集包括：
1a)选取智能手机图像去噪数据集SIDD，从相机数据中的元数据中提取拍摄图像的两个噪声分量，即光子到达统计的噪声和读出电路不精确的噪声；
1b)将两种噪声近似为一个异方差高斯函数，得到均值为μ，方差为σ2的异方差高斯噪声分布；
1c)利用图像生成网络的模拟逆ISP网络将sRGB图像转换为rawRGB图像，利用模拟ISP网络将rawRGB图像转换为sRGB图像，生成模拟真实噪声的图片；
1d)选择Flickr2K干净图片并进行裁剪后，输入模拟逆ISP网络，得到rawRGB干净图像；将rawRGB干净图像通过模拟ISP网络，获得生成的sRGB干净图像；再将rawRGB干净图像与异方差高斯函数相加所获得的rawRGB含噪图像通过模拟ISP网络，获得sRGB真实噪声图像，即为成对数据集
3.根据权利要求2所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，所述步骤1b)中，均值为μ，方差为σ2的异方差高斯噪声分布为：
n～N(μ＝x,σ2＝λread+λshotx)
其中，n为噪声强度，x为像素强度，λread为电路不精确噪声影响因子，λshot为受光子到达统计的噪声影响因子；
其中log(λshot)的采样为均匀分布，如下：
log(λshot)～U(a,b)
其中，a、b分别为根据SIDD数据集提取的噪声分量拟合常数；
其中log(λread)的采样服从均值为μ，方差为σ2以log(λshot)为条件的高斯分布为：
log(λread)|log(λshot)～N(μ＝mlog(λshot)+n,σ＝c)
其中，m、n、c分别为根据SIDD数据集提取的噪声分量拟合常数。
4.根据权利要求1所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，步骤2)中，构建基于网状结构和长距离相关性的真实去噪网络模型，主要包含长距离相关网状U型组LRNU模块；包括：
2a)构建长距离相关网状U型组，包含三层上下采样的U型网络为主体进行多尺度学习；
2b)LRNU中的网状结构在保留长距离连接add的基础上，增加了3个3×3卷积，从L1,L2,L3三个尺度层进行上采样，使用3×3卷积特征融合，在解码端使用1×1卷积进行多特征通道归整；
2c)LRNU中在L4尺度上结合了两个长距离相关模块LRM，设网络中的特征图大小为H×W×C，首先将特征图每个通道的特征改变为HW×C二维，然后将原来每个通道对应像素位置所构成的行看作为一条原特征向量，记为xi；通过卷积学习三个转移矩阵wq，wk，wv，并与xi相乘得到qi，ki和vi三个特征向量，然后进行相关度计算得到ri特征向量；利用多头机制，得到多个ri之后，再次通过1×1的卷积恢复C个通道数量，最后通过一个残差连接，保证信息流通；
2d)整体网络使用两个LRNU模块，并且将两个LRNU的输出通道进行concat，然后加入通道注意力和空间注意力两个模块加权学习图像重点位置，1×1卷积恢复通道数，最外层进行残差学习策略。
5.根据权利要求4所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，步骤2a)中，下采样方式使用的为固定3×3卷积，卷积核为哈尔小波正变换四个卷积分量值(LL,LH,HL,HH)；上采样方式为固定3×3反卷积，卷积和为哈尔小波逆变换的四个分量值。
6.根据权利要求4所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，步骤2b)中，L3上采样特征通道C与L2层通道C融合通道2C，然后使用3×3卷积特征融合；L2层上采样特征通道C与L1层通道C使用3×3卷积特征融合，然后再与上一步L3与L2融合的特征通道C再进行一次使用3×3卷积特征融合。
7.根据权利要求4所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，步骤2c)中，通过相关度计算得到ri特征向量：
ri＝softmax(qi*kj)*vj
式中，softmax代表逻辑回归函数，ri,qi,kj,vj为特征向量。
8.根据权利要求1所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，步骤3)联合步骤1)制作的数据集与步骤2)的真实去噪网络模型进行训练，包括：
3a)以步骤1)中制作的成对数据集
作为预训练，然后采用SIDD图像作为微调训练，随机裁剪图像形成一个batch送入去噪网络；
3b)在训练步骤2)模型的时候，使用Adam优化器，预训练采用的损失函数Loss_pre，微调训练采用损失函数Loss_finetune，进行分段训练。
9.根据权利要求8所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，预训练采用的损失函数Loss_pre表示为：
其中，net为构建的去噪网络，n为图像个数，
分别为成对数据集
中的噪声图像和干净图像。
10.根据权利要求8所述的一种基于网状结构与长距离相关性的真实图像去噪方法，其特征在于，微调训练的时使用的损失函数Loss_finetune表示为：
其中，net为构建的去噪网络，n为图像个数，Irgb_noisy_SIDD、Irgb_clean_SIDD分别为智能手机图像去噪数据集SIDD中的噪声图像和干净图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110044977.3A CN112819705B (zh) | 2021-01-13 | 2021-01-13 | 一种基于网状结构与长距离相关性的真实图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110044977.3A CN112819705B (zh) | 2021-01-13 | 2021-01-13 | 一种基于网状结构与长距离相关性的真实图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819705A true CN112819705A (zh) | 2021-05-18 |
| CN112819705B CN112819705B (zh) | 2023-04-18 |
Family
ID=75869278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110044977.3A Active CN112819705B (zh) | 2021-01-13 | 2021-01-13 | 一种基于网状结构与长距离相关性的真实图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819705B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN114140731A (zh) * | 2021-12-08 | 2022-03-04 | 西南交通大学 | 一种牵引变电所异常检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537794A (zh) * | 2018-04-19 | 2018-09-14 | 上海联影医疗科技有限公司 | 医学图像数据处理方法、装置和计算机可读存储介质 |
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
| CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
| US20200041597A1 (en) * | 2018-08-01 | 2020-02-06 | Siemens Healthcare Gmbh | Magnetic Resonance Fingerprinting Image Reconstruction and Tissue Parameter Estimation |
| CN110852961A (zh) * | 2019-10-28 | 2020-02-28 | 北京影谱科技股份有限公司 | 一种基于卷积神经网络的实时视频去噪方法及系统 |
| CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
| WO2020165196A1 (en) * | 2019-02-14 | 2020-08-20 | Carl Zeiss Meditec Ag | System for oct image translation, ophthalmic image denoising, and neural network therefor |
-
2021
- 2021-01-13 CN CN202110044977.3A patent/CN112819705B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537794A (zh) * | 2018-04-19 | 2018-09-14 | 上海联影医疗科技有限公司 | 医学图像数据处理方法、装置和计算机可读存储介质 |
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
| US20200041597A1 (en) * | 2018-08-01 | 2020-02-06 | Siemens Healthcare Gmbh | Magnetic Resonance Fingerprinting Image Reconstruction and Tissue Parameter Estimation |
| WO2020165196A1 (en) * | 2019-02-14 | 2020-08-20 | Carl Zeiss Meditec Ag | System for oct image translation, ophthalmic image denoising, and neural network therefor |
| CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
| CN110852961A (zh) * | 2019-10-28 | 2020-02-28 | 北京影谱科技股份有限公司 | 一种基于卷积神经网络的实时视频去噪方法及系统 |
| CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
Non-Patent Citations (2)
| Title |
|---|
| RINA KOMATSU AND TAD GONSALVES ETAL.: "Comparing U-Net Based Models for Denoising Color Image", 《MDPI》 * |
| 甘建旺等: "基于非对称卷积神经网络的图像去噪", 《激光与光电子学进展》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN113808032B (zh) * | 2021-08-04 | 2023-12-15 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN114140731A (zh) * | 2021-12-08 | 2022-03-04 | 西南交通大学 | 一种牵引变电所异常检测方法 |
| CN114140731B (zh) * | 2021-12-08 | 2023-04-25 | 西南交通大学 | 一种牵引变电所异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819705B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | Deep learning on image denoising: An overview | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| CN109978762B (zh) | 一种基于条件生成对抗网络的超分辨率重建方法 | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
| CN110648292A (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
| CN116128735B (zh) | 基于密集连接残差网络的多光谱图像去马赛克结构及方法 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN112215753A (zh) | 基于双分支边缘保真网络的图像去马赛克增强方法 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| Wu et al. | Dcanet: Dual convolutional neural network with attention for image blind denoising | |
| CN110569763B (zh) | 一种用于细粒度人脸识别的眼镜去除方法 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN114764750B (zh) | 基于自适应一致性先验深度网络的图像去噪方法 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |