CN112837231A - 一种包含噪声估计的卷积盲去噪方法 - Google Patents
一种包含噪声估计的卷积盲去噪方法 Download PDFInfo
- Publication number
- CN112837231A CN112837231A CN202110038528.8A CN202110038528A CN112837231A CN 112837231 A CN112837231 A CN 112837231A CN 202110038528 A CN202110038528 A CN 202110038528A CN 112837231 A CN112837231 A CN 112837231A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- convolution
- result obtained
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 32
- 230000003213 activating effect Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005316 response function Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种包含噪声估计的卷积盲去噪方法,具体包括如下步骤:步骤1,指定待训练图像的数据集;步骤2,对步骤1得到的待训练数据集进行特征提取;然后利用提取的图像特征进行图像去噪;步骤3,利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。本发明通过将含未知噪声类型的真实图片输入卷积神经网络进行噪声估计并去除,得到不含噪声的干净图像。
Description
技术领域
本发明属于图像处理与识别方法技术领域,涉及一种包含噪声估计的卷积盲去噪方法。
背景技术
图像是人类传递信息的主要媒介。然而,图像在生成和传输的过程中会受到各种噪声的干扰,对信息的处理、传输和存储造成极大的影响。噪声的种类有很多,如:电噪声、机械噪声、信道噪声等等。为了抑制噪声,改善图像质量,便于更高层次的处理,必须对图像进行去噪处理。
噪声在理论上可以定义为“不可预测,只能用概率统计方法来认识的随机误差”,这极大的影响了噪声的去除。经过数十年的研究,已经开发出许多有前途的方法,并且取得了不错的效果。但在真实图片中,由于噪声未知所以对真实图片的噪声去除依然是一个具有挑战性的问题。
发明内容
本发明的目的是提供一种包含噪声估计的卷积盲去噪方法,该方法通过将含未知噪声类型的真实图片输入卷积神经网络进行噪声估计并去除,得到不含噪声的干净图像。
本发明所采用的技术方案是,一种包含噪声估计的卷积盲去噪方法,具体包括如下步骤:
步骤1,指定待训练图像的数据集;
步骤2,对步骤1得到的待训练数据集进行特征提取;然后利用提取的图像特征进行图像去噪;
步骤3,利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。
本发明的特点还在于:
步骤1中,选取来自不同数据集的样本图像组成训练样本图像数据集;在训练过程中,针对特定训练样本图像数据集,采用与该训练样本图像数据集对应的噪声模型函数。
步骤1中,采用来自Nam数据集的图像进行训练时,使用的噪声函数为:
y=JPEG(f(DM(L+n(L)))) (1);
采用来自DND和NC12数据集的图像进行训练时,采用的噪声函数模型为:y=f(DM(L+n(L))) (2);
其中,公式(1)、(2)中,f()表示相机响应函数,DM()表示去马赛克函数,L=Mf-1(x)表示从干净图像生成辐照度图像x,JPEG()表示jpeg压缩过程,y表示合成的噪声图像。
步骤2的具体过程为:
步骤2.1,首先训练噪声估计子网;
噪声估计子网为5层全卷积网络,设置每个卷积层中的特征通道数量为32,卷积核的大小为3×3,将从步骤1得到的数据集输入到噪声估计子网中进行卷积操作然后采用ReLU激活函数对待训练的图像矩阵进行激活,输出激活后的图像矩阵
步骤2.2的具体过程为:
步骤2.2.2,对步骤2.2.1得到的结果采用2×2的pooling进行下采样,输出通道数为128的图像矩阵;
步骤2.2.3,对步骤2.2.2得到的结果采用3×3的卷积核进行卷积,然后利用ReLU进行激活输出通道数为128的图像矩阵;
步骤2.2.4,对步骤2.2.3得到的结果采用2×2的pooling进行下采样操作,输出通道数为256的图像矩阵;
步骤2.2.5,对步骤2.2.4得到的结果采用3×3的卷积核进行卷积然后利用ReLU激活函数进行激活输出通道数为256的图像矩阵;
步骤2.2.6,对步骤2.2.5得到的结果进行反卷积然后与步骤2.2.3得到的结果相加输出通道数为128的图像矩阵;
步骤2.2.7,对步骤2.2.6得到的结果进行卷积再利用ReLU激活函数进行激活,输出通道数为128的图像矩阵;
步骤2.2.8,对步骤2.2.7得到的结果进行反卷积并和步骤2.2.1的结果相加,输出通道数为64的图像矩阵;
步骤2.2.9,对步骤2.2.8得到的结果进行卷积,然后利用ReLU激活函数进行激活,得到通道数为64的图像矩阵;
步骤2.2.10,对步骤2.2.9得到的结果利用1×1的卷积核进行降维得到降噪结果。
步骤3中,损失函数如下公式(3)所示:
L=Lrec+λasymmLasymm+λTVLTV (3);
本发明的有益效果如下:
1.本发明考虑了图像的生成以及压缩过程,针对特定的处理过程提出了相应的噪声模型函数,大大提高了去噪效率;
2.本发明在进行网络训练的过程中,同时引入了合成的噪声图像和真实的噪声图像,以更好的表征真实世界的图像噪声并提高去噪性能;
3.本发明的网络结构具体有两部分组成:噪声估计子网和去噪子网。得益于噪声估计子网的引入能够使我们再将估计的噪声水平图输入去噪子网之前对其进行调整实现了交互式去噪;
4.本发明针对网络结构设置了特定的损失函数,在去除图像噪声的同时对图像的边缘结构有一定的保护。
附图说明
图1是本发明一种包含噪声估计的卷积盲去噪方法的流程图;
图2是本发明一种包含噪声估计的卷积盲去噪方法的网络结构图;
图3是本发明一种包含噪声估计的卷积盲去噪方法中噪声估计子网的结构简化图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种包含噪声估计的卷积盲去噪方法,如图1所示,具体包括如下步骤:
步骤1、获取待训练图像;
原始训练图像取自于NC12、DND、Nam。使用到的噪声类型有:高斯噪声、泊松噪声、椒盐噪声。以及本文所提出的真实噪声模型:
y=f(DM(L+n(L))) (1)
y=JPEG(f(DM(L+n(L)))) (2)
式中,f()表示相机响应函数,DM()表示去马赛克函数,L=Mf-1(x)表示从干净图像生成辐照度图像x,JPEG()表示jpeg压缩过程,y表示合成的噪声图像。
首先从NC12、DND、Nam这三个数据集中随机选取一张干净图像,生成随机类型以及随机水平的噪声,并将噪声添加到原始干净图像上。特别的,在采用我们所提出的噪声模型时针对NC12、DND数据集采用公式(1.1)因为这两个数据集中的图像是没有经过压缩的,针对Nam数据集中的图像我们采用公式(2)来添加噪声。然后就有了一组干净和含噪声的图像对可以当做训练样本。
步骤2,对步骤1得到的待训练数据集进行特征提取;然后利用提取的图像特征进行图像去噪;
如图2网络结构图所示,包含噪声估计的卷积盲去噪网络由噪声估计子网和卷积去噪子网两部分构成,在训练网络进行特征提取的过程中,我们先训练噪声估计子网。图3为噪声估计子网的结构简化图。
噪声估计子网是一个简单的5层全卷积网络,在每个卷积层中,特征通道的数量我们设置为32,卷积核的大小我们设置为3×3,同时使用ReLU激活函数,具体为:f(x)=max(0,x)。将训练图像输入噪声估计子网,经过5层卷积层提取噪声特征输出噪声水平图
随后将得到的噪声水平图与原始输入的训练图像一起输入到卷积去噪子网络中。在完成噪声估计子网的训练之后,连接上卷积去噪子网络,在进行端到端的完整网络训练,固定从上一步中训练好的噪声估计子网的参数,只调整卷积去噪子网的参数。本发明采用了β1=0.9的ADAM优化器前20个epoch学习率为0.001,然后将学习率调整为0.005继续进行学习,训练时mini-batch的大小设置为32。
具体操作为:
(2)对上一步得到的结果采用2×2的pooling进行下采样,输出通道数为128的图像矩阵;
(3)对上一步得到的结果采用3×3的卷积核进行卷积,然后利用ReLU进行激活输出通道数为128的图像矩阵;
(4)对上一步得到的结果采用2×2的pooling进行下采样操作,输出通道数为256的图像矩阵;
(5)对上一步得到的结果采用3×3的卷积核进行卷积然后利用ReLU激活函数进行激活输出通道数为256的图像矩阵;
(6)对上一步得到的结果进行反卷积然后与(3)得到的结果相加输出通道数为128的图像矩阵;
(7)对上一次操作得到的结果进行卷积再利用ReLU激活函数进行激活,输出通道数为128的图像矩阵;
(8)对上一步操作得到的结果进行反卷积和(1)的结果相加,输出通道数为64的图像矩阵;
(9)对上一步得到的结果进行卷积,然后利用ReLU激活函数进行激活,得到通道数为64的图像矩阵。
(10)将上一步得到的结果利用1×1的卷积核进行降维得到降噪结果。
步骤3,利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。
将训练好的模型保存下来,然后进行盲卷积去噪,具体步骤:
输入初始的含噪声图像,首先利用噪声估计子网对这个含噪声图像进行噪声水平估计;将初始含噪图像和噪声水平估计一起输入到卷积去噪子网络中进行去噪,输出噪声残差图像;利用初始的含噪图像减去噪声残差图像,获得去噪后的干净图像。
在训练的过程中为了避免在噪声水平图上出现欠估计误差,我们给定像素i处的估计噪声水平和实际噪声水平σ(yi),当时,对他们的均方误差(MSE)施加更多惩罚,所以将噪声估计子网上的不对称损失定义为:其中当e<0时,Πe=1否则Πe=0。通过设置α的值为0到0.5之间对欠估计误差施加更多的惩罚以便使噪声估计子网性能更优。
最终的损失函数可以表示为:
L=Lrec+λasymmLasymm+λTVLTV
其中λasymm和λTV分别表示非对称损失函数和总变分正则化损失项的权重系数。在训练过程中我们将α设置为0.3,λasymm和λTV分别设置为0.5和0.05
计算经过去噪后图像的PSNR值和SSIM值,并与现有方法进行比较可以看出无论是主观评价还是客观标准均有一定提高。
Claims (6)
1.一种包含噪声估计的卷积盲去噪方法,其特征在于,具体包括如下步骤:
步骤1,指定待训练图像的数据集;
步骤2,对步骤1得到的待训练数据集进行特征提取;然后利用提取的图像特征进行图像去噪;
步骤3,利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。
2.根据权利要求1所述的一种包含噪声估计的卷积盲去噪方法,其特征在于:所述步骤1中,选取来自不同数据集的样本图像组成训练样本图像数据集;在训练过程中,针对特定训练样本图像数据集,采用与该训练样本图像数据集对应的噪声模型函数。
3.根据权利要求2所述的一种包含噪声估计的卷积盲去噪方法,其特征在于:所述步骤1中,采用来自Nam数据集的图像进行训练时,使用的噪声函数为:
y=JPEG(f(DM(L+n(L)))) (1);
采用来自DND和NC12数据集的图像进行训练时,采用的噪声函数模型为:y=f(DM(L+n(L))) (2);
其中,公式(1)、(2)中,f()表示相机响应函数,DM()表示去马赛克函数,L=Mf-1(x)表示从干净图像生成辐照度图像x,JPEG()表示jpeg压缩过程,y表示合成的噪声图像。
5.根据权利要求4所述的一种包含噪声估计的卷积盲去噪方法,其特征在于:所述步骤2.2的具体过程为:
步骤2.2.2,对步骤2.2.1得到的结果采用2×2的pooling进行下采样,输出通道数为128的图像矩阵;
步骤2.2.3,对步骤2.2.2得到的结果采用3×3的卷积核进行卷积,然后利用ReLU进行激活输出通道数为128的图像矩阵;
步骤2.2.4,对步骤2.2.3得到的结果采用2×2的pooling进行下采样操作,输出通道数为256的图像矩阵;
步骤2.2.5,对步骤2.2.4得到的结果采用3×3的卷积核进行卷积然后利用ReLU激活函数进行激活输出通道数为256的图像矩阵;
步骤2.2.6,对步骤2.2.5得到的结果进行反卷积然后与步骤2.2.3得到的结果相加输出通道数为128的图像矩阵;
步骤2.2.7,对步骤2.2.6得到的结果进行卷积再利用ReLU激活函数进行激活,输出通道数为128的图像矩阵;
步骤2.2.8,对步骤2.2.7得到的结果进行反卷积并和步骤2.2.1的结果相加,输出通道数为64的图像矩阵;
步骤2.2.9,对步骤2.2.8得到的结果进行卷积,然后利用ReLU激活函数进行激活,得到通道数为64的图像矩阵;
步骤2.2.10,对步骤2.2.9得到的结果利用1×1的卷积核进行降维得到降噪结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110038528.8A CN112837231A (zh) | 2021-01-12 | 2021-01-12 | 一种包含噪声估计的卷积盲去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110038528.8A CN112837231A (zh) | 2021-01-12 | 2021-01-12 | 一种包含噪声估计的卷积盲去噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112837231A true CN112837231A (zh) | 2021-05-25 |
Family
ID=75927854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110038528.8A Pending CN112837231A (zh) | 2021-01-12 | 2021-01-12 | 一种包含噪声估计的卷积盲去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112837231A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018018470A1 (zh) * | 2016-07-27 | 2018-02-01 | 华为技术有限公司 | 一种去除图像噪声的方法、装置、设备及卷积神经网络 |
US10032256B1 (en) * | 2016-11-18 | 2018-07-24 | The Florida State University Research Foundation, Inc. | System and method for image processing using automatically estimated tuning parameters |
CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
CN111192211A (zh) * | 2019-12-24 | 2020-05-22 | 浙江大学 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
CN111862060A (zh) * | 2020-07-27 | 2020-10-30 | 南京图格医疗科技有限公司 | 一种基于CBD-Net的医学内窥图像去噪方法 |
-
2021
- 2021-01-12 CN CN202110038528.8A patent/CN112837231A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018018470A1 (zh) * | 2016-07-27 | 2018-02-01 | 华为技术有限公司 | 一种去除图像噪声的方法、装置、设备及卷积神经网络 |
US10032256B1 (en) * | 2016-11-18 | 2018-07-24 | The Florida State University Research Foundation, Inc. | System and method for image processing using automatically estimated tuning parameters |
CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
CN111192211A (zh) * | 2019-12-24 | 2020-05-22 | 浙江大学 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
CN111862060A (zh) * | 2020-07-27 | 2020-10-30 | 南京图格医疗科技有限公司 | 一种基于CBD-Net的医学内窥图像去噪方法 |
Non-Patent Citations (3)
Title |
---|
SHI GUO等: "Toward Convolutional Blind Denoising of Real Photographs", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) * |
朱宜生;孙成;: "基于卷积神经网络的红外图像去噪方法研究", 环境技术, no. 06 * |
李传朋;秦品乐;张晋京;: "基于深度卷积神经网络的图像去噪研究", 计算机工程, no. 03 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
CN111292259A (zh) | 一种综合多尺度与注意力机制的深度学习图像去噪方法 | |
CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
CN113808032B (zh) | 多阶段渐进式的图像去噪算法 | |
CN110782399A (zh) | 一种基于多任务cnn的图像去模糊方法 | |
CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
CN108830812B (zh) | 一种基于网格结构深度学习的视频高帧率重制方法 | |
CN110189286B (zh) | 一种基于ResNet的红外与可见光图像融合方法 | |
CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
CN111369466B (zh) | 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 | |
CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
CN107451961B (zh) | 多幅模糊噪声图像下清晰图像的恢复方法 | |
CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
Kong et al. | A comprehensive comparison of multi-dimensional image denoising methods | |
CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
CN107730468B (zh) | 一种无人机模糊噪声图像下清晰图像的恢复方法 | |
CN112837231A (zh) | 一种包含噪声估计的卷积盲去噪方法 | |
CN113888405B (zh) | 基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法 | |
CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
CN114764750B (zh) | 基于自适应一致性先验深度网络的图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |