CN111047537A - 一种图像去噪中恢复细节的系统 - Google Patents
一种图像去噪中恢复细节的系统 Download PDFInfo
- Publication number
- CN111047537A CN111047537A CN201911307899.0A CN201911307899A CN111047537A CN 111047537 A CN111047537 A CN 111047537A CN 201911307899 A CN201911307899 A CN 201911307899A CN 111047537 A CN111047537 A CN 111047537A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- detail
- denoising
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 20
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明是关于一种图像去噪中恢复细节的系统,属于图像处理技术领域。
背景技术
由于图像采集受到光照条件、相机、硬件功耗等条件的限制,得到的图像往往会受到一定程度的噪的污染。特别是在低照度条件下采集的图像,信噪比低,图像增强后噪水平高,造成图像质量严重下降。因此图像去噪对于后续的图像分析、图像处理来说非常重要。
图像在去噪过程中,由于噪和图像细节在频率、纹理等方面具有较高的相似性,图像细节可能在去噪过程中丢失,得到过平滑的去噪图像。在医学诊断等应用方向,图像细节的清晰度非常重要,会在一定程度上影响诊断结果的正确性。为了改善图像质量,更好地还原图像所携带的信息,去除噪同时尽可能多的保留增强细节是一个十分重要的课题。
现有的图像去噪方法主要可以分为以模型为基础的方法和基于学习的方法。以模型为基础的方法包括BM3D和WNNM,其可以解决不同噪水平的去噪问题,但是此类方法的准确性通常依赖于稀疏性、局部自相似性等先验假设,不能充分挖掘表示图像的特征。基于学习的方法,尤其是卷积神经网络,由于其具有足够深和足够复杂的模型,近年来在图像去噪领域具有很大的优势和潜力。但是现有的深度学习方法还是会去除掉部分或全部图像纹理细节,导致去噪后的图像过平滑,使图像无法用于医学诊断等对图像细节关注度高的领域。
发明内容
针对上述现有技术的不足,本发明的目的是提供一种图像去噪中恢复细节的系统,该系统能够显著提高去噪后图像细节清晰度,增强图像对于人眼的可识别性,改善图像主观质量,同时提高客观指标:去噪的峰值信噪比PSNR,以及结构相似性SSIM。
为实现上述目的,本发明提供了一种图像去噪中恢复细节的系统,包括:初始去噪模块,用于从带噪的图像y中提取初步去噪的图像信息S;细节恢复模块,用于估算缺失的细节部分D,并将估算出的细节信息记为初始去噪模块将初步去噪的图像信息S传送至细节恢复模块,将无细节的图像信息S与细节信息结合,得到最终去噪结果其中,初始去噪模块和细节恢复模块均通过深度神经网络子网络实现。
进一步,初始去噪模块包括初始去噪的子网络NetS;细节恢复模块包括细节恢复的子网络NetD;初始去噪的子网络Nets和细节恢复的子网络NetD均为全卷积神经网络。
进一步,细节恢复的子网络NetD为基于超分辨率网络ESRGAN,由多个RRDB子模块组成的卷积神经网络。
进一步,RRDB子模块由三个Dense Block以加权残差连接的方式构成,DenseBlock内部是多个卷积层与多个LeakyReLU激活层交替构成,且每个卷积层都与其下游的其他卷积层Dense连接。
进一步,在细节恢复的子网络NetD的时候,生成网络部分的损失函数LG为:
LG=λ1L1+λ2Lfeature+λ3LGANs-G
其中,L1是衡量1范数距离的内容损失函数网络NetD的损失函数;Lfeature是定义在特征空间的1范数距离的内容损失函数;LGANs-G是由于对抗生成的结构引入的生成细节恢复的子网络NetD的损失函数;λ1、λ2、λ3是权重的系数。
进一步,L1的计算公式是:
其中,b是批量训练的样本数量;x是清晰的不带噪的图像。
进一步,Lfeature的计算公式是:
进一步,LGANs-G由判别网络C的输出决定,判别网络C的输入分成两种:一种是生成的图像另一种是清晰的不带噪的图像x,判别网络的输出为一个数值P,数值P越大代表图像是真实清晰图像的概率越高,对于不同的输入分别得到输出P=C(x)和
进一步,判别网络C的生成网络采用相对的交叉熵判别损失,得到LGANs-G的计算公式如下:
进一步,判别网络C的对抗网络采用相对的交叉熵判别损失,得到对抗网络损失函数LD的计算公式如下:
本发明由于采取以上技术方案,其具有以下优点:本发明中系统和方法在去除噪同时能够尽可能多的保留增强细节,更好地还原图像所携带的信息,改善图像质量;该系统能够显著提高去噪后图像细节清晰度,增强图像对于人眼的可识别性,改善图像主观质量,同时提高客观指标:去噪的峰值信噪比PSNR,以及结构相似性SSIM。
附图说明
图1是本发明一实施例中图像去噪中恢复细节的系统的结构示意图;
图2是本发明一实施例中细节恢复的子网络NetD的结构示意图;
图3是本发明一实施例中细节恢复的子网络NetD中RRDB子模块的结构示意图,
图3(a)是RRDB子模块的整体结构示意图;图3(b)是RRDB子模块中Dense Block的内部结构和连接方式示意图;
图4是本发明另一实施例中包括判别网络C的图像去噪中恢复细节的系统的结构示意图;
图5是本发明另一实施例中判别网络C的结构示意图。
具体实施方式
以下结合附图来对本发明进行详细的描绘。然而应当理解,附图的提供仅为了更好地理解本发明,它们不应该理解成对本发明的限制。在本发明的描述中,需要理解的是,所用到的术语仅仅是用于描述的目的,而不能理解为指示或暗示相对重要性。
实施例一
图像去噪的目的是为了把一张清晰的不带噪的图像x,从一张带噪的图像信息y中分离出来,可以表示成y=x+v,其中v是噪部分。根据这个噪模型将x分解成去噪过程中初步去噪的图像信息S,以及初步去噪后丢失的细节部分D两个部分。即y=x+v=S+D+v。即初步去噪的图像信息S存在一定的过平滑现象,缺失一定的细节和高频信息,D是S缺失的细节部分,由于细节部分D的高频、纹理等特点难以与噪v分开。
本实施例提供了一种图像去噪中恢复细节的系统,如图1所示,包括:初始去噪模块,用于从带噪的图像y中提取初步去噪的图像信息S;细节恢复模块,用于估算缺失的细节部分D,并将估算出的细节信息记为初始去噪模块将初步去噪的图像信息S传送至细节恢复模块,将无细节的图像信息S与细节信息结合,得到最终去噪结果其中,初始去噪模块和细节恢复模块均通过深度神经网络子网络实现。该系统在去除噪同时能够尽可能多的保留增强细节,更好地还原图像所携带的信息,改善图像质量;能够显著提高去噪后图像细节清晰度,增强图像对于人眼的可识别性,改善图像主观质量,同时提高客观指标:去噪的峰值信噪比PSNR,以及结构相似性SSIM。
其中,初始去噪模块包括初始去噪的子网络NetS,初始去噪的子网络NetS为全卷积神经网络。初始去噪的子网络NetS的输入为带噪的图像y,通过去噪的卷积网络传播,输出一张与输入大小相同的初步去噪后的图像S。初始去噪的子网络NetS可以采用多种现有的去噪效果比较好的深度学习网络,包括但不限于DnCNN、REDNET、FFDNet等。
细节恢复模块包括细节恢复的子网络NetD;细节恢复的子网络NetD均为全卷积神经网络。如图2、3所示,细节恢复的子网络NetD为基于超分辨率网络ESRGAN,由多个RRDB子模块组成的卷积神经网络。细节恢复的子网络NetD输入为带噪的图像y,输出为估计出的细节RRDB子模块由三个Dense Block以加权残差连接的方式构成,Dense Block内部是多个卷积层与多个LeakyReLU激活层交替构成,且每个卷积层都与其下游的其他卷积层Dense连接。
在细节恢复的子网络NetD的时候,生成网络部分的损失函数LG为:
LG=λ1L1+λ2Lfeature+λ3LGANs-G
其中,L1是衡量1范数距离的内容损失函数网络NetD的损失函数;Lfeature是定义在特征空间的1范数距离的内容损失函数;LGANs-G是由于对抗生成的结构引入的生成细节恢复的子网络NetD的损失函数;λ1、λ2、λ3是权重的系数。
L1的计算公式是:
其中,b是批量训练的样本数量;x是清晰的不带噪的图像。
Lfeature的计算公式是:
LGANs-G是由于对抗生成的结构引入的生成网络NetD的损失函数,该损失函数由判别网络C的输出决定,判别网络C仅在训练模型时候使用。如图4所示,判别网络C的输入分成两种:一种是生成的图像由估计的细节信息与由初始去噪的子网络NetS得到的初步去噪信息S计算得到;另一种是清晰的不带噪的图像x,判别网络的输出为一个数值P,数值P越大代表图像是真实清晰图像的概率越高,对于不同的输入分别得到输出P=C(x)和
如图5所示,判别网络C由8个卷积层和2个全连接层组成,除最后一层外,所有的层后面都跟有LeakyReLU激活函数,所有的卷积核大小都是3×3,每一个卷积层后面都跟着一个批量归一化BN层,8个卷积层和2个全连接层的各层输出通道数依次为64、128、128、256、512、512、512、512、100、1。判别网络C的生成网络采用相对的交叉熵判别损失,得到LGANs-G的计算公式如下:
判别网络C的对抗网络与生成网络类似,也采用相对的交叉熵判别损失,得到对抗网络损失函数LD的计算公式如下:
实施例二
本实施例通过引入具体图像处理实例,对实施例一中方案进行进一步说明。
选择200张大小为480×480的清晰图像,加固定噪水平σ的高斯白噪分别得到清晰的不带噪的图像x和带噪图像y=x+v。通过多角度(90°、180°、270°)旋转的方式增强数据集,在训练过程中将这些图像每张裁剪成48×48大小的多张小块,以适应判别网络的全连接层的参数维度。
细节恢复的子网络NetD的损失函数的加权权重设置为λ1=3,λ2=1,λ3=0.05。前向传播的过程中采用ADAM优化器,优化器momentum设置为β=0.9,学习率设置为lr=1×10-4。初步去噪的子网络NetS与恢复细节的子网络NetD都设置为训练200个epoch周期。
输入数据为带噪的裁剪好的48×48的图像,批量处理的图像数目为16。标签图像为对应的未加噪的清晰图像,每一个批量的数据通过前馈网络之后,计算出损失函数的值,通过反向传播得到梯度,并用ADAM优化器得到新的网络参数,直到所有的数据都经过了200次网络训练。
在训练好初步去噪网络后,将训练数据集里的带噪图像y,经过训练好的网络得到初步去噪的结果S。
输入数据为带噪图像y,经过恢复细节的子网络NetD得到以及计算得到生成网络损失函数的值,通过反向传播得到生成网络的梯度,计算得到判别网络的对抗网络损失函数的值,通过反向传播得到判别的梯度。用ADAM优化器得到迭代后的网络参数,直到所有的数据都经过了200次网络训练。
实验证明,该系统可以使得去噪的效果和客观指标都有明显提升,细节的视觉效果有明显增强。
上述内容仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
2.如权利要求1所述的图像去噪中恢复细节的系统,其特征在于,所述初始去噪模块包括初始去噪的子网络NetS;所述细节恢复模块包括细节恢复的子网络NetD;所述初始去噪的子网络NetS和细节恢复的子网络NetD均为全卷积神经网络。
3.如权利要求1或2所述的图像去噪中恢复细节的系统,其特征在于,所述细节恢复的子网络NetD为基于超分辨率网络ESRGAN,由多个RRDB子模块组成的卷积神经网络。
4.如权利要求3所述的图像去噪中恢复细节的系统,其特征在于,所述RRDB子模块包括若干个Dense Block以加权残差连接的方式构成,所述Dense Block由多个卷积层与多个LeakyReLU激活层交替构成,且每个所述卷积层都与其下游的其他所述卷积层Dense连接。
5.如权利要求1或2所述的图像去噪中恢复细节的系统,其特征在于,在所述细节恢复的子网络NetD的时候,生成网络部分的损失函数LG为:
LG=λ1L1+λ2Lfeature+λ3LGANs-G
其中,L1是衡量1范数距离的内容损失函数网络NetD的损失函数;Lfeature是定义在特征空间的1范数距离的内容损失函数;LGANs-G是由于对抗生成的结构引入的生成所述细节恢复的子网络NetD的损失函数;λ1、λ2、λ3是权重的系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911307899.0A CN111047537A (zh) | 2019-12-18 | 2019-12-18 | 一种图像去噪中恢复细节的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911307899.0A CN111047537A (zh) | 2019-12-18 | 2019-12-18 | 一种图像去噪中恢复细节的系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111047537A true CN111047537A (zh) | 2020-04-21 |
Family
ID=70237699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911307899.0A Pending CN111047537A (zh) | 2019-12-18 | 2019-12-18 | 一种图像去噪中恢复细节的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111047537A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114445295A (zh) * | 2022-01-19 | 2022-05-06 | 海南大学 | 一种图像噪声去除方法、装置、设备及介质 |
CN117575943A (zh) * | 2023-12-13 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 一种对比度增强与降噪相结合的4k暗光图像增强方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN109872288A (zh) * | 2019-01-31 | 2019-06-11 | 深圳大学 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
US20190378247A1 (en) * | 2018-06-07 | 2019-12-12 | Beijing Kuangshi Technology Co., Ltd. | Image processing method, electronic device and non-transitory computer-readable recording medium |
-
2019
- 2019-12-18 CN CN201911307899.0A patent/CN111047537A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
US20190378247A1 (en) * | 2018-06-07 | 2019-12-12 | Beijing Kuangshi Technology Co., Ltd. | Image processing method, electronic device and non-transitory computer-readable recording medium |
CN109872288A (zh) * | 2019-01-31 | 2019-06-11 | 深圳大学 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
Non-Patent Citations (1)
Title |
---|
XUYANG WANG等: "Detail Recovery in Medical Images Denoising", 《IEEE》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114445295A (zh) * | 2022-01-19 | 2022-05-06 | 海南大学 | 一种图像噪声去除方法、装置、设备及介质 |
CN117575943A (zh) * | 2023-12-13 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 一种对比度增强与降噪相结合的4k暗光图像增强方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tian et al. | Deep learning on image denoising: An overview | |
CN108765319B (zh) | 一种基于生成对抗网络的图像去噪方法 | |
CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
CN110378844B (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
Zhang et al. | Self-supervised image denoising for real-world images with context-aware transformer | |
CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
CN109360156A (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
CN107633486A (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
CN112884671B (zh) | 一种基于无监督生成对抗网络的模糊图像复原方法 | |
CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
CN111723701B (zh) | 一种水中目标识别方法 | |
CN112488934B (zh) | 一种基于cs-tcgan的指静脉图像去噪方法 | |
CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
CN103208097A (zh) | 图像多方向形态结构分组的主分量分析协同滤波方法 | |
Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
CN115839847A (zh) | 基于wdcnn-lstm的轴承故障诊断方法及系统 | |
CN112991199A (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
Qi et al. | Research on the image segmentation of icing line based on NSCT and 2-D OSTU | |
CN111047537A (zh) | 一种图像去噪中恢复细节的系统 | |
CN117058735A (zh) | 一种基于参数迁移和光流特征提取的微表情识别方法 | |
Le et al. | LD-Net: An efficient lightweight denoising model based on convolutional neural network | |
CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
ZhiPing et al. | A new generative adversarial network for texture preserving image denoising | |
CN111147804B (zh) | 一种视频帧重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200421 |