CN111192211B - 一种基于单个深度神经网络的多噪声类型盲去噪方法 - Google Patents
一种基于单个深度神经网络的多噪声类型盲去噪方法 Download PDFInfo
- Publication number
- CN111192211B CN111192211B CN201911346539.1A CN201911346539A CN111192211B CN 111192211 B CN111192211 B CN 111192211B CN 201911346539 A CN201911346539 A CN 201911346539A CN 111192211 B CN111192211 B CN 111192211B
- Authority
- CN
- China
- Prior art keywords
- noise
- network
- image
- sub
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 20
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于单个深度神经网络的多噪声类型盲去噪方法，包括以下步骤：基于卷积神经网络构建多任务噪声估计子网络，利用该多任务噪声估计子网络对输入原始噪声图像进行噪声类型估计和噪声水平估计；基于卷积层构建去噪子网络，利用该去噪子网络对多任务噪声估计子网络输出的噪声类型和噪声水平整合获得的混合图像进行去噪，输出噪声残差图像；融合原始噪声图像和噪声残差图像，获得去噪后图像。该多噪声类型盲去噪方法通过对噪声进行分类然后针对每类噪声单独去噪，大大提升了去噪效果。
Description
技术领域
本发明涉及计算机科学图像处理领域，尤其涉及一种基于单个深度神经网络的多噪声类型盲去噪方法。
背景技术
图像去噪是图像处理领域的一大基础问题，近年来深度学习网络的快速发展为去噪算法提供了一种高效的解决方案。但是现有的基于深度学习网络的去噪算法主要针对高斯噪声展开，且单个深度学习网络往往仅针对单一的高斯噪声水平进行训练，得到的网络模型无法处理其他噪声水平图像，更不用说其他噪声类型的图像。而真实噪声往往涉及多种未知噪声特性，包括不同的噪声类别与噪声水平，这种噪声特性未知的去噪需求被称为盲去噪问题。一些较新的研究在解决高斯噪声的盲去噪问题上已取得一定的进展，但是针对不同噪声类型的盲去噪问题仍亟待解决。
公布号为CN108876735A的专利申请公开了一种基于深度残差网络的真实图像盲去噪方法，公布号为CN 110197183A的专利申请公开了一种图像盲去噪的方法，这两种盲去噪方法均是泛泛地对图像进行去噪，去噪效果不佳。
发明内容
本发明的目的是提供一种基于单个深度神经网络的多噪声类型盲去噪方法，该多噪声类型盲去噪方法通过对噪声进行分类然后针对每类噪声单独去噪，大大提升了去噪效果。
为实现上述发明目的，本发明提供以下技术方案：
一种基于单个深度神经网络的多噪声类型盲去噪方法，包括以下步骤：
基于卷积神经网络构建多任务噪声估计子网络，利用该多任务噪声估计子网络对输入原始噪声图像进行噪声类型估计和噪声水平估计；
基于卷积层构建去噪子网络，利用该去噪子网络对多任务噪声估计子网络输出的噪声类型和噪声水平整合获得的混合图像进行去噪，输出噪声残差图像；
融合原始噪声图像和噪声残差图像，获得去噪后图像。
优选地，所述多任务噪声估计子网络包括卷积神经网络和全连接层，其中，卷积神经网络用于提取原始噪声图像的图像特征，全连接层用于对图像特征进行特征到噪声类型和噪声水平的映射，输出估计的噪声类型和噪声水平。
优选地，所述去噪子网络包括浅层网络、深层网络、点乘操作单元、重建卷积层，其中，浅层网络用于提取混合图像的空域掩膜，深层网络用于提取混合图像的噪声残差特征，点乘操作单元用于对空域掩膜和噪声残差特征通过点乘操作进行结合，并将结合结果输出至重建卷积层，重建卷积层对结合结果进行卷积，生成噪声残差图像。
优选地，所述浅层网络包括若干个卷积层，所述深层网络包括若干个卷积层，且所述浅层网络包含的卷积层的个数小于所述深层网络的卷积层的个数。进一步地，所述浅层网络包括2个卷积层，所述深沉网络包含至少3个卷积层。
其中，所述多任务噪声估计子网络和所述去噪子网络的训练过程为：
首先利用训练样本训练多任务噪声估计子网络，在确定多任务噪声估计子网络参数后，固定多任务噪声估计子网络参数，并连接上去噪子网络，然后利用样本重新对多任务噪声估计子网络和去噪子网络进行训练，以调节去噪子网络参数。
训练多任务噪声估计子网络时，由于是多任务网络，其损失函数ψ1也包含噪声类型损失
和噪声水平损失
两部分，其中，
选用交叉熵损失函数，
选用均方差损失函数，则损失函数ψ1为：
其中，α为用于调节
和
的权重。
训练去噪子网络时，选用均方差误差损失函数作为损失函数。
所述训练样本的构建过程为：
选取原始图像，生成随机噪声类型以及噪声水平的噪声，并将噪声添加到原始图像上获得噪声图像，该噪声图像和原始图像构成一个训练样本；
噪声类型包括高斯噪声、随机脉冲噪声、椒盐噪声和泊松噪声。
本发明具有的有益效果至少包括：
(1)通过构建额外图像通道的方法，将噪声类型与噪声水平信息整合到原始噪声图像中。这一方面使得多任务噪声估计子网络和去噪子网络可以灵活地连接起来形成端到端的单个深度神经网络，且由额外噪声信息指导去噪流程，使得单网络实现多噪声类型盲去噪成为可能；另一方面，两个子网络的骨干互不干扰，可以各自进行后续优化；
(2)设计了多任务的噪声子估计网络，用卷积网络提取高层次的噪声类型与噪声水平信息，效果更加稳定可靠。通过设计联合损失函数，由单个卷积网络输出多个任务结果，实现多任务卷积参数共享，提高网络效率；
(3)设计了双路并行的深度卷积去噪子网络，用额外的浅层预测支路提取出空域掩膜，调整不同噪声残差的显著性，辅助主路的深层特征提取网络更好地利用混合噪声输入，生成更具表征力的噪声残差图像；
(4)更实用的网络使用方法，同时支持盲去噪与非盲去噪两种使用方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于单个深度神经网络的多噪声类型盲去噪方法的实现框图；
图2是本发明实施例提供的基于单个深度神经网络的多噪声类型盲去噪方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是本发明实施例提供的基于单个深度神经网络的多噪声类型盲去噪方法的实现框图，图2是本发明实施例提供的基于单个深度神经网络的多噪声类型盲去噪方法的流程图。参见图1和图2，该多噪声类型盲去噪方法包括以下过程：
准备训练数据集。原始训练图像取自BSD500与Set14。涉及到的噪声类型范围包含高斯噪声、随机脉冲噪声、椒盐噪声和泊松噪声。选取一张干净的原始图像，生成随机噪声类型以及噪声水平的噪声，并将噪声添加到原始图像上，得到的噪声图像与原始图像就得到了一对训练样本。
由于用单个网络处理多噪声类型与噪声水平，网络训练所需的样本对的数量远大于传统去噪网络。因此，可以通过裁剪图像块的方法增加样本数量。
搭建多噪声类型盲去噪网络模型。如图1中实施例所示，多任务噪声估计子网络采用了7层卷积层提取噪声特征，经由全局平均池化层和全连接层处理后输出了噪声类型和噪声水平的估计值。随后，噪声图像被整合到混合输入中，并输入去噪子网络。去噪子网络浅层支路只用了两层卷积提取空域掩膜，而深层支路堆叠了大量卷积层提取噪声残差特征。两路输出通过点乘操作结合，并送入重建卷积层，生成噪声残差图像。最后的去噪后图像由噪声残差图像加上原始噪声图像得到。
训练时先单独训练多任务噪声估计子网络，由于是多任务网络，其损失函数也包含噪声类型
和噪声水平
两部分。其中
选用交叉熵损失函数，
选用均方差损失函数。最终混合损失函数具有以下形式：
α用于调节两个损失函数的权重。训练完多任务噪声估计子网络后，连接上去噪子网络，再进行端到端的整网络训练，此时固定已训好的多任务噪声估计子网络，只调整去噪子网络参数。其损失函数同样采用均方差误差损失函数。
为了提高训练效率和防止训练过拟合，采用的优化器是Adam优化器，初始学习率设置为0.0001，且每30个epoch衰减到原值的十分之一。训练时采用的mini-batch尺寸大小为64。
将训练好的模型参数保存下来，然后进行多噪声类型盲去噪，具体过程为：
输入原始噪声图像，利用多任务噪声估计子网络对输入原始噪声图像进行噪声类型估计和噪声水平估计；
利用该去噪子网络对多任务噪声估计子网络输出的噪声类型和噪声水平整合获得的混合图像进行去噪，输出噪声残差图像；
融合原始噪声图像和噪声残差图像，获得去噪后图像。
最终，经过本发明提供的多噪声类型盲去噪方法处理得到的结果和现有方法相比，具有比较好的PSNR/SSIM指标结果，且主观去噪效果更好。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于单个深度神经网络的多噪声类型盲去噪方法，包括以下步骤：
基于卷积神经网络构建多任务噪声估计子网络，利用该多任务噪声估计子网络对输入原始噪声图像进行噪声类型估计和噪声水平估计；
其中，所述多任务噪声估计子网络包括卷积神经网络和全连接层，其中，卷积神经网络用于提取原始噪声图像的图像特征，全连接层用于对图像特征进行特征到噪声类型和噪声水平的映射，输出估计的噪声类型和噪声水平；
基于卷积层构建去噪子网络，利用所述去噪子网络对混合图像进行去噪，输出噪声残差图像；其中，混合图像为将多任务噪声估计子网络输出的噪声类型和噪声水平添加到原始噪声图像得到的图像；
所述去噪子网络包括浅层网络、深层网络、点乘操作单元、重建卷积层，其中，浅层网络用于提取混合图像的空域掩膜，深层网络用于提取混合图像的噪声残差特征，点乘操作单元用于对空域掩膜和噪声残差特征通过点乘操作进行结合，并将结合结果输出至重建卷积层，重建卷积层对结合结果进行卷积，生成噪声残差图像；
将噪声残差图像添加到原始噪声图像，获得去噪后图像。
2.如权利要求1所述的基于单个深度神经网络的多噪声类型盲去噪方法，其特征在于，所述浅层网络包括若干个卷积层，所述深层网络包括若干个卷积层，且所述浅层网络包含的卷积层的个数小于所述深层网络的卷积层的个数。
3.如权利要求1所述的基于单个深度神经网络的多噪声类型盲去噪方法，其特征在于，所述浅层网络包括2个卷积层，所述深层 网络包含至少3个卷积层。
4.如权利要求1所述的基于单个深度神经网络的多噪声类型盲去噪方法，其特征在于，所述多任务噪声估计子网络和所述去噪子网络的训练过程为：
首先利用训练样本训练多任务噪声估计子网络，在确定多任务噪声估计子网络参数后，固定多任务噪声估计子网络参数，并连接上去噪子网络，然后利用样本重新对多任务噪声估计子网络和去噪子网络进行训练，以调节去噪子网络参数。
5.如权利要求4所述的基于单个深度神经网络的多噪声类型盲去噪方法，其特征在于，训练多任务噪声估计子网络时，由于是多任务网络，其损失函数ψ1也包含噪声类型损失
和噪声水平损失
两部分，其中，
选用交叉熵损失函数，
选用均方差损失函数，则损失函数ψ1为：
其中，α为用于调节
和
的权重。
6.如权利要求4所述的基于单个深度神经网络的多噪声类型盲去噪方法，其特征在于，训练去噪子网络时，选用均方差误差损失函数作为损失函数。
7.如权利要求4所述的基于单个深度神经网络的多噪声类型盲去噪方法，其特征在于，所述训练样本的构建过程为：
选取原始图像，生成随机噪声类型以及噪声水平的噪声，并将噪声添加到原始图像上获得噪声图像，该噪声图像和原始图像构成一个训练样本；
噪声类型包括高斯噪声、随机脉冲噪声、椒盐噪声和泊松噪声。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911346539.1A CN111192211B (zh) | 2019-12-24 | 2019-12-24 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911346539.1A CN111192211B (zh) | 2019-12-24 | 2019-12-24 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111192211A CN111192211A (zh) | 2020-05-22 |
| CN111192211B true CN111192211B (zh) | 2022-07-01 |
Family
ID=70707481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911346539.1A Active CN111192211B (zh) | 2019-12-24 | 2019-12-24 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111192211B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738956B (zh) * | 2020-06-24 | 2021-06-01 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪系统 |
| CN111932474A (zh) * | 2020-07-30 | 2020-11-13 | 深圳市格灵人工智能与机器人研究院有限公司 | 基于深度学习的图像去噪方法 |
| CN112634175A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于双重卷积网络的手机拍摄图像去噪方法 |
| CN112837231A (zh) * | 2021-01-12 | 2021-05-25 | 西安理工大学 | 一种包含噪声估计的卷积盲去噪方法 |
| CN112801906B (zh) * | 2021-02-03 | 2023-02-21 | 福州大学 | 基于循环神经网络的循环迭代图像去噪方法 |
| CN114565540B (zh) * | 2022-04-30 | 2022-07-22 | 深圳市巨力方视觉技术有限公司 | 基于多路对照图像去噪用机器视觉集成系统 |
| WO2023229590A1 (en) * | 2022-05-25 | 2023-11-30 | Innopeak Technology, Inc. | Deep learning based video super-resolution |
| CN115546653B (zh) * | 2022-12-02 | 2023-04-07 | 耕宇牧星(北京)空间科技有限公司 | 一种基于深度加强网络的遥感图像去噪方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133948A (zh) * | 2017-05-09 | 2017-09-05 | 电子科技大学 | 基于多任务卷积神经网络的图像模糊与噪声评测方法 |
| KR101846017B1 (ko) * | 2017-09-18 | 2018-04-05 | 엘아이지넥스원 주식회사 | 노이즈 영상 생성 장치 및 방법 |
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109671031A (zh) * | 2018-12-14 | 2019-04-23 | 中北大学 | 一种基于残差学习卷积神经网络的多光谱图像反演方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9189834B2 (en) * | 2013-11-14 | 2015-11-17 | Adobe Systems Incorporated | Adaptive denoising with internal and external patches |
| US10685429B2 (en) * | 2017-02-22 | 2020-06-16 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
-
2019
- 2019-12-24 CN CN201911346539.1A patent/CN111192211B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133948A (zh) * | 2017-05-09 | 2017-09-05 | 电子科技大学 | 基于多任务卷积神经网络的图像模糊与噪声评测方法 |
| KR101846017B1 (ko) * | 2017-09-18 | 2018-04-05 | 엘아이지넥스원 주식회사 | 노이즈 영상 생성 장치 및 방법 |
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109671031A (zh) * | 2018-12-14 | 2019-04-23 | 中北大学 | 一种基于残差学习卷积神经网络的多光谱图像反演方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising》;Kai Zhang等;《IEEE》;20180930;第1-15页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111192211A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192211B (zh) | 一种基于单个深度神经网络的多噪声类型盲去噪方法 | |
| Shi et al. | Deep networks for compressed image sensing | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN110378844B (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN107506822B (zh) | 一种基于空间融合池化的深度神经网络方法 | |
| CN110276726B (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
| CN107464217B (zh) | 一种图像处理方法及装置 | |
| CN102567973B (zh) | 基于改进的形状自适应窗口的图像去噪方法 | |
| CN110648292B (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| CN110706181A (zh) | 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 | |
| CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN110675329A (zh) | 基于视觉语义引导的图像去模糊方法 | |
| CN112489168A (zh) | 一种图像数据集生成制作方法、装置、设备及存储介质 | |
| CN114493991A (zh) | 基于注意力循环对抗网络的风格迁移系统、方法、装置 | |
| Yap et al. | A recursive soft-decision approach to blind image deconvolution | |
| CN114881861A (zh) | 基于双采样纹理感知蒸馏学习的不均衡图像超分方法 | |
| Lai et al. | Mixed attention network for hyperspectral image denoising | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN105184742A (zh) | 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法 | |
| Nithya et al. | Pilot based channel estimation of OFDM systems using deep learning techniques | |
| CN110838089A (zh) | 一种基于OctBlock密集块的快速图像去噪方法 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| CN113763268A (zh) | 人脸图像盲修复方法及系统 | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |