CN111563846A - 一种基于压缩神经网络的图像去噪方法 - Google Patents
一种基于压缩神经网络的图像去噪方法 Download PDFInfo
- Publication number
- CN111563846A CN111563846A CN201911008829.5A CN201911008829A CN111563846A CN 111563846 A CN111563846 A CN 111563846A CN 201911008829 A CN201911008829 A CN 201911008829A CN 111563846 A CN111563846 A CN 111563846A
- Authority
- CN
- China
- Prior art keywords
- convolution
- network
- image
- denoising
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 22
- 230000004913 activation Effects 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 8
- 230000001965 increasing effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
本发明公开了一种基于压缩神经网络的图像去噪方法。首先将噪声图像进行分块来降低训练模型的代价，随后经过压缩神经网络进行图像去噪，增强机制、空洞卷积融合到所发明的去噪网络中提高去噪的性能，最后利用全局残差操作得到干净的图像。去噪网络由增强块和压缩块组成。增强块包括子网络、一个卷积层及激活函数、空洞卷积及激活函数，二个子网络通过Concat操作被连接到一起，增强捕获特征的鲁棒性，之后经过卷积层和激活函数对上述提取的特征信息进行继续学习。压缩块是用来压缩网络的参数和减少模型的训练代价。压缩模块包括卷积及激活函数、普通的卷积及激活函数和卷积层。这里的空洞卷积能提高去噪网络的性能。
Description
发明名称
一种基于压缩神经网络的图像去噪方法
权利要求书
一种基于压缩神经网络的图像去噪方法，用于处理图像去噪，其实现过程如下：
1.将噪声图像分块成大小为57×57子噪声图像，并将这些子噪声图像作为去噪网络的输入。
2.将这些子噪声图像经过CNDN网络得到干净图像。
3.上述的CNDN网络一共有增强块和压缩块。其中增强块有2 个相同9层的子网络组成：1-3层为卷积和Tanh，4-9层为空洞卷积和Sigmoid，通过一个Concat将二个子网络连接到一起并作为第10层的输入，第10层包括卷积和ReLU，之后第10层输出作为压缩块的输入。压缩块由10层组成：1-8层1×1卷积和激活函数PReLU，第9层为普通的卷积(默认为3×3)和激活函数ReLU，第10层为卷积层，输出的是噪声图像。
4.上述涉及的空洞卷积利用扩大感知来捕获更多上下文信息并减少网络的深度。
5.利用全局的残差技术把获得噪声从噪声图像中得到干净的图像。
6.上述所涉及的CNDN中不同激活函数能增大网络的差异性并提高去噪的性能。
7.压缩块中的1×1能去除CNDN没用的参数，这能提高网络去噪的效率。
技术领域
本发明设计低水平视觉与深度学习领域，尤其涉及一种基于压缩神经网络的图像去噪方法。
背景技术
随着互联网技术、大数据技术的发展，硬件芯片的升级，人工智能技术在图像处理上有越来越多的广泛的应用，如：医学上CT，无人机灾难救援，月球探测，天气预测以及大众娱乐。其中，这些应用需要相机捕获图像，而在恶劣的天气 (如：沙尘暴、雨天、黑天)以及相机抖动等状况下所拍出照片是不清楚，恢复这类图像的技术叫做图像去噪方法。随着图像处理单元GPU的出现，深度学习技术被广泛地应用到图像去噪上，如：2016年提出的深度去噪网络CNN利用卷积，ReLU 和BN来得到干净的图像。2019年提出的MWCNN通过小波和 UnNet来训练去噪网络；2019年提出的BRDNet利用BRN和残差等来对真实噪声图像进行去噪并取得良好的效果。通过以上研究说明，深度CNN是非常适合处理去噪任务的。
发明内容
为了有效地解决以上问题，本发明提出了一种压缩神经网络的图像去噪方法。本发明有较少参数和好的性能，同时本发明在其他低水平视觉任务如图像超分辨上也适用。此外，本发明在军用、民用和医用等都有广泛地应用。因此，本发明有良好现实应用前景和强的理论研究意义。
附图说明：
附图1：本发明的整体流程
附图2：CNDN的网络结构图
附图3：给出的噪声图像
附图4：噪声图像块
附图5：网络预测的噪声映
附图6：CNDN得到的干净图像块
附图7：一张噪声图像
附图8：去噪网络预测噪声映射
附图9：CNDN得到的干净图像
为了解决以上问题，本发明提出的以下解决方法：
1.本发明的整体流程图，如图1本所示。
2.把噪声图像进行分成57×57大小的图像块，这有利于提高噪声网络训练的速度。
3.利用不同激活函数Sigmoid、Tanh、PReLU、ReLU能增大网络差异性提高网络去噪性能。
4.过深网络容易梯度爆炸或者梯度消失，本发明通过增加网络宽度来减少网络深度解决这个问题。
5.在不增大网络的复杂度，利用空洞卷积来增大网络的感知野也能提高网络的去噪性能。
6.本发明所设计的网络有2个子模块组成：增强块和压缩块。增强块负责增强去噪网络的性能。压缩块用来减少网络的参数、降低训练网络的复杂度和提高去噪网络训练的效率。
7.本发明所设计的增强块由2个10层相同的子网络组成，其中每个子网络的前3层为卷积和激活函数Tanh，第4-9层为空洞卷积和激活函数Sigmoid组成，之后第9层的输出用Concat操作连接到一起，这能增强捕获特征的鲁棒性，之后经过第10层卷积层和激活函数ReLU对上述提取的特征进行学习，之后经过压缩块来对训练模型残差进行提取或者压缩，这能降低训练去噪网络的复杂度和提高训练去噪网络的效率。所设计网络的结构如图2所示，
代表残差技术，实际就是减法操作。
8.增强块所设计的Sigmoid被实现的过程如下：
其中，在公式(1)中x代表输入，f(x)代表函数的输出。
9.增强块中所涉及的Tanh函数能表示成公式(2):
其中，在公式(2)中x代表输入，tanh(x)代表函数的输出。
10.增强块中所涉及的PReLU函数能被表示成公式(3):
其中，在公式(3)中i表示不同的通道。如果ai＝0，此时 PReLU是ReLU。
11.增强块中所涉及的ReLU函数能被表示成公式(4):
其中，在公式(4)中λ是一个反向传播过程中学习的变量，它的变化范围[0,1)。
12.增强块中所涉及的空洞卷积
空洞卷积主要依靠空洞卷积因子和层数来映射更多特征区域，假设空洞卷积因子为2，网络的深度为n,它映射的大小能被通过公式(5)来被表示：
f＝(4n+1)×(4n+1) (5)
其中，f为空洞卷积映射的大小
13.本发明所设计的压缩块小卷积
本发明所涉及的压缩块包括10层组成，1-8层1×1卷积和激活函数PReLU，第9层为普通的卷积和激活函数ReLU，第10层为卷积层，输出的噪声图像。
14.压缩块中的1×1大小的卷积能减少网络的参数，提高网络的运行效率。
15.本发明最后利用残差技术(RL)从给出的噪声图像中得到根据图像，这个过程被表示为公式(6):
C＝I-N (6)
其中，I为输入的噪声图像，N是压缩块输出的预测的噪声映射，C是得到的干净图像。
举例：
(1)本发明给出的噪声图像如图3所示。
(2)本发明将图3中的噪声图像分块后的得到一块，如图4所示。
(3)本发明经过预测的噪声映射如图5所示。
(4)本发明最后得到的干净图像块如图6所示。
(5)我们用噪声块来训练去噪模型，当模型训练好后一幅整张噪声图像作为CNDN如图7所示。
(6)CNDN中压缩块的噪声映射输出，如图8所示。
(7)CNDN中最后得到的干净图像，如图9所示。
Claims (1)
1.在一种基于压缩神经网络的图像去噪方法，用于处理图像去噪，其实现过程如下：
（1）将噪声图像分块成大小为 57×57子噪声图像，并将这些子噪声图像作为去噪网络的输入；
（2）将这些子噪声图像经过CNDN网络得到干净图像；
（3）上述的CNDN网络一共有增强块和压缩块；其中增强块有2个相同9层的子网络组成：1-3层为卷积和Tanh，4-9层为空洞卷积和Sigmoid，通过一个Concat将二个子网络连接到一起并作为第10层的输入，第10层包括卷积和ReLU，之后第10层输出作为压缩块的输入；压缩块由10层组成：1-8层1×1卷积和激活函数PReLU，第9层为普通的卷积 (默认为3×3)和激活函数ReLU，第10层为卷积层，输出的是噪声图像；
（4）上述涉及的空洞卷积利用扩大感知野来捕获更多上下文信息并减少网络的深度；
（5）利用全局的残差技术把获得噪声从噪声图像中得到干净的图像；
（6）上述所涉及的CNDN中不同激活函数能增大网络的差异性并提高去噪的性能；
（7）压缩块中的1×1能去除CNDN没用的参数，这能提高网络去噪的效率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911008829.5A CN111563846B (zh) | 2019-10-23 | 2019-10-23 | 一种基于压缩神经网络的图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911008829.5A CN111563846B (zh) | 2019-10-23 | 2019-10-23 | 一种基于压缩神经网络的图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563846A true CN111563846A (zh) | 2020-08-21 |
| CN111563846B CN111563846B (zh) | 2021-10-26 |
Family
ID=72074063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911008829.5A Active CN111563846B (zh) | 2019-10-23 | 2019-10-23 | 一种基于压缩神经网络的图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563846B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634159A (zh) * | 2020-12-23 | 2021-04-09 | 中国海洋大学 | 基于盲噪声估计的高光谱图像去噪方法 |
| CN113361693A (zh) * | 2021-06-30 | 2021-09-07 | 北京百度网讯科技有限公司 | 生成卷积神经网络的方法和装置、图像识别方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107248144A (zh) * | 2017-04-27 | 2017-10-13 | 东南大学 | 一种基于压缩型卷积神经网络的图像去噪方法 |
| US20190095795A1 (en) * | 2017-03-15 | 2019-03-28 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN109559281A (zh) * | 2017-09-26 | 2019-04-02 | 三星电子株式会社 | 图像去噪神经网络架构及其训练方法 |
| CN109782339A (zh) * | 2019-01-14 | 2019-05-21 | 西安交通大学 | 一种基于3D-DnCNN网络的叠后三维地震资料随机噪声压制方法 |
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
-
2019
- 2019-10-23 CN CN201911008829.5A patent/CN111563846B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095795A1 (en) * | 2017-03-15 | 2019-03-28 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN107248144A (zh) * | 2017-04-27 | 2017-10-13 | 东南大学 | 一种基于压缩型卷积神经网络的图像去噪方法 |
| CN109559281A (zh) * | 2017-09-26 | 2019-04-02 | 三星电子株式会社 | 图像去噪神经网络架构及其训练方法 |
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| CN109782339A (zh) * | 2019-01-14 | 2019-05-21 | 西安交通大学 | 一种基于3D-DnCNN网络的叠后三维地震资料随机噪声压制方法 |
Non-Patent Citations (1)
| Title |
|---|
| HAIZHANG ZOU ET AL: "EDCNN: A Novel Network for Image Denoising", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634159A (zh) * | 2020-12-23 | 2021-04-09 | 中国海洋大学 | 基于盲噪声估计的高光谱图像去噪方法 |
| CN112634159B (zh) * | 2020-12-23 | 2022-07-26 | 中国海洋大学 | 基于盲噪声估计的高光谱图像去噪方法 |
| CN113361693A (zh) * | 2021-06-30 | 2021-09-07 | 北京百度网讯科技有限公司 | 生成卷积神经网络的方法和装置、图像识别方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563846B (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106991646B (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Gai et al. | New image denoising algorithm via improved deep convolutional neural network with perceptive loss | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN110717856A (zh) | 一种用于医学成像的超分辨率重建算法 | |
| CN111563846B (zh) | 一种基于压缩神经网络的图像去噪方法 | |
| CN110517195B (zh) | 无监督sar图像去噪方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN109410144A (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| CN113706386A (zh) | 一种基于注意力机制的超分辨率重建方法 | |
| CN114742719A (zh) | 一种基于多特征融合的端到端图像去雾方法 | |
| CN110503608B (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
| CN116563108A (zh) | 一种基于残差多谱通道注意力网络水下图像超分辨率方法 | |
| CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN117078539A (zh) | 基于CNN-Transformer的局部全局交互式图像恢复方法 | |
| CN111179171A (zh) | 基于残差模块和注意力机制的图像超分辨率重建方法 | |
| CN114549361B (zh) | 一种基于改进U-Net模型的去图像运动模糊方法 | |
| CN115797181A (zh) | 一种面向矿井模糊环境的图像超分辨率重建方法 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN112862723B (zh) | 基于伪3d自相关网络的真实图像去噪方法 | |
| CN113837963A (zh) | 基于深度网络在lab颜色空间下的水下图像增强方法 | |
| CN114556897B (zh) | 原始到rgb的图像转换 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |