CN113344811A - 多层卷积稀疏编码的加权递归去噪深度神经网络及方法 - Google Patents
多层卷积稀疏编码的加权递归去噪深度神经网络及方法 Download PDFInfo
- Publication number
- CN113344811A CN113344811A CN202110598910.4A CN202110598910A CN113344811A CN 113344811 A CN113344811 A CN 113344811A CN 202110598910 A CN202110598910 A CN 202110598910A CN 113344811 A CN113344811 A CN 113344811A
- Authority
- CN
- China
- Prior art keywords
- network
- denoising
- layer
- model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000013528 artificial neural network Methods 0.000 title claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 239000010410 layer Substances 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 7
- 239000002356 single layer Substances 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 19
- 230000007246 mechanism Effects 0.000 abstract description 10
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000003313 weakening effect Effects 0.000 abstract description 2
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 5
- 241000258957 Asteroidea Species 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000721047 Danaus plexippus Species 0.000 description 2
- 241001134453 Lista Species 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提出了一种基于多层卷积稀疏编码(MLCSC)模型的端对端的加权递归去噪卷积神经网络WRDnCN‑LISTA+，该模型以展开的多层学习迭代软阈值算法(ML‑LISTA)为基础，引入递归加权监督机制实现自然图像去噪。展开的ML‑LISTA算法可以和卷积神经网络实现一一对应，加权监督机制也可以改善由简单的递归结构在深层网络中带来的退化问题。引入的可学习权值利用所有中间递归的输出结果，既减弱了不同递归次数对网络性能的影响，也增强去噪性能。递归网络特有的参数共享性质，使构造一个深度卷积神经网络所耗费的参数成本减少，并且保证通过最小化损失函数，可利用反向传播自适应更新模型中的所有参数。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，它涉及一种多层卷积稀疏编码的加权递归去噪深度神经网络及方法。
背景技术
图像去噪是计算机视觉领域一个至关重要的图像处理问题，被视作高级视觉问题的预处理步骤，广泛应用于医学图像分析、遥感成像、数码摄影等实际应用中。其中，去除合成图片的加性高斯白噪声(AGWN)吸引了大量的研究，该去噪任务假定被噪声污染的观测图片Y＝X+V，其中X是潜在的干净图像，V代表已知标准方差σ的加性高斯白噪声，通过去噪算法从被污染的观测图像Y获得潜在的干净图像。
现有的图像去噪算法主要包括传统的基于滤波、基于稀疏表示、基于低秩的图像去噪算法。而近来备受关注的基于深度学习去噪算法，将深度CNN应用到图像去噪中，通过端对端的结构用数据驱动学习，使得该类方法在AWGN去噪方面优于大多数传统方法。然而，深度卷积神经网络一直都被视为一个“黑盒”，设计一个新的网络都是依靠灵感和一次次试错。因此尝试理解网络结构设计的原理、层与层之间的联系，寻找一个结构透明的网络，成为促进网络性能的改进的一个方向。
自然地，人们将经典的基于模型的去噪方法与基于深度学习的框架相结合，尝试从算法的角度对网络进行理解。例如，现有技术提出了一种生成贝叶斯模型，在该模型下，用典型的深度学习框架执行了一个推理过程。还有将共轭先验融入网络结构中，试图得到一个网络结构可解释的变分去噪网络。而2010年提出的学习的迭代软阈值算法(LISTA)，使得L1正则约束下的基追踪算法可以通过神经网络加速学习，因此基于稀疏模型的去噪算法也可以通过LISTA和神经网络产生联系。但传统的稀疏模型，在处理大尺寸图像时，需要将图片分块对局部进行独立地去噪再合成完整去噪图片，以此克服计算复杂度，这也导致了局部和全局的误差。因此，基于稀疏模型的卷积稀疏编码模型(CSC模型)得益于和卷积算子的联系，即通过一个级联的带状循环矩阵替代卷积算子，用一个卷积算子作用全局学习同一种图像信息，弥补了局部和全局的的误差。
在进一步建立稀疏模型和CNNs的多层结构之间的精确联系时，M.Elad等人提出了多层卷积稀疏编码模型(MLCSC模型)。指出，只要假定稀疏表示系数具有非负性，软阈值算子则等价于激活函数ReLU，阈值等价于偏置，矩阵乘法等价于卷积运算，卷积字典由一系列卷积滤波器组成，那么用一种适用于多层结构的分层追踪算法(LBP)来获得MLCSC模型最深层稀疏表示向量的过程，可以精确等价于卷积神经网络的前向传递过程。换句话说，MLCSC模型提供了一个从稀疏表示的观点理解卷积神经网络的机会。但该方法获得的恢复误差逐层增大，导致获得的最深层稀疏表示无法满足MLCSC模型的稀疏度约束。于是，J.Sulam提出了投影追踪算法，先计算最深层的稀疏表示向量，然后再根据模型定义逐层恢复浅层的稀疏表示。将估计误差限制在最外层，而不会随着层数增加而增大。但是，在投影操作下，获得最深层的稀疏表示的过程在思想上退化为一个单层的CSC模型，而忽略了中间层信息。因此，作者在获得到中间层稀疏表示的过程中，将中止不满足稀疏约束的结果，重新更新。但这也增加了计算复杂度，并且可能陷入局部最优，难以跳出。为了获得近似的全局最优，J.Sulam通过近端梯度映射提出了多种多层迭代追踪算法。类比于LISTA算法，多种追踪算法可以被展开至卷积框架中，这些算法的第一次迭代可实现一个传统的卷积网络结构，后续迭代将生成一个递归网络，提供新颖的递归结构。尤其是多层迭代追踪算法中的多层学习迭代软阈值算法(ML-LISTA)，通过引入额外的两组卷积字典可获得更加灵活快速的前馈神经网络。但递归网络的训练是困难的，随着递归次数的增加，网络深度会逐渐加深，浅层获取的图像特征信息通过单一的递归结构传递到网络深层时，很容易产生信息利用不完全的问题。与此同时，远距离像素点之间的学习将变得困难，也有可能面临潜在的梯度消失和梯度爆炸问题。
发明内容
为解决上述技术问题，本发明提供一种基于多层卷积稀疏编码的加权递归去噪方法，包括三个阶段分别是：嵌入网络、推理网络和去噪图像生成器。通过对推断网络中的每一次递归的结果进行监督，将每次递归得到的预测干净图像结果用一个自主学习的权值组合起来，以提供更准确的最终预测并通过权值平衡多次迭代导致的深层递归学习能力减弱的问题。该网络避免传统去噪方法人为选择参数的误差，通过最小化损失函数反向更新网络参数。展开的迭代算法所获得的递归神经网络具备参数共享的特性，避免随着网络层数增加，引入额外的参数，减少参数成本。另外，在MLCSC模型的启发下，该网络的网络结构也是能够被算法解释，每一个子网，每一层网络都具有物理意义。透明化网络结构，为今后从算法经验的角度改进网络提供了理论支持，也为进一步理解去噪网络提供了一个成功的案例。
本发明的上述技术目的是通过以下技术方案得以实现的：
基于多层卷积稀疏编码的加权递归去噪方法，包括以下步骤：
S1：多层卷积稀疏编码；
S2：学习的多层迭代软阈值算法；
S3：判定MLCSC和CNNs的关系；
S1具体包括以下步骤：
多层稀疏编码模型的定义如下：
其中：||Γi||0，∞＝maxj||Γi，j||0，s1表示每个Γi的局部稀疏度，
为各层卷积字典的转置；各层卷积字典的联合
组成有效字典D(1，L浔，全局信号X有相应的L种表示法
给定噪声信号：
将模型的稀疏先验凸松弛为L1正则约束，得到如下优化目标式：
其中：λi是引入的正则参数，当λ1＝…＝λL-1＝0时，优化目标退化为普通的单层CSC模型，当Γi≠0时，多个L1项将导致单层CSC的迭代软阈值算法失效。
作为一种优选方案，S2过程具体包括以下步骤：
通过近端梯度投影算子，得到嵌套的收缩算子的迭代更新式：
作为一种优选方案，S3过程具体包括以下步骤：
给定卷积滤波器权值
和偏置向量
的卷积神经网络的前向传递过程中，函数计算关系如下：
多层卷积稀疏编码的加权递归去噪深度神经网络，基于上述的基于多层卷积稀疏编码的加权递归去噪方法，包括嵌入网络、推理网络和去噪图像生成器，具体流程包括以下步骤：将每一次递归所输出的结构用一个可自由学习的参数按权重加入最终的去噪结果的生成器中。
作为一种优选方案，嵌入网络和推理网络分别包括对应的编码层和解码层，编码层用于算法的更新步骤，解码层用于得到ΓL-1，…,Γ1以及估计的干净
并将更新的结果传入下一个块。
作为一种优选方案，推理网络中，每一次递归生成的去噪图片进行加权重组的算法如下：
最终生成的去噪图片由各个权值的大小决定各个递归的去噪结果加入最终结果的比值。
综上所述，本发明具有以下有益效果：
上述WRDnCN-LISTA+网络用数学函数来定义，可以被表示为F。若给定带噪声的图像为Y，则通过该网络所得到的去噪图像可以被表示为
其中Θ表示模型中学习的参数，包括卷积滤波器权重、偏置向量以及批规范化参数和递归权值。因此，已知的干净图像X和
构成一个干净的去噪训练图像对
因此，网络中的所有参数都采用了一种端到端的有监督学习方法，通过最小化损失函数
进行更新，避免了手工选择参数所带来的误差。同时，引入的加权递归机制，可以监督每一次递归的有效性，避免递归次数太少，推断网络过少图像信息利用不完全；也避免递归次数过多，产生无效递归。
附图说明
图1是本发明实施例中的算法1的示意图；
图2至图4是本发明实施例的WRDnCN-LISTA+加权递归去噪网络结构示意图；
图5是本发明实施例的WRDnCN-LISTA(12)+网络处理被AWGN污染的图片“House”的中间过程的去噪图像比较,噪声水平＝50时的效果对比图；
图6是本发明实施例的WNNM和WRDnCN-LISTA(12)+对各个噪声水平下的带噪”Barbara”的去噪结果对比图；
图7是本发明实施例的噪声水平为50下，CSCNet和WRDnCN-LISTA(12)+处理“Starfish”图像去噪结果对比图；
图8是本发明实施例的“Monar”,“House”和“Man”三张图片在噪声水平为50的情况下，多种去噪方法的去噪结果对比图。
具体实施方式
本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包括”为一开放式用语，故应解释成“包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。
本说明书及权利要求的上下左右等方位名词，是结合附图以便于进一步说明，使得本申请更加方便理解，并不对本申请做出限定，在不同的场景中，上下、左右、里外均是相对而言。
以下结合附图对本发明作进一步详细说明。
多层卷积稀疏编码
传统的稀疏表示模型假定一个信号或者图像可以由多个基函数通过相应的稀疏向量系数进行线性组合表示，所有基函数的组合称之为字典。而MLCSC模型，假定一个全局信号可以被卷积字典
线性组合表示，由它分解得到的稀疏表示向量Γ1也同样具备这样的假定，能够被下一层的卷积字典
线性组合表示，后续的每层都保留这样的模型假设。具体来说，多层稀疏编码模型的定义如下，
其中：||Γi||0,∞＝maxj||Γi,j||0，si表示每个Γi的局部稀疏度，
为各层卷积字典的转置。各层卷积字典的联合
组成有效字典D(1,L浔，全局信号X有相应的L种表示法
呈现一种类似于“从原子到分子”的表示过程，让其在多层有效卷积字典的作用下具备多级表示方法。由三层的模型更具体来说，字典
描述了包含小的局部原子的先验信息。而二者的乘积
包括来自
的每一列的线性组合，得到了由它们组合的更加具体的原子。第三层D(1,3)则通过简单的卷积得到更复杂的先验信息构造。三个层次的有效字典可以从低到高传递不同的抽象信号信息，类似于从原子层级、分子层级再到细胞层级构造人体的形象过程。另外，从模型定义可以得到中间稀疏表示将会同时扮演两个角色，一个是前一层的稀疏表示向量，一个是下一层需要被稀疏表示的信号。所以，它的外层保持着综合先验，中间层的约束可以被理解为分析先验，若给定模型的稀疏约束就获得了一个综合的分析-综合先验。
在给定噪声信号
时，为避免L0范数获得稀疏表示向量Γi的NP难问题，将模型的稀疏先验凸松弛为L1正则约束，得到如下优化目标式，
其中，λi是引入的正则参数。当λ1＝…＝λL-1＝0时，优化目标退化为普通的单层CSC模型，但当Γi≠0时，多个L1项将导致单层CSC的迭代软阈值算法(ISTA)失效，在2018年，J.Sulam提出通过近端梯度映射提出了适用于多层卷积稀疏编码模型的多层迭代软阈值算法。
学习的多层迭代软阈值算法
多层版本的ISTA算法，是在迭代软阈值算法梯度下降的思想上，采用近端梯度投影算子而获得了形如一系列嵌套的收缩算子的迭代更新式。本文以三层MLCSC模型为例，给出三层迭代软阈值算法追踪获得最深层稀疏表示的迭代更新式，
从这个表达式看来，获取最深层的Γ3的过程非常复杂，但可以通过逐层计算将其简化为递归分层运算符，
然而，ML-ISTA算法需要大量的迭代才能收敛，重建速度太慢。因此，我们用学习的ML-ISTA算法(ML-LISTA)来加快计算速度并获得稀疏码的近似估计。其中，
代替了ML-ISTA算法中的迭代步骤
并将每一层的稀疏向量
用一个线性传输解码器进行重构，
换句话说，ML-ISTA中的字典Di被分解为三个具备相同尺寸和初始值的字典Wi，Bi，Ri进行训练。具体的算法步骤在算法1(附图1)中给出。
MLCSC和CNNs的联系
在满足非负假定的情况下，可以认为追踪算法获得MLCSC最深层稀疏表示向量的过程等价于CNNs前向传递过程。具体来说，ML-ISTA算法初始条件为
那么第一次迭代可以被表示为
与此同时，在给定卷积滤波器权值
和偏置向量
的卷积神经网络的前向传递过程中，可以将该过程用函数简化为：
观察两个等式，若CNNs中滤波器权值
可视为卷积字典
激活函数ReLU可等价替代阈值算子，偏置bi可等价替代阈值λi，那么二者会存在一个一一对应关系。根据软阈值算子的定义和ReLU函数的定义，在给定正的阈值的情况下，ReLU函数在偏置bi的辅助下可以成为软阈值函数的正半部分分支，即非负软阈值算子
Elad等人提出对稀疏表示向量施加了非负假定，建立了ReLU函数和软阈值算子之间的对应关系，并证明了在非负性假设下ReLU函数可以近似替代软阈值函数。所以，展开软阈值迭代算法获得最深层系数表示的过程就可以对应于CNNs的前向传递过程。这个发现是令人鼓舞的，一方面，可以采用CNN来优化获得MLCSC模型的唯一稀疏表示的过程；另一方面，也可以从稀疏表示模型的角度提供理解CNN的网络原理的突破口。
当算法展开的迭代次数不止一次时，原始的平层CNN网络结构将会转变为一个递归神经网络，每进行一次迭代将会增加一次递归，并根据算法1的更新设计，我们也会得到相应的独特的跳跃连接设计。
加权去噪递归神经网络
WRDnCN-LISTA+网络是一个由嵌入、推理和去噪图像生成器三个部分组成的端对端递归卷积神经网络，其网络结构根据ML-LISTA算法追踪MLCSC模型的最深层稀疏表示向量和反向逐层获得浅层稀疏表示向量的过程启发而设计。换而言之，该去噪模型的基本结构具有可解释性，每一层每一个跳跃连接都具有物理意义。同时，为避免递归结构的滥用，在推理阶段引入递归监督机制，将每一次递归所输出的结构用一个可自由学习的参数按权重加入最终的去噪结果的生成器中。权重的引入不仅增强网络的学习能力，还使得简单的递归结构能够充分利用前层获取的信息，避免随着迭代次数增多，层数加深出现梯度消失(爆炸)。另外，受常用卷积神经网络技巧的启发，我们在嵌入子网引入了批规范化算子和扩张卷积，增强网络的性能。完整的网络结构如图2至图4所示。
网络结构
如图2所示，该网络包括三个不同的子网，分别是由Block1对应的嵌入子网(Embedding net)，T-1个Block2组成的推断子网(Inference net)，以及去噪图像生成器。其中，Block2的个数T-1就是递归次数k，决定了网络深度，即网络的深度随着中间递归次数的增加而加深。虽然这成为递归网络不引入额外参数就能获得极深网络的优势，但这也为网络引入了一个重要的超参数，即递归次数。
前两个子网都分为编码层与解码层两个部分。编码层对应于算法的更新步骤，解码层则是根据模型假定，利用估计的最深层稀疏表示逐层反向恢复得到ΓL-1,…ΓL-1以及估计的干净
并将更新的结果传入下一个块。由此获得的网络，合理利用卷积和转置卷积进行编码和解码，维持了输入图像的原始尺寸，解决图像去噪问题。在图2中，虚线框区分了三个子网，分别代表着网络中利用模型假设重构的步骤、展开的ML-LISTA算法的第一次迭代、ML-LISTA算法的后续迭代。
嵌入子网扮演着接收输入图像并获取图像信息的作用。它的前三层对应于ML-ISTA算法在初始假定
下的第一次迭代，因此对应于卷积字典B1,B2,B3的三层普通卷积层构成卷积编码层。为扩大嵌入子网的接受域，使用网络优化技巧膨胀卷积，保证在没有引入额外参数的情况下，以增添0的方式获得较大的接受域。同时在每一次进入ReLU激活函数前通过批规范化，保证网络训练的稳定性，避免出现梯度爆炸的问题。随后，为更新
与
两层把R3,R2作为卷积字典的转置卷积层被添加在其后。嵌入子网对应的Block1的具体形式请见图3。
推断子网是该网络解决图像去噪问题的关键，由一个个相同的递归组成，每一个递归块都是参数共享，对应于展开的ML-LISTA算法的后续每一次迭代。图4展示了第k次递归对应的第k+1次迭代的具体过程。利用上一个递归的结果
通过由字典
交替对应的卷积、转置卷积运算，得到Block2的卷积编码层。正因为该编码层由展开的算法指导设计，所以不同于普通的卷积层，它具有许多精巧的跳跃连接。这些跳跃连接有利于更好地利用上下层信息，训练一个深度递归网络，避免随着深度加深而导致输入信息的丢失。尤其，在进入每个Block2的第一个非线性ReLU激活函数前，都会有一个由输入Y引入的跳跃连接，贯穿于整个网络。直观看来，
的输入在网络的主线上，而前一个递归获得的
分别开启了网络的另外两个分支，用于完成
的更新。随后的转置卷积解码层具有类似于Block1的结构，由三层对应于R3,R2,R1为卷积字典作为转置卷积层,通过
保证输出的递归结果为估计的去噪图像。
最后的去噪图像生成器是一个通过自由学习的权值将每一次递归生成的去噪图片进行加权重组，具体数学表达式如下，
最终生成的去噪图片由各个权值的大小决定各个递归的去噪结果加入最终结果的比值。因此，通过利用所有中间层的预测，可以对所有递归的结果进行监测。
上述WRDnCN-LISTA+网络用数学函数来定义，可以被表示为F。若给定带噪声的图像为Y，则通过该网络所得到的去噪图像可以被表示为
其中Θ表示模型中学习的参数，包括卷积滤波器权重、偏置向量以及批规范化参数和递归权值。因此，已知的干净图像X和
构成一个干净的去噪训练图像对
因此，网络中的所有参数都采用了一种端到端的有监督学习方法，通过最小化损失函数
进行更新，避免了手工选择参数所带来的误差。同时，引入的加权递归机制，可以监督每一次递归的有效性，避免递归次数太少，推断网络过少图像信息利用不完全；也避免递归次数过多，产生无效递归。
实验
(1)实验设置
训练数据集选取400幅图像，通过向其中加入已知噪声方差的AWGN来合成噪声图像，构成具有“干净-带噪”的标签数据对。为了增强训练数据集也为了更好暴露图像内部信息，将这400幅尺寸为180×180的图像分割成40×40的较小图片，并按1,0.9,0.8,0.7四种尺度进行缩放，获得最终的训练集。测试数据集选择标准数据集Set12和BSD68。
网络训练过程中，随机种子设置为51，选用Adam优化器对网络参数进行优化，最小批量设置为64，初始学习率为1e-4，每20个epoch衰减
50个后停止训练。在不影响网络训练效果下，我们采用混合精度来加快训练速度，减轻GPU内存的负担。所有实验均是在Ryzen52600xCPU和NvidiaRTX2080TiGPU的PC机上运行Python3.7.6Pythorch进行的。
(2)最优递归次数kopt的选择
通过上节对网络结构的分析，加权递归去噪卷积神经网络WRDnCN-LISTA+对应于ML-LISTA算法的展开，迭代次数所对应的递归次数将成为影响网络结构和性能的参数。因此，将其以上标简记为WRDnCN-LISTA+(k)。我们猜想在一定限度内，网络去噪性能会随着递归次数的增加而增强，在最优递归次数出现后将会因为迭代次数增加而出现平稳甚至退化。所以，最优递归次数kopt的选择成为影响网络性能的一个重要因素。但正因为在网络中增加了跳跃连接和可学习的权值，那么其构成的递归监督机制，将原本单一输出最后一次递归结果的重要性，分散至所有中间层的预测。换句话说，引入基于权值的递归监督机制，使得最终的去噪生成器可以充分利用每次递归的结果，权值的大小可以平衡各个递归的作用效果。自然，我们猜想最优递归次数kopt的重要性会随之降低，加权可以缓解不同递归次数的带来的差异。为了验证这一特质，我们调整递归次数k，训练了8个网络，表1第二行展示了在AWGN噪声水平＝50时，该网络在滤波器个数m＝16时，不同递归次数下的平均PSNR值。此时网络参数仅有三组16×(3×3)的滤波器权值,三组偏置向量16×3，以及k个递归权值和批规范化参数，共计14400+k个参数。同时，以未引入加权监督机制的DnMLCSC-net作为对比，给出对应递归次数下的PSNR值，见表1第一行。
表1:AWGN噪声水平σ＝50时,网络
DnMLCSC-net,WRDnCN-LISTA+(k)在不同递归次数k下的平均PSNR值.
首先，表1的结果显示，引入递归监督机制后的结果确实有所提高。其次，确定了WRDnCN-LISTA+网络的最优递归次数为kopt＝12。最后，虽然二者具有类似的趋势，出现了最优递归次数。但自从递归次数超过6以后,网络就能维持较在26.2dB以上的较高水平，权值平滑了不同递归的结果。每一次递归的有效性由权值大小来监督，不同大小的权值有取舍地发挥每个递归应有的效果，将原本最优递归次数的重要性分散至所有中间层的预测。那么，递归监督自然减轻了优递归次数的重要性。除此以外，每一次递归都会将结果，按权值直接用于去噪图像生成，那么相较于只有一条更新路径的RDnCN-LISTA+，会提供经历更少层的反向传播路径。换句话说，递归监督缓解了原有的唯一反向传播路径的梯度消失(爆炸)的对抗效应，让各隐层的反向传播的梯度之和有平滑作用。因此，实验结果和分析都说明了递归监督的有效性。
另外，得益于三层连续的转置卷积，让每一次的递归结果可以被输出为预测的干净图像。因此，为比较由多次重复递归组成的去噪网络的每一次递归的输出的图像差异，我们选取了Set12数据集中被AWGN水平为50的噪声污染的图像”House”，展示其在网络WRDnCN-LISTA(12)+下，从输入到中间第k＝1,3,5,7,9,11次递归以及最终输出的每一次图像(图5)。
如图5所示，在总递归次数为12次的网络中，图像整体的灰度值是逐渐降低的，并且随着递归次数的增加，预测的去噪图像所带的噪点越少更加稳定。第一次递归输出的图像强化了灰度值的梯度变化，捕捉了图像特征中的边缘信息，随着递归次数增加，图像内像素之间的灰度值差逐渐下降。但也正因为随着网络逐层传递和学习，逐渐平滑了图像的边缘信息，因此，通过跳跃连接和权值，充分利用所有递归的结果，对于增强最终的去噪图像质量是有意义的。
(3)去噪结果
本节为分析和验证去噪网络WRDnCN-LISTA(12)+在解决真实图像去噪问题上的差异，改变AWGN噪声水平σ＝15,25,50,75，在四个不同噪声水平下，依据(1)节设置实验参数，同时每层滤波器个数设置为128，训练50个epoch，获得四个网络。
将所提出加权递归去噪网络与经典的去噪方法进行了比较，包括两种经典的基于先验的方法BM3D和WNNM，两种基于深度学习的可解释方法DKSVD和CSCNet，以及DnCNN。以标准峰值信噪比(PSNR)作为衡量去噪图像质量的指标。通过表2、3列出标准数据集BSD68和Set12图像的去噪结果。
表2：15,25,50,75四种噪声水平下，多种去噪方法在BSD68数据集下的PSNR结果
表3：15,25,50,75四种噪声水平下，多种去噪方法在Set12数据集下的PSNR结果
在所有方法中，我们提出的WRDnCN-LISTA(12)+递归去噪网络在各个噪声水平下均取得了最高的平均PSNR值。得益于数据驱动获得了强大学习能力，我们提出的模型与经典的基于先验的去噪算法相比，去噪性能上有明显的改进。例如，我们的模型相较于经典的去噪模型BM3D，在各个噪声水平的平均PSNR值提升了0.17dB–0.6dB。但值得注意的是，即使基于学习的去噪方法在绝大多数图片获得了最高PSNR值，但是WNNM在“House”和“Barbara”这两张图片上获得了最佳PSNR值，尤其是“Barbara”图像获得了所有噪声的最佳。这种现象之所以会出现就是因为，不同的图片具有不同的结构特征，基于不同原理和先验的去噪器也具有自己擅长处理的图片特征。而“Barbara”整张图片就是由许多重复的条纹构成，女士的头巾、衣服、桌布都是条纹，而WNNM正是基于非局部先验的模型，所以擅长处理具有规则和重复结构的图像。正如图6所示，即使WNNM模型在噪声水平为25，50时，人脸信息恢复得不如次优的WRDnCN-LISTA(12)+，但也依旧能够凭借条纹恢复获得最佳PSNR。因此，具有不同特征的不同图像最适合的去噪方法是不同的，但提出的WRDnCN-LISTA(12)+能在各个噪声水平获得最高的平均PSNR，说明我们的模型确实有效提升了去噪性能。同时，这个现象也进一步说明了对图像先验信息的建模对去噪模型的性能有指导性作用。
而基于稀疏先验的模型在处理简单纹理组成的图像方面具有很强的去噪能力。因此，我们提出的加权递归去噪网络基于MLCSC模型，所以在处理由许多不规则圆形图案组成的”Starfish”和”Monarch”中表现出很强的去噪性能。特别地，当噪声级为15时，去噪后的图像”Monarch”达到了33.22dB的较高PSNR值。此外，与其他基于学习的去噪器相比，即使噪声水平增加，我们的网络仍具有很强的去噪能力。因此，将稀疏先验信息嵌入到网络中，可以更好地处理具有稀疏先验的图像，使训练后的模型在高噪声下对噪声具有更强的鲁棒性。
另外，基于CSC模型的CSCNet去噪网络WRDnCN-LISTA(12)+一样，都是受算法展开的启发得到了一个有效的递归卷积网络。但二者所依据的展开算法并不相同，一个是迭代软阈值算法，一个是多层迭代软阈值算法。因此，去噪网络WRDnCN-LISTA(12)+相较于CSCNet具有更加复杂的结构，更加精巧的跳跃连接设计。同时，CSCNet采用调整步长的方式改善卷积稀疏模型的互相关要求，而我们通过引入递归监督机制，根据权值有比重地利用中间各层的去噪结果来增强去噪性能得到了一个全新的去噪网络。表2，3实验结果也反映出，两个基于稀疏模型而设计的卷积神经网络，都弥补经典的去噪卷积神经网络DnCNN在高水平噪声干扰下的性能减弱，具有鲁棒性。但我们的模型在低水平噪声下也能够保持较好的去噪能力，这一点就说明我们的模型较CSCNet有更好的去噪性能。特别是当噪声水平为15时，分别在BSD68和Set12数据集中平均PSNR值提高了0.21dB和0.23dB。在图中，我们选择了图像7”Starfish”直观地比较两种去噪网络.图像表明，WRDnCN-LISTA(12)+网络将带来更清晰、更明显的边缘信息尤其是在海星二的触角的边缘，不会出现边缘模糊。
为了更直观地比较多种去噪方法去噪结果的视觉效果，我们在图8展示了Set12数据集中“Monar”、“House”和“Man”三张图片在噪声水平为50下的去噪结果。通过BM3D、WNNM去噪方法得到的图像在背景区域有明显的涂抹感，而其他三种基于学习的方法则更为清晰。为了更好地比较局部细节，我们用矩形方块捕捉了放大的局部信息。用BM3D、KSVD、LKSVD和CSCNet四种方法处理的“Monar”图片都存在边缘模糊，而我们的模型处理的图像边缘平滑清晰。特别是，只有我们提出的网络捕捉到了男人袖口的褶皱，而且我们的模型在房屋水管连接处也表现出了良好的细节重建能力，减少了细节纹理扭曲问题的出现，获得更好的视觉效果。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (6)
1.基于多层卷积稀疏编码的加权递归去噪方法，其特征在于，包括以下步骤：
S1：多层卷积稀疏编码；
S2：学习的多层迭代软阈值算法；
S3：判定MLCSC和CNNs的关系；
S1具体包括以下步骤：
多层稀疏编码模型的定义如下：
其中：||Γi||0,∞＝maxj||Γi,j||0，si表示每个Γi的局部稀疏度，
为各层卷积字典的转置；各层卷积字典的联合
组成有效字典D(1，L)，全局信号X有相应的L种表示法
给定噪声信号：
将模型的稀疏先验凸松弛为L1正则约束，得到如下优化目标式：
其中：λi是引入的正则参数，当λ1＝···＝λL-1＝0时，优化目标退化为普通的单层CSC模型，当Γi≠0时，多个L1项将导致单层CSC的迭代软阈值算法失效。
2.根据权利要求1所述的基于多层卷积稀疏编码的加权递归去噪方法，其特征在于，所述S2过程具体包括以下步骤：
通过近端梯度投影算子，得到嵌套的收缩算子的迭代更新式：
3.根据权利要求1所述的基于多层卷积稀疏编码的加权递归去噪方法，其特征在于，所述S3过程具体包括以下步骤：
给定卷积滤波器权值
和偏置向量
的卷积神经网络的前向传递过程中，函数计算关系如下：
4.多层卷积稀疏编码的加权递归去噪深度神经网络，基于权利要求1至3任一所述的基于多层卷积稀疏编码的加权递归去噪方法，其特征在于，包括嵌入网络、推理网络和去噪图像生成器，具体流程包括以下步骤：将每一次递归所输出的结构用一个可自由学习的参数按权重加入最终的去噪结果的生成器中。
5.根据权利要求4所述的多层卷积稀疏编码的加权递归去噪深度神经网络，其特征在于，嵌入网络和推理网络分别包括对应的编码层和解码层，编码层用于算法的更新步骤，解码层用于得到ΓL-1，…，Γ1以及估计的干净
并将更新的结果传入下一个块。
6.根据权利要求4所述的多层卷积稀疏编码的加权递归去噪深度神经网络，其特征在于，所述推理网络中，每一次递归生成的去噪图片进行加权重组的算法如下：
最终生成的去噪图片由各个权值的大小决定各个递归的去噪结果加入最终结果的比值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110598910.4A CN113344811A (zh) | 2021-05-31 | 2021-05-31 | 多层卷积稀疏编码的加权递归去噪深度神经网络及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110598910.4A CN113344811A (zh) | 2021-05-31 | 2021-05-31 | 多层卷积稀疏编码的加权递归去噪深度神经网络及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113344811A true CN113344811A (zh) | 2021-09-03 |
Family
ID=77472442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110598910.4A Pending CN113344811A (zh) | 2021-05-31 | 2021-05-31 | 多层卷积稀疏编码的加权递归去噪深度神经网络及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344811A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156849B1 (ko) * | 2019-06-27 | 2020-09-16 | 국방과학연구소 | Lista를 이용하여 희소 신호를 복원하는 방법 및 이를 위한 기록매체 |
| CN111738952A (zh) * | 2020-06-22 | 2020-10-02 | 京东方科技集团股份有限公司 | 一种图像修复的方法、装置及电子设备 |
| CN112488413A (zh) * | 2020-12-11 | 2021-03-12 | 重庆邮电大学 | 基于awa-drcn的人口空间化方法 |
| CN112580645A (zh) * | 2020-12-08 | 2021-03-30 | 江苏海洋大学 | 基于卷积稀疏编码的Unet语义分割方法 |
-
2021
- 2021-05-31 CN CN202110598910.4A patent/CN113344811A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156849B1 (ko) * | 2019-06-27 | 2020-09-16 | 국방과학연구소 | Lista를 이용하여 희소 신호를 복원하는 방법 및 이를 위한 기록매체 |
| CN111738952A (zh) * | 2020-06-22 | 2020-10-02 | 京东方科技集团股份有限公司 | 一种图像修复的方法、装置及电子设备 |
| CN112580645A (zh) * | 2020-12-08 | 2021-03-30 | 江苏海洋大学 | 基于卷积稀疏编码的Unet语义分割方法 |
| CN112488413A (zh) * | 2020-12-11 | 2021-03-12 | 重庆邮电大学 | 基于awa-drcn的人口空间化方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIWON KIM 等: "Deeply-Recursive Convolutional Network for Image Super-Resolution", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| ZEJIA WEN 等: "Denoising convolutional neural network inspired via multi-layer convolutional sparse coding", 《JOURNAL OF ELECTRONIC IMAGING》 * |
| 张膑 等: "分组训练卷积字典的图像去噪算法", 《科学技术与工程》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Scetbon et al. | Deep k-svd denoising | |
| Peng et al. | Dilated residual networks with symmetric skip connection for image denoising | |
| McCann et al. | Convolutional neural networks for inverse problems in imaging: A review | |
| Teuwen et al. | Convolutional neural networks | |
| Gai et al. | New image denoising algorithm via improved deep convolutional neural network with perceptive loss | |
| Bhandari et al. | Optimal sub-band adaptive thresholding based edge preserved satellite image denoising using adaptive differential evolution algorithm | |
| Wei et al. | Tfpnp: Tuning-free plug-and-play proximal algorithms with applications to inverse imaging problems | |
| Noor et al. | Median filters combined with denoising convolutional neural network for Gaussian and impulse noises | |
| Xu et al. | Deep sparse representation based image restoration with denoising prior | |
| Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
| Deng et al. | A signal denoising algorithm based on overcomplete wavelet representations and Gaussian models | |
| Lecouat et al. | A flexible framework for designing trainable priors with adaptive smoothing and game encoding | |
| Chaurasiya et al. | Deep dilated CNN based image denoising | |
| Khatib et al. | Learned greedy method (LGM): A novel neural architecture for sparse coding and beyond | |
| Sheng et al. | SRNet: Sparse representation-based network for image denoising | |
| CN112270650B (zh) | 基于稀疏自编码器的图像处理方法、系统、介质、设备 | |
| Lyu et al. | NSTBNet: Toward a nonsubsampled shearlet transform for broad convolutional neural network image denoising | |
| Lu et al. | Underwater image enhancement method based on denoising diffusion probabilistic model | |
| Oza et al. | Semi-supervised image-to-image translation | |
| CN113344811A (zh) | 多层卷积稀疏编码的加权递归去噪深度神经网络及方法 | |
| Li et al. | A robust neuro-fuzzy network approach to impulse noise filtering for color images | |
| Shi et al. | Provable deep video denoiser using spatial–temporal information for video snapshot compressive imaging: Algorithm and convergence analysis | |
| Zou et al. | WGAN-based image denoising algorithm | |
| Cui et al. | Compressed sensing based on L1 and TGV regularization for low-light-level images denoising | |
| CN116385264A (zh) | 一种超分辨率遥感数据重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |
|
| RJ01 | Rejection of invention patent application after publication |