CN110910329B - 一种以需求为导向的图像去噪方法 - Google Patents
一种以需求为导向的图像去噪方法 Download PDFInfo
- Publication number
- CN110910329B CN110910329B CN201911183294.5A CN201911183294A CN110910329B CN 110910329 B CN110910329 B CN 110910329B CN 201911183294 A CN201911183294 A CN 201911183294A CN 110910329 B CN110910329 B CN 110910329B
- Authority
- CN
- China
- Prior art keywords
- donet
- image
- network model
- convolution
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 239000000654 additive Substances 0.000 claims description 7
- 230000000996 additive effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种以需求为导向的图像去噪方法，通过设置(S,G,R)三个参数，可以优先考虑参数的数量，计算复杂性和去噪质量，也可以在三者之间有一个权衡，达到较优的效果；与现有最先进的方案相比，本方案显著提高了计算效率，而去噪质量几乎没有降低。
Description
技术领域
本发明涉及图像去噪技术领域，尤其涉及一种以需求为导向的图像去噪方法。
背景技术
图像去噪是计算机视觉领域一个经典而又活跃的问题。人们在获取图像的过程中，会由于光照、温度、天气等不可抗拒外部环境噪声的干扰，和电阻、电磁等元器件对于成像设备的影响，导致图像在数字化和成像过程中产生噪声，从而影响图像质量，进而影响后期的图像传播和图像处理，如动作识别、图像分割等。因此图像去噪技术具有非常重要的研究意义。
针对不同图像自身的特性特别以及噪声的规律，目前，图像去噪算法主要分为：传统去噪算法和基于深度神经网络的去噪算法。
传统去噪算法主要分为：稀疏模型、梯度模型、马尔可夫随机场模型(Markovrandom field models)和非局部自相似模型。其中最流行的是基于非局部自相似模型的方法，像BM3D、WNNM等。这种方法可以利用图像的自相似性信息，获得了较好的去噪效果。但这些基于模型的方法有两个主要限制。首先，这些方法耗时并且具有高计算复杂性，因为它们需要处理推理阶段中的复杂优化问题。因此，他们中的大多数计算效率比较低下。其次，一般来说，这些方法是非凸的并涉及手动选择的参数，这增加了实际应用的难度，并为进一步提高去噪性能留下了一些余地。
基于深度神经网络的去噪算法，可以利用神经网络强大的非线性建模能力，通过设置合适的网络结构，可以利用图像数据集来优化网络参数，从而学习到图像的噪声特征，进而去除图片中的噪声。目前，最流行的方法包括DnCNN、MemNet等，虽然这些方法取得了不错的去噪效果，然而这些方法通常是以牺牲参数量为代价来提升去噪性能的，这给实际应用带来了困难。
此外，当面对不同的任务时，会有不同的需求。例如，当使用计算机处理离线任务时，去噪质量成为主导因素，而当需要实时处理时，计算效率也需要重点考虑。另外，当模型应用于移动设备时，需要考虑参数的数量。显然，现有的方法不能满足不同的要求。
发明内容
本发明的目的是提供一种以需求为导向的图像去噪方法，可以根据不同需求通过不同超参数来兼顾计算效率、参数量、去噪质量等性能。
本发明的目的是通过以下技术方案实现的：
一种以需求为导向的图像去噪方法，包括：构建DONet网络模型，利用训练数据集对DONet网络模型进行训练，之后，利用训练好的DONet网络模型对输入的待去噪图像做去噪处理；其中：
DONet网络模型包括：依次连接的尺度模块、组卷积模块、可学习上采样模块、以及残差层；同时，引入一个通道比率R来控制DONet网络模型的容量；多个堆叠的尺度模块形成DONet网络模型的前端，通过下采样因子S来控制提取特征的大小；多个堆叠的组卷积模块作为特征提取器，将卷积通道划分为G组，输出为输入图像的特征图；可学习上采样模块，通过对特征图进行卷积运算，得到噪声子图，并重建获得残留噪声图；残差层，通过将输入图像与残留噪声图相减，获得去噪后的图像。
由上述本发明提供的技术方案可以看出，通过设置(S,G,R)三个参数，可以优先考虑参数的数量，计算复杂性和去噪质量中的一种，也可以在三者之间有一个权衡，达到较优的效果；与现有最先进的方案相比，本方案显著提高了计算效率，而去噪质量几乎没有降低。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种以需求为导向的图像去噪方法的流程图；
图2为本发明实施例提供的一种以需求为导向的图像去框架示意图；
图3为本发明实施例提供的DONet网络模型和现行最先进的方法灰度去噪结果图；
图4为本发明实施例提供的DONet网络模型和现行最先进的方法彩色去噪结果图；
图5为本发明实施例提供的DONet网络模型和现行最先进的方法在灰度图盲去噪结果图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种以需求为导向的图像去噪方法，通过灵活的面向需求的权衡框架(DOF)来生成一个可控卷积网络模型(DONet)，通过选择适当的超参数(S,G,R)，可以优先考虑参数的数量，计算复杂性和去噪质量中的一种，也可以在三者之间有一个权衡，达到较优的效果。同时，用该框架中的基础模块(即后文介绍的尺度模块，组卷积模块和可学习上采样模块)把现有的去噪网络中的相应部分替换掉，就能够生成新的去噪网络，在保留原网络优异性质的同时还能兼顾计算效率、参数量、去噪质量等性能。
如图1所示，为图像去噪方法的流程图，其主要包括如下步骤：
步骤1、构建训练数据集。
本步骤的优选实施方式如下：对已有数据集中的图片进行收集与裁剪，得到一系列干净图像；假设图片噪声是AWGN(加性高斯白噪声)，通过考虑不同的噪声水平，为每一干净图像添加特定噪声水平的加性高斯白噪声变为有噪声的图像，构成的训练数据集用于特定噪声水平的去噪声模型的训练；或者，为每一干净图像添加一定噪声水平范围的加性高斯白噪声变为有噪声的图像，构成的训练数据集用于盲去噪声模型的训练。
示例性的，可以使用来自伯克利分割数据集(BSD500)的400个180×180灰度图像训练灰度图的去噪模型。对于彩色图像去噪，用来自BSD500数据集的432个彩色图像训练网络模型。为了有效地利用网络的感受野，当下采样因子S为1，2和4时，图像被分别被裁剪为35，65和101的图像块。紧接着，将AWGN添加到干净图像块xi来获得yi。对于特定的去噪模型，考虑三个特定的噪声水平，即σ＝15,25和50。对于盲去噪模型，将噪声水平的范围设置为σ∈[0,55]，将AWGN加到干净图像上后得到训练数据集。
步骤2、构建DONet网络模型。
DONet网络模型中，残差学习策略用于学习噪声模型的噪声，而不是直接学习去噪图像。它主要包括：依次连接的尺度模块(Scale block)、组卷积模块(Gconv block)、可学习上采样模块(LUS block)、以及残差层；同时，引入一个通道比率R来控制DONet网络模型的容量；多个堆叠的尺度模块形成DONet网络模型的前端，通过下采样因子S来控制提取特征的大小；多个堆叠的组卷积模块作为特征提取器，将卷积通道划分为G组，输出为输入图像的特征图；可学习上采样模块，通过对特征图进行卷积运算，得到噪声子图，并重建获得残留噪声图；残差层，通过将输入图像与残留噪声图相减，获得去噪后的图像。
本发明实施例中，DONet网络模型的结构是根据(S,G,R)三个参数来获得，S值越大，模型计算量越小；G值越大，模型参数量计算量越少；R值越大，模型容量越大，去噪效果越好，但同时会到导致计算量参数量的增加。
DONet网络模型的处理过程可以表示为：
x＝y-U(G(S(y)))(S,G,R)
其中x是去噪后的图像，y是输入的噪声图像。S(·)表示多个尺度模块的下采样处理，G(·)表示使用多个堆叠的Gconv模块的特征提取器，U(·)表示分别使用LUC模块的重新整定形状操作。(S,G,R)代表三个超参数，用于调整模型以满足不同的需求。U(G(S(y)))(S,G,R)是残差噪声图。可以使用D(S,G,R)(·)来表示DONet，它相当于DOF中的U(G(S(y)))(S,G,R)，即x＝y-D(S,G,R)(y)。如果要给定使用CNN的去噪模型，只需用上述基本模块(尺度模块，组卷积模块和可学习上采样模块)来替换卷积层来构建基于DOF的模型，这也体现了所提出框架的普适性。
步骤3、利用训练数据集对DONet网络模型进行训练。
本发明实施例中，将训练数据集中的有噪图像块和干净图像块按照批量尺寸组合在一起作为输入，设置DONet网络模型的学习率、衰减率以及训练次数，设置权值初始化方式，设置DONet网络模型的损失函数，设置不同的(S,G,R)网络超参数，利用Adam优化器优化DONet网络模型。
DONet网络模型的损失函数表示为：
其中，D(S,G,R)(·)表示DONet网络模型，θ是DONet网络模型中可学习的参数；yi表示对干净图像块xi添加加性高斯白噪声后得到的训练数据集中的噪声图像块；N为训练时一次输入DONet网络模型中的图像块的数量。
步骤4、利用训练好的DONet网络模型对输入的待去噪图像做去噪处理。
将待去噪图像输入训练好的DONet网络模型，加载预训练好的网络参数，对待去噪图像进行正向推断处理，获得去噪后的图像。
为了便于理解，下面针对DONet网络模型及其训练过程做进一步的介绍。
一、DONet网络模型。
如图2所示，为本发明提供的一种以需求为导向的图像去框架，(a)部分为DONet网络模型的结构，(b)～(d)部分依次为尺度模块、组卷积模块、可学习上采样模块。
为了提高降噪器的灵活性，本发明实施例引入了三个超参数(S,G,R)，其中S表示尺度模块的下采样因子，G表示组卷积模块的组数，R是可以控制模型容量的通道比率。
1、尺度模块。
本发明实施例中，堆叠的尺度模块的数目为N，每一个尺度模块中有2个卷积层(Conv)，用于将特征下采样为原始大小的1/S；为了使最终噪声图具有与输入观察图像相同的尺寸，当输入尺寸不能被S整除时，添加裁剪操作；
每一个尺度模块中的操作包括：输入特征图(如果是第一个尺度模块，则其输入即为输入至模型的图像)先经过第一个卷积层(例如，步长为1的3×3卷积层)、一个Relu激活函数后再经过第二个卷积层(例如，步长为2的3×3卷积层)，第二个卷积层得到的图像进行归一化处理(BN)再经过一个Relu激活函数后输出。上述操作方式不是直接的两个卷积层堆叠，从而可以充分的利用这些特征。
本领域技术人员可以理解，3×3卷积层表示卷积层卷积核大小为3。
2、组卷积模块。
本发明实施例中，堆叠的组卷积模块的数目为M-2N-1，其中，M为DONet网络模型中卷积层的总数目，2N为多个堆叠的尺度模块中卷积层的数目，每个组卷积模块分为G组；
同样的，多个堆叠的组卷积将会导致边界效应，因此，经过M-2N-1个组卷积模块(例如，步长为1的3×3卷积层)的分组卷积运算之后，将特征通道混洗(channel shuffle)以帮助信息流过不同的卷积运算，最后通过归一化处理和一个Relu激活函数得到特征图。通过这种方式，组卷积模块具有出色的特征提取能力。同时，它可以提高计算效率，减少参数数量，具有高并行性。
3、可学习上采样模块。
本发明实施例中，可学习上采样模块使用一个卷积层(例如，步长为1的3×3卷积层)对特征图进行卷积运算，得到了S2个具有Cimg通道(示例性的，灰度图为1通道，彩色图为3通道)的噪声子图，通过重新整形噪声子图获得H×W×Cimg的残留噪声图，其中，H、W分别为残留噪声图的高、宽。通过这样的方式，使得去噪图像中的所有像素都是可学习的。
4、残差层。
直接输入图像与可学习上采样模块的输出残差相减，即可以得到去噪后的图像。
为了构建满足不同需求的DONet模型，可以通过选择不同的超参数(S,G,R)来设计面向参数的DONet(DONet-para)，面向计算效率的DONet(DONet-comp)，面向去噪质量的DONet-psnr和综合性能优越的DONet-bala。此外，对于盲去噪，我们训练了盲的DONet-para(DONet-para-B)，盲的DONet-comp(DONet-comp-B)，盲的DONet-psnr(DONet-psnr-B)和盲的DONet-bala(DONet-bala-B)。
二、模型训练。
示例性的，DONet网络模型的训练可以在GPU(Tesla V100)上运行的TensorFlow框架来实现。将步骤1中得到的加噪图像按照批量为128的训练组作为输入，权重的初始化使用均匀分布
其中Wij表示权重矩阵中第i行第j列个权重，U[-a,a]是区间(-a,a)内的均匀分布，nj是前一层第j列的单元数，并使用Adam优化器来优化模型。
此外，学习速率从1e-3到1e-4呈指数衰减，DONet的基本通道设置为64。针对灰度图像，分别为DONet-para，DONet-comp，DONet-psnr和DONet-pbala设置超参数(S,G,R)为(2,4,1)，(4,2,1)，(2,1,2)和(2,4,2)。对于彩色图像，将DONet-comp的(S,G,R)改为(2,4,1)，这与DONet-para的相同。因为，首先，使用(4,2,1)的DONet的计算复杂度与使用(2,4,1)的模型非常接近，但使用(2,4,1)的模型实现了更好的去噪质量，需要更少的参数。其次，在彩色图像去噪中，使用较大的尺度S的DONet往往会导致网络不收敛。
需要说明的是，本发明提供的(S,G,R)具体数值仅为举例，并非构成限制，在实际应用中，用户可以根据实际情况来调整具体数值。此外，上述示例给出了非盲去噪(S,G,R)具体数值，对于盲去噪，也可以使用相同的数值，区别主要在于训练数据集与相关训练方式不同。非盲去噪与盲去噪的具体训练方式也可以参见现有技术。
为了说明本发明实施例上述方案的效果，通过实验进行了DONet网络模型性能验证。
采用了三种广泛使用的数据集：BSD68，Set12和CBSD68。BSD68由来自Berkeley分割数据集的68个自然图像组成，Set12包含12个常用图像处理图像，CBSD68是BSD68的彩色版本。将数据集中的图片按照前述步骤1中准备训练数据集的步骤处理，再将得到的有噪声的图像输入到训练好的DONet网络模型中得到去噪后的图像。
评估网络性能。
本发明实施例中，通过计算浮点运算的数量(FLOPs)来评估计算的复杂性，10亿FLOPs记为GFLOPs。在该DONet网络模型中，主要的计算复杂性来自卷积运算。卷积运算的计算复杂度可表示为：
FLOPs＝2HW(CinK2+1)Cout
其中，H，W和Cout分别是输出要素图的高度，宽度和通道。K是卷积核大小(假设是对称的)，Cin是输入通道的数量。尺度模块用于将特征映射下采样为原始大小的1/S。因此，给定S，可以将计算复杂度重写为：
而组卷积模块的计算复杂度可以写成如下：
可以发现Gconv模块将计算复杂度降低到普通卷积的1/G。另外，类似于计算复杂性，卷积层有助于降低网络模型的参数。当使用Gconv模块时，参数的数量可以描述为：
可以看出，Gconv模块将参数降低到普通卷积的1/G。总之，与普通的卷积运算相比，Gconv模块可以将参数的数量和计算复杂度减少到普通卷积的1/G。
在实验中采用峰值信噪比(PSNR)评价去噪表现，峰值信噪比的定义如下：
其中y′是有噪声的图像，x′是去噪后的图像，MSE(y′,x′)代表y′和x′之间的均方差，定义如下：
其中，H、W分别代表图像的高和宽。
在实验中，DONet中的卷积层数(M)设置为15，因为更深的模型往往会出现梯度消失问题，使用更多的卷积层对提高去噪质量几乎没有贡献。
结果分析：将本发明提供的上述方法的性能与几种最先进的图像去噪方法进行比较。
1)去噪质量比较分析。
在特定噪声水平去噪中，图3和图4是上述DONet网络模型和现行最先进的方法的灰度与彩色去噪结果图。图3中(a)部分是噪声图，(b)～(h)部分依次是BM3D、FFDNet、DnCNN、DONet-para、DONet-comp、DONet-psnr、DONet-bala的去噪结果；(a)～(h)部分对应的峰值信噪依次为：14.15dB、26.21dB、26.93dB、26.90dB、26.77dB、26.48dB、27.08dB、26.99dB。图4中(a)部分是干净的图像，也就是去噪后期望获得的图像，(b)部分是噪声图，(c)～(h)部分依次是BM3D、FFDNet、DnCNN、DONet-para(DONet-comp)、DONet-psnr、DONet-bala的去噪结果；(b)～(h)部分对应的峰值信噪依次为：14.15dB、26.46dB、27.27dB、27.42dB、27.06dB、27.49dB、27.34dB。
表1列出了BSD68，Set12和CBSD68数据集上特定噪声水平去噪的定量评估结果。此外，使用BSD68数据集的盲去噪结果如表2所示。使用字体加粗显示最佳结果。
表1噪声水平分别为15，25和50下不同方法在三个数据集中的PSNR
表2各个网络在BSD 68数据集上盲去噪后的平均PSNR结果
与基于模型的方法BM3D相比，DONets网络模型对于特定去噪有了显著的改进。特别是DONet-psnr，它在BSD68上优于BM3D至少0.71dB，在Set12上优于BM3D0.52dB，在CBSD数据集上优于BM3D0.47dB。与基于学习的方法如TNRD，IRCNN，FFDNet和DnCNN相比，提出的DONets实现了极具竞争力的性能。具体而言，DONet-para实现了与IRCNN相当的性能，DONet-comp实现了与TNRD相似的性能。即便如此，DONet-para和DONet-comp在计算复杂性和参数数量方面都有很大改进，如表3所示。DONet-bala的去噪结果与这三个数据集中的DnCNN相似。特别的，当噪声水平高时(例如，σ≥25)，DONet-bala的结果超过DnCNN的结果。最后，DONet-psnr在这三个数据集上都实现了最佳结果。
对于盲去噪，从表2可以看出，当噪声水平非常低(δ＜10)时，即使BM3D表现良好，DONets网络模型的性能表现仍然比较突出。当噪音水平较高(δ＞10)时，所有的DONets网络模型都优于BM3D。特别地，DONet-bala-B和DONet-psnr-B在所有噪音水平下都超过了BM3D。DONet-bala-B的去噪结果与DnCNN-B相似，特别是当噪声水平较高时(δ≥25)。此外，DONet-psnr-B在大多数噪音水平(δ＝5除外)下达到最佳去噪质量。
对于盲去噪，DONets与几种最先进方法之间的定性比较结果如图5所示。图5中(a)部分是干净的图像，也就是去噪后期望获得的图像，(b)部分是噪声图，(c)～(h)部分依次是BM3D、DnCNN、DONet-para、DONet-comp、DONet-psnr、DONet-bala的去噪结果；(b)～(h)部分对应的峰值信噪依次为：17.25dB、26.59dB、27.14dB、26.98dB、26.75dB、27.18dB、27.12dB。
对于特定的去噪(图3、4)，添加两个不同的噪声值σ＝25,50。对于盲去噪(图5)，噪声水平设置为35。可以发现DONets在边缘区域和平滑区域获得非常令人满意的结果。特别是，面向综合性能的DONet与DnCNN不相上下，而DONet-psnr得到了最佳结果。
(2)计算复杂度和参数数量比较分析。
表3给出了用于去除尺寸为361×481的灰度图像中噪声的DnCNN，FFDNet，IRCNN和DONets的参数数量和计算复杂度。从表3中，我们得到以下观察结果。DONet-comp在计算复杂度方面表现最佳，几乎是FFDNet的1/4和DnCNN的1/16。面向参数的DONet不仅使用最少的参数，而且在计算复杂性方面也表现良好。DONet-psnr具有大量参数，几乎是DnCNN的3.5倍。同时，如表1所示，DONet-psnr具有较大的模型容量，有助于实现最佳的去噪质量。此外，DONet-psnr的计算复杂度仍低于DnCNN的计算复杂度。从表1和表3可以看出，DONet-bala在参数数量，计算复杂度和去噪质量之间进行了很大的权衡，实现了与DnCNN相似的去噪性能，却只需要四分之一的计算复杂度。从表1到表3，可以发现DONet-para和DONet-bala在三个性能指标上具有最佳的综合性能。
| 去噪方法 | IRCNN | FFDNet | DnCNN | DONet-comp | DONet-para | DONet-psnr | DONet-balance |
| paras(×10<sup>5</sup>) | 1.86 | 4.84 | 5.56 | 3.06 | 1.52 | 19.26 | 5.25 |
| GFLOPs | 64.5 | 42.3 | 192.7 | 11.7 | 13.4 | 168.2 | 45.8 |
表3使用尺寸为361×481的灰度图像比较各网络的计算复杂度和参数数量
表4则验证了利用本文提出的框架以及框架中的模块去代替现行先进去噪网络中卷积模块构造出的融合网络仍然具有良好的去噪性能，甚至比原去噪网络有所改进。
| 去噪方法 | GFLOPs | Paras(×10<sup>5</sup>) | δ＝15 | δ＝25 | δ＝50 |
| DnCNN | 192.7 | 5.56 | 31.73 | 29.23 | 26.23 |
| FFDNet | 42.3 | 4.84 | 31.63 | 29.19 | 26.29 |
| IRCNN | 64.5 | 1.86 | 31.63 | 29.15 | 26.19 |
| DnCNN-DOF | 26.2 | 2.81 | 31.65 | 29.20 | 26.22 |
| FFDNet-DOF | 23.0 | 2.44 | 31.64 | 29.20 | 26.27 |
| IRCNN-DOF | 32.5 | 0.94 | 31.62 | 29.12 | 26.18 |
表4提出的框架在BSD 86数据集上的一般性的验证
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种以需求为导向的图像去噪方法，其特征在于，包括：构建DONet网络模型，利用训练数据集对DONet网络模型进行训练，之后，利用训练好的DONet网络模型对输入的待去噪图像做去噪处理；其中：
DONet网络模型包括：依次连接的尺度模块、组卷积模块、可学习上采样模块、以及残差层；同时，引入一个通道比率R来控制DONet网络模型的容量；多个堆叠的尺度模块形成DONet网络模型的前端，通过下采样因子S来控制提取特征的大小；多个堆叠的组卷积模块作为特征提取器，将卷积通道划分为G组，输出为输入图像的特征图；可学习上采样模块，通过对特征图进行卷积运算，得到噪声子图，并重建获得残留噪声图；残差层，通过将输入图像与残留噪声图相减，获得去噪后的图像；
堆叠的尺度模块的数目为N，每一个尺度模块中有2个卷积层，用于将特征映射下采样为原始大小的1/S；当输入尺寸不能被S整除时，添加裁剪操作；每一个尺度模块中的操作包括：输入特征图先经过第一个卷积层、一个Relu激活函数后再经过第二个卷积层，第二个卷积层得到的图像进行归一化处理再经过一个Relu激活函数后输出；
堆叠的组卷积模块的数目为M-2N-1，其中，M为DONet网络模型中卷积层的总数目，2N为多个堆叠的尺度模块中卷积层的数目；经过M-2N-1个组卷积模块的分组卷积运算之后，将特征通道混洗，最后通过归一化处理和一个Relu激活函数得到特征图；
可学习上采样模块使用一个卷积层对特征图进行卷积运算，得到了S2个具有Cimg通道的噪声子图，通过重新整形噪声子图获得H×W×Cimg的残留噪声图，其中，H、W分别为残留噪声图的高、宽。
2.根据权利要求1所述的一种以需求为导向的图像去噪方法，其特征在于，构建训练数据集的方式如下：
对已有数据集中的图片进行收集与裁剪，得到一系列干净图像；为每一干净图像添加特定噪声水平的加性高斯白噪声变为有噪声的图像，构成的训练数据集用于特定去噪声模型的训练；或者，为每一干净图像添加一定噪声水平范围的加性高斯白噪声变为有噪声的图像，构成的训练数据集用于盲去噪声模型的训练。
3.根据权利要求1所述的一种以需求为导向的图像去噪方法，其特征在于，利用训练数据集对DONet网络模型进行训练包括：
将训练数据集中的图像按照批量尺寸组合在一起作为输入，设置DONet网络模型的学习率、衰减率以及训练次数，设置权值初始化方式，设置DONet网络模型的损失函数，设置不同的(S,G,R)网络超参数，利用Adam优化器优化DONet网络模型。
4.根据权利要求3所述的一种以需求为导向的图像去噪方法，其特征在于，DONet网络模型的损失函数表示为：
其中，D(S,G,R)(·)表示DONet网络模型，θ是DONet网络模型中可学习的参数；yi表示对干净图像块xi添加加性高斯白噪声后得到的训练数据集中的噪声图像块；N为训练时一次输入DONet网络模型中的图像块的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911183294.5A CN110910329B (zh) | 2019-11-27 | 2019-11-27 | 一种以需求为导向的图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911183294.5A CN110910329B (zh) | 2019-11-27 | 2019-11-27 | 一种以需求为导向的图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110910329A CN110910329A (zh) | 2020-03-24 |
| CN110910329B true CN110910329B (zh) | 2022-09-02 |
Family
ID=69820050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911183294.5A Active CN110910329B (zh) | 2019-11-27 | 2019-11-27 | 一种以需求为导向的图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910329B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643189A (zh) * | 2020-04-27 | 2021-11-12 | 深圳市中兴微电子技术有限公司 | 图像去噪方法、装置和存储介质 |
| CN112634126B (zh) * | 2020-12-22 | 2024-10-18 | 厦门美图之家科技有限公司 | 人像减龄处理方法、训练方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704866A (zh) * | 2017-06-15 | 2018-02-16 | 清华大学 | 基于新型神经网络的多任务场景语义理解模型及其应用 |
| US10043113B1 (en) * | 2017-10-04 | 2018-08-07 | StradVision, Inc. | Method and device for generating feature maps by using feature upsampling networks |
| CN108492258A (zh) * | 2018-01-17 | 2018-09-04 | 天津大学 | 一种基于生成对抗网络的雷达图像去噪方法 |
| CN109118435A (zh) * | 2018-06-15 | 2019-01-01 | 广东工业大学 | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 |
| CN109741260A (zh) * | 2018-12-29 | 2019-05-10 | 天津大学 | 一种基于深度反投影网络的高效超分辨率方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11030780B2 (en) * | 2018-03-26 | 2021-06-08 | The Board Of Trustees Of The Leland Stanford Junior University | Ultrasound speckle reduction and image reconstruction using deep learning techniques |
| US11200490B2 (en) * | 2018-05-04 | 2021-12-14 | Apple Inc. | Processing group convolution in neural network processor |
-
2019
- 2019-11-27 CN CN201911183294.5A patent/CN110910329B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704866A (zh) * | 2017-06-15 | 2018-02-16 | 清华大学 | 基于新型神经网络的多任务场景语义理解模型及其应用 |
| US10043113B1 (en) * | 2017-10-04 | 2018-08-07 | StradVision, Inc. | Method and device for generating feature maps by using feature upsampling networks |
| CN108492258A (zh) * | 2018-01-17 | 2018-09-04 | 天津大学 | 一种基于生成对抗网络的雷达图像去噪方法 |
| CN109118435A (zh) * | 2018-06-15 | 2019-01-01 | 广东工业大学 | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 |
| CN109741260A (zh) * | 2018-12-29 | 2019-05-10 | 天津大学 | 一种基于深度反投影网络的高效超分辨率方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110910329A (zh) | 2020-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| Matakos et al. | Accelerated edge-preserving image restoration without boundary artifacts | |
| CN110648292B (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| CN103761710B (zh) | 基于边缘自适应的高效图像盲去模糊方法 | |
| CN110807742B (zh) | 一种基于一体式网络的微光图像增强方法 | |
| Chou et al. | Turbulent-PSO-based fuzzy image filter with no-reference measures for high-density impulse noise | |
| CN110490814B (zh) | 基于光滑秩约束的混合噪声去除方法、系统及存储介质 | |
| CN110910329B (zh) | 一种以需求为导向的图像去噪方法 | |
| CN110706181A (zh) | 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 | |
| CN112700389B (zh) | 一种活性污泥微生物彩色显微图像去噪方法 | |
| CN108564544A (zh) | 基于边缘感知的图像盲去模糊组合稀疏优化方法 | |
| CN113096020B (zh) | 基于平均模式生成对抗网络的书法字体创作方法 | |
| CN114529709A (zh) | 用于训练卷积神经网络的方法和系统 | |
| CN114359076A (zh) | 一种基于图像边缘指示函数的自适应加权高斯曲率滤波方法 | |
| CN107301629A (zh) | 一种基于变换域联合稀疏表示的图像重构方法 | |
| CN117611701A (zh) | 基于潜扩散模型的阿尔茨海默病3d mri加速采样生成方法 | |
| WO2024060839A1 (zh) | 对象操作方法、装置、计算机设备以及计算机存储介质 | |
| Hou et al. | Learning deep image priors for blind image denoising | |
| CN111986100A (zh) | 一种基于自适应遗传算法改进的pcnn图像去噪优化方法 | |
| Xie et al. | DHD-Net: A novel deep-learning-based dehazing network | |
| CN113344935B (zh) | 基于多尺度难度感知的图像分割方法及系统 | |
| CN117011130A (zh) | 图像超分辨率的方法、装置、设备、介质及程序产品 | |
| CN116977188A (zh) | 一种基于深度全卷积神经网络的红外图像增强方法 | |
| CN114529518A (zh) | 一种基于图像金字塔与nlm的冷冻电镜图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240102 Address after: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96 Patentee after: University of Science and Technology of China Patentee after: Zhu Changan Patentee after: Jin Yi Address before: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96 Patentee before: University of Science and Technology of China |