CN113362250B - 一种基于双树四元小波与深度学习的图像去噪方法及系统 - Google Patents

一种基于双树四元小波与深度学习的图像去噪方法及系统 Download PDF

Info

Publication number
CN113362250B
CN113362250B CN202110711650.7A CN202110711650A CN113362250B CN 113362250 B CN113362250 B CN 113362250B CN 202110711650 A CN202110711650 A CN 202110711650A CN 113362250 B CN113362250 B CN 113362250B
Authority
CN
China
Prior art keywords
image
network model
denoising
data set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110711650.7A
Other languages
English (en)
Other versions
CN113362250A (zh
Inventor
盖杉
郝志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202110711650.7A priority Critical patent/CN113362250B/zh
Publication of CN113362250A publication Critical patent/CN113362250A/zh
Application granted granted Critical
Publication of CN113362250B publication Critical patent/CN113362250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于双树四元小波与深度学习的图像去噪方法及系统。该方法包括：构建去噪网络模型；利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；利用测试数据集对训练后的去噪网络模型进行测试。本发明在提高噪声图像去噪效率的同时，提高去噪效果。

Description

一种基于双树四元小波与深度学习的图像去噪方法及系统
技术领域
本发明涉及图像去噪领域，特别是涉及一种基于双树四元小波与深度学习的图像去噪方法及系统。
背景技术
神经网络与深度学习领域的迅速崛起，带动了计算机视觉领域的蓬勃发展作为计算机视觉领域的底层任务，图像去噪被广泛运用于各个计算机视觉任务领域，越来越多的高级视觉任务需要更加高质量的清晰图像，因此图像去噪任务是一个十分重要的研究课题。
目前的去噪算法主要包括两个方面：一个方面是传统的图像去噪算法，如K-SVD算法(一种十分经典的字典学习算法)，BM3D(3维块匹配滤波算法)，使用均值滤波算法完成去噪任务，使用中值滤波算法完成去噪任务，使用小波变换完成去噪任务。另一方面是基于深度学习的去噪方法，为了通过模型处理多个低级任务，提出了一种由卷积，批量归一化，校正线性单元和残差学习组成的D-CNN(前馈去噪卷积神经网络)；CBDnet(卷积盲去噪网络)，通过两个子网络去除给定的真实噪声图像中的噪声，一个子网络估计真实噪声图像中的噪声，一个子网络负责获得干净图像。
在小波分析领域，QWT(四元小波变换)作为一种新兴的多尺度图像分析工具，它是一种近似平移不变的紧框架表示方法，从解析角度来看，QWT(四元小波变换)是DWT(离散小波变换)、CWT(复小波变换)的一种拓展，是离散小波变换和复小波变换与二维希尔伯特变换结合的结果。
Deep CNN denoiser prior for image Restoration论文中所提到的D-CNN方法，具体包括以下内容：
1)训练和测试数据：对于网络的训练数据，本论文首先使用了400张清晰的图片，然后对这400张图片进行随机裁剪并加入不同标准差的高斯噪声等数据增强处理，最终产生128×1600张40×40的训练图片。对于测试数据，采用另外80张清晰图片进行相同方法的加噪处理，其中12张用于训练过程中的模型评估，另外68张用于最终训练模型的性能测试。
2)参数设置和网格训练：DnCNN主要更改了VGGNet模型，采用残差学习，并与批量归一化相结合，移除了原网络中的池化层，同时隐藏层采用ReLU函数来进行激活，最后采用残差学习公式来训练一个残差映射，以实现快速训练提高去噪性能。
3)网络结构：DnCNN有三种类型的结构，如图1分别用三种颜色表示，
Conv+ReLU层：使用3*3*Channel(channel表示通道数)的64个滤波器来生成64个特征图，然后使用ReLU函数来进行激活每层的神经元。
Conv+BN+ReLU层:使用规模为3*3*64的滤波器，并在卷积层和激活函数ReLU中添加批量归一化BN。
Conv层：使用规模为3*3*64的滤波器来重构图像。
参数设置：为了捕获足够的空间信息进行去噪，该网络结构设置了18层，其中训练过程中首先进行权重初始化，接着采用在期望得到的残差图像和从含噪声的输入中估计的图像之间的均方误差作为损失函数。
4)模型的评估与对比分析：在模型对训练数据集进行训练和优化后，通过由测试数据对训练好的模型进行评估，通过峰值信噪比(PNSR)和结构相似性(SSIM)进行性能评估。
该论文提出使用卷积通过端到端的残差学习，从函数回归角度用卷积神经网络将噪声从噪声图像中分离出来，从而取得显著优于其他方法的去噪结果，强调了residuallearning(残差学习)和batch normalization(批量标准化)在图像复原中相辅相成的作用，可以在较深的网络的条件下，依然能带来快的收敛和好的性能。在高斯去噪问题下，用单模型应对不同程度的高斯噪音；甚至可以用单模型应对高斯去噪、超分辨率、JPEG去锁三个领域的问题。通过该论文的方法以及其实验数据表明，它的去噪效果与传统的去噪算法的去噪效果相比，它的去噪效果的确提升了很多，解决了传统去噪方法的瓶颈问题。
但是仍存在着几点不足：
1、该方法采用卷积神经网络，构建去噪网络模型，经过一定的迭代次数不断学习图像特征，最终恢复图像，得到干净图像，这就会在效率上有所降低，需要耗费大量的时间，并且对设备的要求较高，会浪费一定资源在非重点的特征学习上，不能做到按需分配资源。
2、论文中的卷积神经网络算法，它的隐藏层使用的激活函数为目前很受欢迎的ReLU函数；ReLU相比sigmod函数与tanh函数有以下几个优点:克服梯度消失的问题。加快训练速度(正因为克服了梯度消失问题，训练才会快)。但是还存在以下缺点：输入负数，则完全不激活，ReLU函数值为0。ReLU函数输出要么是0，要么是正数，也就是ReLU函数不是以0为中心的函数。如果这些缺点发生了，那么这个神经元的梯度就永远都会是0，在实际的操作中如果我们的学习率设置的比较大，那么我们的神经网络中40％的神经元都会“die”，使得负轴信息全部丢失，相对来说可利用的信息就变得少了。
综上所述，为解决以上存在的缺点，亟需一种新的去噪算法能在高斯图像的去噪效率上有显著的提升的同时又能在去噪性能上达到一个更好的去噪效果。
发明内容
本发明的目的是提供一种基于双树四元小波与深度学习的图像去噪方法及系统，在提高噪声图像去噪效率的同时，提高去噪效果。
为实现上述目的，本发明提供了如下方案：
一种基于双树四元小波与深度学习的图像去噪方法，包括：
构建去噪网络模型；所述去噪网络模型包括：一个3*3卷积层、递归连接的四个残差双注意力机制模块；所述残差双注意力机制模块包括：八个双重注意力机制单元、一个3*3卷积层以及残差单元；所述双重注意力机制单元包括：一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接，并同时连接通道注意力机制块和空间注意力机制块；所述通道注意力机制块用于利用卷积特征通道间的相关性；所述空间注意力机制块用于利用特征的空间关系；
利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；
利用测试数据集对训练后的去噪网络模型进行测试。
可选地，所述利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型，具体包括：
获取初始图像；
将所述初始图像转换为raw图片，并在raw图片中注入噪声，进而将注入噪声后的raw图片转换为RGB图片；
对所述RGB图片进行双树四元小波分解，得到幅值图和相位图；
对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集；所述幅值图数据集和相位图数据集为训练数据集；
利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练；
根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数；
若达到，则将经过训练好的去噪网络模型的幅值图与相位图，进行双树四元小波逆变换，得到去噪图像，并保存最终的网络模型参数，得到训练后的去噪网络模型；
若未达到，则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
可选地，所述对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集，具体包括：
对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
可选地，所述通道注意力机制块首先进行压缩操作，以便对空间全局上下文进行编码；所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化，将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准，将校准后的结果进行拼接，再通过Sigmoid激活函数得到各特征图所占权重比例，最终使用残差得到通道注意力机制块的输出。
可选地，所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图，为了生成空间关注图，首先沿着通道维度对特征图进行全局平均池化和全局最大池化,并连接输出图并以形成空间特征描述，随后以一个1*1卷积校准特征图，最后以Sigmoid激活函数和残差乘获得空间注意力图。
可选地，所述利用测试数据集对训练后的去噪网络模型进行测试，之后还包括：
将测试集得到的去噪图像与干净图像进行对比，确定图像质量评估指标；所述图像质量评估指标包括：结构相似性指标和峰值信噪比指标。
一种基于双树四元小波与深度学习的图像去噪系统，包括：
去噪网络模型构建模块，用于构建去噪网络模型；所述去噪网络模型包括：一个3*3卷积层、递归连接的四个残差双注意力机制模块；所述残差双注意力机制模块包括：八个双重注意力机制单元、一个3*3卷积层以及残差单元；所述双重注意力机制单元包括：一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接，并同时连接通道注意力机制块和空间注意力机制块；所述通道注意力机制块用于利用卷积特征通道间的相关性；所述空间注意力机制块用于利用特征的空间关系；
训练后的去噪网络模型确定模块，用于利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；
训练后的去噪网络模型测试模块，用于利用测试数据集对训练后的去噪网络模型进行测试。
可选地，所述训练后的去噪网络模型确定模块具体包括：
初始图像获取单元，用于获取初始图像；
初始图像转换单元，用于将所述初始图像转换为raw图片，并在raw图片中注入噪声，进而将注入噪声后的raw图片转换为RGB图片；
双树四元小波分解单元，用于对所述RGB图片进行双树四元小波分解，得到幅值图和相位图；
训练数据集确定单元，用于对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集；所述幅值图数据集和相位图数据集为训练数据集；
模型训练单元，用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练；
判断单元，用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数；
去噪图像确定单元，用于若达到，则将经过训练好的去噪网络模型的幅值图与相位图，进行双树四元小波逆变换，得到去噪图像，并保存最终的网络模型参数，得到训练后的去噪网络模型；
可选地，所述训练数据集确定单元具体包括：
训练数据集确定子单元，对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法及系统，在去噪网络模型设计方面采用了双通道注意力机制，抑制更小的特征而只允许传播信息更加丰富的特征。去噪网络模型在增加双通道注意力机制的基础上，还结合了残差学习，防止网络训练过程中轻易的梯度消失。本发明没有采用过深过复杂的网络结构，而是采用结构清晰的递归模块，这使得网络训练会大大节省训练时间，在训练时的收敛速度上快于DnCNN，增加双注意力机制模块，使网络在训练过程中资源倾斜聚焦于丰富且明显的特征上。在去噪性能上，本发明最终在SIDD数据集上的的去噪效果用平均峰值信噪比来衡量的话，通过实验数据表明本发明方法的去噪效果超过了DnCNN方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法流程示意图；
图2为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法原理示意图；
图3为四元数图像的全四元数滤波器的分解示意图；
图4为二维彩色图像四元小波分解示意图；(图像由左至右和由上至下排列的振幅和三个相位)
图5为本发明所提供的去噪网络模型结构示意图；
图6为可视化测试结果示意图(依次为未加噪声的图像、噪声图像以及去噪图像)
图7为本发明与DnCNN去噪效果图对比示意图(依次为噪声图像、DnCNN方法得到的去噪图像以及本发明得到的去噪图像)
图8为本发明所提供的一种基于双树四元小波与深度学习的图像去噪系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于双树四元小波与深度学习的图像去噪方法及系统，在提高噪声图像去噪效率的同时，提高去噪效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法流程示意图，图2为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法原理示意图，如图1和图2一种基于双树四元小波与深度学习的图像去噪方法，包括：
S101，构建去噪网络模型；所述去噪网络模型包括：一个3*3卷积层、递归连接的四个残差双注意力机制模块(Residual Dual Attention Group，RDAG)；所述残差双注意力机制模块包括：八个双重注意力机制单元(Dual Attention model，DAM)、一个3*3卷积层以及残差单元；所述双重注意力机制单元包括：一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接，并同时连接通道注意力机制块和空间注意力机制块；所述通道注意力机制块用于利用卷积特征通道间的相关性；所述空间注意力机制块用于利用特征的空间关系；
其中，一个3*3卷积层为卷积核大小是3*3的64个滤波器组成的卷积层；残差单元防止网络层数过深导致梯度消失，在这里经过实验证明DAM模块数量为8个时效果为佳，如图5所示。
所述双重注意力机制单元利用双重注意力机制抑制更小的特征而只允许传播信息更加丰富的特征。
所述通道注意力机制块首先进行压缩操作，以便对空间全局上下文进行编码；所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化，将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准，将校准后的结果进行拼接，再通过Sigmoid激活函数得到各特征图所占权重比例，最终使用残差得到通道注意力机制块的输出。
由图5所示，所述通道注意力机制块主要由全局平均池化(GAP)和全局最大池化(GMP)，将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准，将校准后的结果进行拼接，再通过Sigmoid激活函数得到各特征图所占权重比例，最终使用残差得到通道注意力机制块的输出。
所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图，为了生成空间关注图，首先沿着通道维度对特征图进行全局平均池化和全局最大池化，并连接输出图并以形成空间特征描述，随后以一个1*1卷积校准特征图，最后以Sigmoid激活函数和残差乘获得空间注意力图。
由图5所示，沿着通道维度对特征图进行全局平均池化(GAP)和全局最大池化(GMP)，并拼接输出图，随后以一个1*1卷积校准特征图，最后以Sigmoid激活函数和残差乘获得空间注意力图。
其中双重注意力机制单元公式如下：
IDAM＝Iin+Dc(CA(u)，SA(u))；
上述公式中，U∈RH×W×C是DAM的输入张量，Iin∈RH×W×C通过两次卷积得到的特征图组，而Dc是最后的1*1卷积层。
S102，利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；采用残差学习公式来学习图像特征并同时使用权重衰减率为10-4，并且每隔25个周期学习率降低十倍，冲量为0.9，mini-batch设置成16的随机梯度下降算法进行可训练参数的反向更新优化，设置总训练轮数为65轮。目标损失函数如下：
(Iclean，Inoisy)＝||Ic1ean-Inoisy||1；
其中，作为一个具体的实施例，训练数据集使用的是与DnCNN相同的数据集图片，但是对图片的处理有所不一样，本发明需对所有图片进行双树四元小波分解，得到4张不同方向的幅值图与不同方向的12张相位图，然后再将幅值图与相位图分为两类，分别对其进行数据增强处理，通过对图片进行随机裁剪，不同角度翻转，补光，最终实现8万张patch-size为100*100大小的噪声图片训练数据集。
S102具体包括：
获取初始图像；
将所述初始图像转换为raw图片，并在raw图片中注入噪声，进而将注入噪声后的raw图片转换为RGB图片；
对所述RGB图片进行双树四元小波分解，得到幅值图和相位图；
对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集；所述幅值图数据集和相位图数据集为训练数据集；
利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练；
根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数；
若达到，则将经过训练好的去噪网络模型的幅值图与相位图，进行双树四元小波逆变换，得到去噪图像，并保存最终的网络模型参数，得到训练后的去噪网络模型；
若未达到，则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
所述对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集，具体包括：
对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
其中，四元小波变换的基础是对四元代数理论的运用，四元数代数H由W.R.Hamilton于1843年发明，它是一个关联的非交换四维代数。
H＝{Q＝s+xi+yj+zk}；
其中正交虚数i，j，k遵循以下成发规则：
i2＝j2＝-1，k＝ij＝-ji→k2＝-1；
对于纯四元数既当四元数的实部为0时该四元数被成为纯四元数，表达为：
Q＝xi+yj+zk；
Q被称为纯四元数。
双树四元小波变换作为图像分析在数学表达上提供了一个有力的解析工具，并自2000后逐步得到重视以及应用。双树四元小波作为实数和复数小波拓展形式，既继承了前面二者的图像分析与处理能力，又在解析域中展现了一些新的特性，主要表现在对内维等于2的图像结构的分析能力。目前彩色图像处理系统基本上都是基于单色图像处理系统而建立的，它们把彩色通道作为独立分量各个处理，彩色分量之间的相关信息，无法提取且易出现颜色失真。而四元数天然具有描述彩色图像的良好特性，因为常用的彩色模型RGB，HIS，CMY，CMYK等均可以用一个纯四元数唯一表征。四元小波变换能将多个彩色通道信息作为单元统一处理，从而对彩色图像实现更有效的稀疏表示和特殊处理。
在数据处理方面结合了传统的四元小波变换技术，通过四元小波变换对几何图像特征进行多角度，多方向的分解，且QWT(四元小波变换)是一种近似平移不变的紧帧表示，其系数运动是一个幅度和三个相位：两个相位编码局部图像移位，而第三个相位包含了图像纹理信息。这对于图像去噪在卷积神经网络的特征提取阶段有着明显不错的优势。
一幅N×M大小的彩色图像F＝(Rn，m，Gn，m，Bn，m)可以被纯四元数表示为：
Fn，m＝Rn，m×i+Gn，m×j+Bn，m×k；
对于彩色图像的四元小波分解，在其中采用四元数值滤波器：
H＝l+hR×i+hG×j+hB×k；
与彩色图像的纯四元数表示方式Fn，m卷积得到如图3和图4所示的效果，并如下所示：
Conv(F，H)＝-Conv1(F，H)+Conv2(F，H)+Conv3(F，H)；
Figure GDA0003499460560000111
Figure GDA0003499460560000112
Figure GDA0003499460560000113
S103，利用测试数据集对训练后的去噪网络模型进行测试，测试结构如图6所示。
S103之后，还包括：
将测试集得到的去噪图像与干净图像进行对比，确定图像质量评估指标；所述图像质量评估指标包括：结构相似性指标和峰值信噪比指标。
作为一个具体的实施例，测试数据集采用的是DND数据集(由50对有噪声和几乎无噪声的图像组成)，这些图像由四个相机拍摄得到，并由通过由测试数据对训练好的模型进行评估，通过峰值信噪比(PNSR)和结构相似性(SSIM)进行性能评估。
为了让本发明与目前现有的相关技术更具有可比性和说服力，同时为了排除其他外界因素对本发明的去噪效果的干扰，本发明所涉及的技术实验均在在Pycharm(2020)环境下，在Intel(R)core(TM)i5-5820KCPU 3.30GHz的PC上和一个Nvidia Titan X GPU下完成。
通过平均峰值信噪比对本发明的最终的去噪效果进行衡量并与传统方法和DnCNN在SIDD数据集上的去噪效果进行对比(单位：dB)，如表1所示：
表1
Figure GDA0003499460560000121
表1对比数据表明本发明方法在去噪性能上的确优于目前几个比较先进的传统的去噪方法和最新发明中表现最好的DnCNND的去噪方法，同时本发明方法在与DnCNN同等条件下，训练相同的训练数据集时，比DnCNN节省了不少训练收敛时间，其在训练效率上表现的非常可观。与DnCNN去噪效果图对比如图7所示。
图8为本发明所提供的一种基于双树四元小波与深度学习的图像去噪系统结构示意图，如图8所示，本发明所提供的一种基于双树四元小波与深度学习的图像去噪系统，包括：
去噪网络模型构建模块801，用于构建去噪网络模型；所述去噪网络模型包括：一个3*3卷积层、递归连接的四个残差双注意力机制模块；所述残差双注意力机制模块包括：八个双重注意力机制单元、一个3*3卷积层以及残差单元；所述双重注意力机制单元包括：一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接，并同时连接通道注意力机制块和空间注意力机制块；所述通道注意力机制块用于利用卷积特征通道间的相关性；所述空间注意力机制块用于利用特征的空间关系；
训练后的去噪网络模型确定模块802，用于利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；
训练后的去噪网络模型测试模块803，用于利用测试数据集对训练后的去噪网络模型进行测试。
所述训练后的去噪网络模型确定模块802具体包括：
初始图像获取单元，用于获取初始图像；
初始图像转换单元，用于将所述初始图像转换为raw图片，并在raw图片中注入噪声，进而将注入噪声后的raw图片转换为RGB图片；
双树四元小波分解单元，用于对所述RGB图片进行双树四元小波分解，得到幅值图和相位图；
训练数据集确定单元，用于对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集；所述幅值图数据集和相位图数据集为训练数据集；
模型训练单元，用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练；
判断单元，用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数；
去噪图像确定单元，用于若达到，则将经过训练好的去噪网络模型的幅值图与相位图，进行双树四元小波逆变换，得到去噪图像，并保存最终的网络模型参数，得到训练后的去噪网络模型；
迭代单元，用于若未达到，则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
所述训练数据集确定单元具体包括：
训练数据集确定子单元，对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于双树四元小波与深度学习的图像去噪方法，其特征在于，包括：
构建去噪网络模型；所述去噪网络模型包括：一个3*3卷积层、递归连接的四个残差双注意力机制模块；所述残差双注意力机制模块包括：八个双重注意力机制单元、一个3*3卷积层以及残差单元；所述双重注意力机制单元包括：一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接，并同时连接通道注意力机制块和空间注意力机制块；所述通道注意力机制块用于利用卷积特征通道间的相关性；所述空间注意力机制块用于利用特征的空间关系；
利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；
利用测试数据集对训练后的去噪网络模型进行测试；
所述利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型，具体包括：
获取初始图像；
将所述初始图像转换为raw图片，并在raw图片中注入噪声，进而将注入噪声后的raw图片转换为RGB图片；
对所述RGB图片进行双树四元小波分解，得到幅值图和相位图；
对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集；所述幅值图数据集和相位图数据集为训练数据集；
利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练；
根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数；
若达到，则将经过训练好的去噪网络模型的幅值图与相位图，进行双树四元小波逆变换，得到去噪图像，并保存最终的网络模型参数，得到训练后的去噪网络模型；
若未达到，则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
2.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法，其特征在于，所述对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集，具体包括：
对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
3.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法，其特征在于，所述通道注意力机制块首先进行压缩操作，以便对空间全局上下文进行编码；所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化，将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准，将校准后的结果进行拼接，再通过Sigmoid激活函数得到各特征图所占权重比例，最终使用残差得到通道注意力机制块的输出。
4.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法，其特征在于，所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图，为了生成空间关注图，首先沿着通道维度对特征图进行全局平均池化和全局最大池化,并连接输出图并以形成空间特征描述，随后以一个1*1卷积校准特征图，最后以Sigmoid激活函数和残差乘获得空间注意力图。
5.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法，其特征在于，所述利用测试数据集对训练后的去噪网络模型进行测试，之后还包括：
将测试集得到的去噪图像与干净图像进行对比，确定图像质量评估指标；所述图像质量评估指标包括：结构相似性指标和峰值信噪比指标。
6.一种基于双树四元小波与深度学习的图像去噪系统，其特征在于，包括：
去噪网络模型构建模块，用于构建去噪网络模型；所述去噪网络模型包括：一个3*3卷积层、递归连接的四个残差双注意力机制模块；所述残差双注意力机制模块包括：八个双重注意力机制单元、一个3*3卷积层以及残差单元；所述双重注意力机制单元包括：一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接，并同时连接通道注意力机制块和空间注意力机制块；所述通道注意力机制块用于利用卷积特征通道间的相关性；所述空间注意力机制块用于利用特征的空间关系；
训练后的去噪网络模型确定模块，用于利用训练数据集，采用Adam优化算法，训练所述去噪网络模型，确定训练后的去噪网络模型；
训练后的去噪网络模型测试模块，用于利用测试数据集对训练后的去噪网络模型进行测试；
所述训练后的去噪网络模型确定模块具体包括：
初始图像获取单元，用于获取初始图像；
初始图像转换单元，用于将所述初始图像转换为raw图片，并在raw图片中注入噪声，进而将注入噪声后的raw图片转换为RGB图片；
双树四元小波分解单元，用于对所述RGB图片进行双树四元小波分解，得到幅值图和相位图；
训练数据集确定单元，用于对所述幅值图和相位图分别进行数据增强处理，得到幅值图数据集和相位图数据集；所述幅值图数据集和相位图数据集为训练数据集；
模型训练单元，用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练；
判断单元，用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数；
去噪图像确定单元，用于若达到，则将经过训练好的去噪网络模型的幅值图与相位图，进行双树四元小波逆变换，得到去噪图像，并保存最终的网络模型参数，得到训练后的去噪网络模型；
迭代单元，用于若未达到，则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
7.根据权利要求6所述的一种基于双树四元小波与深度学习的图像去噪系统，其特征在于，所述训练数据集确定单元具体包括：
训练数据集确定子单元，对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
CN202110711650.7A 2021-06-25 2021-06-25 一种基于双树四元小波与深度学习的图像去噪方法及系统 Active CN113362250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110711650.7A CN113362250B (zh) 2021-06-25 2021-06-25 一种基于双树四元小波与深度学习的图像去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110711650.7A CN113362250B (zh) 2021-06-25 2021-06-25 一种基于双树四元小波与深度学习的图像去噪方法及系统

Publications (2)

Publication Number Publication Date
CN113362250A CN113362250A (zh) 2021-09-07
CN113362250B true CN113362250B (zh) 2022-03-22

Family

ID=77536500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110711650.7A Active CN113362250B (zh) 2021-06-25 2021-06-25 一种基于双树四元小波与深度学习的图像去噪方法及系统

Country Status (1)

Country Link
CN (1) CN113362250B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837959B (zh) * 2021-09-15 2024-04-09 山东师范大学 图像去噪模型训练方法、图像去噪方法及系统
CN113850741B (zh) * 2021-10-10 2023-04-07 杭州知存智能科技有限公司 图像降噪方法、装置、电子设备以及存储介质
CN114241340B (zh) * 2021-12-16 2024-05-10 北京工业大学 一种基于双路深度残差网络的图像目标检测方法及系统
CN116777793A (zh) * 2023-07-31 2023-09-19 深圳扬奇医芯智能科技有限公司 基于对数引导对比学习的医学影像提示去噪技术
CN117454094B (zh) * 2023-12-21 2024-04-19 天津大学 雷达回波信号盲去噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504221A (zh) * 2016-10-13 2017-03-15 江南大学 基于四元数小波变换上下文结构的医学图像融合新方法
CN109118435A (zh) * 2018-06-15 2019-01-01 广东工业大学 一种基于PReLU的深度残差卷积神经网络图像去噪方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN111754430A (zh) * 2020-06-16 2020-10-09 南京邮电大学 基于纯四元数字典学习的彩色图像去噪方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803555B2 (en) * 2017-08-31 2020-10-13 Shanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
US11461998B2 (en) * 2019-09-25 2022-10-04 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504221A (zh) * 2016-10-13 2017-03-15 江南大学 基于四元数小波变换上下文结构的医学图像融合新方法
CN109118435A (zh) * 2018-06-15 2019-01-01 广东工业大学 一种基于PReLU的深度残差卷积神经网络图像去噪方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN111754430A (zh) * 2020-06-16 2020-10-09 南京邮电大学 基于纯四元数字典学习的彩色图像去噪方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Banknote Classification Based on Convolutional Neural Network in Quaternion Wavelet Domain;XIANG HUANG et al;《Digital Object Identifier》;20200916;全文 *
Dual attention residual group networks for single image deraining;Hai Zhang et al;《Digital Signal Processing》;20210525;全文 *

Also Published As

Publication number Publication date
CN113362250A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113362250B (zh) 一种基于双树四元小波与深度学习的图像去噪方法及系统
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
Tian et al. Deep learning on image denoising: An overview
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Dong et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization
Zhang et al. Adaptive residual networks for high-quality image restoration
Dong et al. Nonlocally centralized sparse representation for image restoration
CN111667424B (zh) 一种基于无监督的真实图像去噪方法
CN110599409A (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
Zhao et al. Invertible image decolorization
Zuo et al. Convolutional neural networks for image denoising and restoration
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
Ni et al. Example-driven manifold priors for image deconvolution
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN115546060A (zh) 一种可逆的水下图像增强方法
Chen et al. Image denoising via deep network based on edge enhancement
Xie et al. Color and direction-invariant nonlocal self-similarity prior and its application to color image denoising
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
Wu et al. Dcanet: Dual convolutional neural network with attention for image blind denoising
Xu et al. Depth map super-resolution via joint local gradient and nonlocal structural regularizations
Ahn et al. Block-matching convolutional neural network (BMCNN): improving CNN-based denoising by block-matched inputs
CN114549361B (zh) 一种基于改进U-Net模型的去图像运动模糊方法
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN112330572A (zh) 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant