CN116051408B - 一种基于残差自编码的图像深度去噪方法 - Google Patents
一种基于残差自编码的图像深度去噪方法 Download PDFInfo
- Publication number
- CN116051408B CN116051408B CN202310022026.5A CN202310022026A CN116051408B CN 116051408 B CN116051408 B CN 116051408B CN 202310022026 A CN202310022026 A CN 202310022026A CN 116051408 B CN116051408 B CN 116051408B
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- denoising
- convolution
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008407 joint function Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提出了一种基于残差自编码的图像深度去噪方法，步骤如下：以噪声的标准差作为分级依据将噪声分级；通过数据增强策略扩充数据集中的图片数量得到训练集；构建图像去噪模型：图像去噪模型包括依次连接的编码模块、密集残差模块和解码模块；将训练集的图片分别添加步骤一中各个噪声等级范围内的高斯噪声得到含噪图像，将含噪图像输入图像去噪模型分别进行学习训练，获得训练好的不同噪声等级的图像去噪模型；在图像去噪应用时将含噪图片输入训练好的图像去噪模型，直接重构输出去噪后的图片。本发明在去除大部分噪声信息的同时能够有效的保留图像的局部细节特征和图像的边缘特征信息，获得高质量的重建图像；实现简单且轻量化，参数量少。
Description
技术领域
本发明涉及图像处理的技术领域，具体涉及一种基于残差自编码的图像深度去噪方法，实现图像的高质量重建，尤其涉及高噪声条件下的图像快速重建能力。
背景技术
利用计算机视觉技术提升国家重要安全区域和城市敏感公共场所的全天候实时监控和有效人员管理已经成为世界各国高度重视的研究课题。在现实生活中，由于图像传感器CMOS/CCD的工作特性导致在夜间光照条件差的环境下，获得的图像通常含有大量的随机噪声，进而影响了图像质量。如何从含有噪声图像或者视频中实现对重要人员的有效跟踪监视和重要区域的人员识别以及进出管理，已经成为目前智能安防系统研究的一个重要发展方向。然而含随机噪声图像影响了安防系统的有效特征信息提取，进而影响了目标的识别精度。因此，如何从含随机噪声的图像中获得高质量的重建图像是研究的重点问题。
近年来，人工智能技术的快速发展，促进了机器学习技术的快速兴起。深度学习技术作为机器学习中重要的研究方向，是人工智能发展的主要驱动力。深度学习主要使用的是人工神经网络算法，允许发现中间表示来扩展标准机器学习。这些中间表示能够解决更复杂的问题，并且以更高的精度、更少的观察和更简便的手动调谐，潜在地解决其他问题。深度学习在某些方面已经超越了人类的认知能力和认知范围深度学习，目前在图像识别、语音识别、自动驾驶、机器翻译和智能安防等领域都得到了落地和实际的应用。在图像去噪方面，深度学习方法能够更深层次地挖掘图像的内部信息，对图像数据进行更精细地筛选，从含噪图像数据中精确筛选出图像数据信息。
在深度学习图像去噪中，图像去噪自编码器具有结构简单、参数量少、重建速度快的优点，然而在图像细节特征信息的保护方面有限，导致去噪重建图像细节特征丢失较多，进而影响了重建图像质量。如何在去除噪声信息的同时对细节特征信息进行有效保护，是图像去噪自编码器需要解决的重要问题。
发明内容
针对传统图像去噪自编码器不能提取图像细节特征信息，图像重建质量差的技术问题，本发明提出一种基于残差自编码的图像深度去噪方法，能快速准确的去除图像噪声，复原图像原始信息，尤其对图像细节复原较好。
为了达到上述目的，本发明的技术方案是这样实现的：一种基于残差自编码的图像深度去噪方法，其步骤如下：
步骤一：以噪声的标准差作为分级依据将噪声分为10级；
步骤二：选用BSD500数据集中的图片，通过数据增强策略扩充图片数量得到训练集；
步骤三：构建图像去噪模型：图像去噪模型包括依次连接的编码模块、密集残差模块和解码模块；
步骤四：将训练集的图片分别添加步骤一中各个噪声等级范围内的高斯噪声得到含噪图像，将含噪图像输入步骤三构建的图像去噪模型分别进行学习训练，获得训练好的不同噪声等级的图像去噪模型；
步骤五：在图像去噪应用时将含噪图片输入训练好的图像去噪模型，直接重构输出去噪后的图片。
优选地，所述噪声的分级情况为：
| 噪声等级 | 1 | 2 | 3 | 4 | 5 |
| 标准差范围 | 0～5 | 5～10 | 10～15 | 15～20 | 20～25 |
| 噪声等级 | 6 | 7 | 8 | 9 | 10 |
| 标准差范围 | 25～30 | 30～35 | 35～40 | 40～45 | 45～50 |
。
优选地，所述数据增强策略包括按相关比例缩放、旋转和裁剪一系列处理，实现方法为：将BSD500数据集中的图片按相关比例进行缩放处理，之后根据欲搭建的图像去噪模型的深度和感受野的范围将缩放后的图片按照10步长切割为30*30的图像补丁块，再将图像补丁块随机进行翻转、旋转处理，最后获得的图像块作为训练集。
优选地，所述编码模块用于将输入的含噪图像映射到低维特征空间中，在此过程中卷积层不断学习图像的特征信息并且过滤掉噪声信息，得到全局图像特征；所述密集残差模块用于将编码模块所得到的全局图像特征进行更加细致的提取融合，充分获得含噪图像的局部细节特征信息，得到低维特征；所述解码模块用于将低维特征向高维图像转换，即将图像的抽象特征逐步还原成图像数据，同时逐层增大特征图尺寸，直至还原到与输入图片尺寸相同，还原过程中对部分图像细节进行恢复。
优选地，所述编码模块包括6个卷积核大小为3*3的卷积层，卷积核个数分别为32、32、64、64、64、128，其中第5个卷积层的步长为2，其余均为1，第五个卷积层用来代替最大池化层从而减少参数个数，卷积层后连接采用LeakyReLU激活函数的激活层；所述密集残差模块的网络结构为两个卷积核大小3*3、卷积核个数128的卷积层和一个卷积核大小1*1、卷积核个数128的卷积层组成的密集残差结构，其中每个卷积层后面都添加BN层；所述解码模块包括5个卷积核大小为3*3以及卷积核个数分别为128、64、64、32、32的反卷积层，卷积层后跟采用LeakyReLU激活函数用来增加该神经网络模型的非线性表达能力，第一个卷积层后面为2*2的上采样层；最后通过卷积核大小3*3、卷积核个数为1的卷积层用来重构复原去噪后的图像。
优选地，所述LeakyReLU激活函数为：
其中，参数a1取值为0.1，表示输入的自变量，LReLU(LeakyReLU)是ReLU激活函数的变体，在≥0时，导数为1，可以加快梯度下降的收敛速度，x＜0时也有很小的斜率，能在一定程度上保留负梯度信息，有效缓解DeadReLU现象。
优选地，所述密集残差结构自适应的融合来自上一编码模块和当前密集残差模块中所有卷积层的特征，将上层编码模块的全局特征图以拼接的方式直接引入密集残差模块，用来增强提取图像局部细节特征，其公式为：
Fg＝Hd([F0,1,…,d])；
其中，0,1,…,d分别表示编码模块和密集残差模块中生成的特征图，Hd表示用1*1卷积层将不同级别的特征自适应融合在一起，Fg表示通过密集残差融合提取后的细节特征。
优选地，对图像块添加不同等级的符合正态随机分布的高斯噪声，获得含噪水平不同的含噪图像，高斯噪声的函数公式为：
其中，x代表图像的灰度值，代表灰度值x的均值，σ2代表灰度值x的方差。
优选地，所述图像去噪模型模型的训练过程中采用MSE和MS-SSIM联合函数作为图像的重构误差函数计算降噪图像和目标图像之间的损失，联合损失函数为：
Loss＝a·lOSSMSE+b·OSSMS-SSIM；
其中，a、b为系数，Loss表示总的联合损失函数，LOSSMSE表示MSE损失函数，
LOSSMS-SSIM表示MS-SSIM损失函数，n表示网络训练样本总数，yi表示输入的含噪图像，表示重建后的图像，/>表示输入补丁块的中心像素，/>表示补丁块的中心像素的多尺度结构相似；两者LOSSMSE、LOSSMS-SSIM的取值范围为[0,1]，用于计算梯度并利用反向传播算法更新网络权重参数。
优选地，训练过程中图像去噪模型采用Adam优化器，初始学习率设置为0.001，在训练过程中利用梯度的一阶矩估计和二阶矩估计动态的调整学习率进行偏差修正，训练batch大小选为64。
与现有技术相比，本发明的有益效果：针对传统自编码器去噪算法对细节特征恢复不完美的问题，本发明能够得到有效解决。本发明采用的编码解码结构具有轻量化的优点，后续对实际应用具有指导意义。相比于传统自编码器去噪，本发明设计了更加细致的噪声等级，并且改进了激活函数，同时添加了密集残差结构等优化了去噪模型，所设计的密集残差结构可以更好的恢复图像的局部细节特征，所采用的MSE和MS-SSIM联合损失函数相比于单一的MSE损失函数，其图像的边缘细节特征能够得到有效保留，本发明处理后的图像在图像评估指标和视觉效果方面均得到有效提升。本发明在去除含噪图像中大部分噪声信息的同时能够有效的保留图像的局部细节特征和图像的边缘特征信息，进而获得高质量的重建图像；且实现简单且轻量化，参数量少，可以有效解决含噪图像的去噪重建问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明的去噪模型的结构图。
图3为本发明中密集残差网络的结构图。
图4为本发明中具有高斯白噪声(标准方差σ＝20)的图像测试集的结果，其中，(a)为原始图像，(b)为添加噪声标准差20的图像，(c)为去噪后图像。
图5为本发明中具有高斯白噪声(标准方差σ＝25)的图像测试集的结果，其中，(a)为原始图像，(b)为添加噪声标准差25的图像，(c)为去噪后图像。
图6为本发明中具有高斯白噪声(标准方差σ＝30)的图像测试集的结果，其中，(a)为原始图像，(b)为添加噪声标准差30的图像，(c)为去噪后图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的思想在于：(1)引入编码、解码这种轻量化结构模型用于去噪，结构简洁适用于嵌入式小型系统，可以较容易落地实际应用。(2)基于编码、解码结构引入密集残差模块，密集残差模块可以更好的提取局部细节特征，使重构出的降噪图像局部细节更加真实。(3)采用联合损失函数算法，随着迭代次数的增加，该函数既兼顾弥补图像边缘结构的缺陷，也保证了算法较快的收敛至最优解。
本发明用于实施的硬件环境为：CPU:Intel(R)Core(TM)i7-12700H；GPU:RTX3060；RAM:16GB；硬盘：512G固态硬盘；运行的软件环境是：PyCharm集成环境和Windows 11。
一种基于残差自编码的图像深度去噪方法，具体包括图像降噪模型构建和利用该图像降噪模型对噪声去噪两部分。本实施例的基本流程如图1所示，其包括：
步骤一：如表1所示，首先将噪声细致分级，以噪声标准差作为分级依据将噪声水平分为10级。
表1噪声分级情况
| 噪声等级 | 1 | 2 | 3 | 4 | 5 |
| 标准差范围 | 0～5 | 5～10 | 10～15 | 15～20 | 20～25 |
| 噪声等级 | 6 | 7 | 8 | 9 | 10 |
| 标准差范围 | 25～30 | 30～35 | 35～40 | 40～45 | 45～50 |
根据噪声标准差将噪声分成10级可以增强去噪模型与输入含噪图像的匹配度，使得该模型对实际输入的含噪图像的去噪效果得到进一步优化提升。
步骤二：制作训练集：选用BSD500数据集中的图片，通过数据增强策略扩充图片数量得到训练集。
选用BSD500数据集中的400张图片，该数据集可用于图像降噪；将400张图片通过按相关比例缩放、旋转和裁剪等一系列数据增强策略扩充图片数据量，之后根据欲搭建的图像去噪模型的深度和感受野的范围将扩充后的图片按照10步长切割为30*30的图像补丁块，再将图像补丁块随机进行翻转、旋转的处理，最后获得共计27W图像块作为训练集，将其用于图像去噪模型训练。数据增强策略扩充图片数量可以避免过拟合，提高模型的鲁棒性；图像去噪模型的深度越深，感受野就越大，就能够更好的联系上下文信息；切割图像补丁块可以使输入的图像尺寸与模型感受野相匹配，节约计算成本，同时也能增加训练数据，提升模型泛化能力。
步骤三：构建图像去噪模型：模型结构如图2所示，图像去噪模型包括编码模块、密集残差模块和解码模块，编码模块处理含噪图像，编码模块与密集残差模块相连接，密集残差模块与解码模块相连接，解码模块输出重构图像。
原始图片经过预处理后输入到编码模块中，预处理包括对图片平移、旋转、缩放等几何变换和切割、裁剪、添加噪声等数据增强，该步骤可以扩充数据集丰富训练数据的分布，完善图像特征，提高模型的鲁棒性，对原始图片添加步骤一所定义的不同等级的高斯噪声，获得含噪水平不同的含噪图像。编码模块用于将输入的含噪图像映射到低维特征空间中，在此过程中卷积层不断学习图像的特征信息并且过滤掉噪声信息，得到全局图像特征。编码模块包括6个卷积核大小为3*3的卷积层，卷积核个数分别为32、32、64、64、64、128，其中第5个卷积层的步长为2，其余均为1，第五个卷积层用来代替最大池化层从而减少参数个数，卷积层后连接采用LeakyReLU激活函数的激活层。
LeakyReLU激活函数既有ReLU函数的优点，也能保留一定的负梯度信息，其中，参数a1取值为0.1。LeakyReLU激活函数公式为：
其中，表示输入的自变量，LRelU(LeakyReLU)是ReLU激活函数的变体，在≥0时，导数为1，可以加快梯度下降的收敛速度，x＜0时也有很小的斜率，可以有效缓解DeadReLU现象。
密集残差模块用于将编码模块所得到的全局图像特征进行更加细致的提取融合，充分获得含噪图像的局部细节特征信息，得到低维特征。密集残差模块的网络结构如图3所示，包括两个卷积核大小3*3、卷积核个数128的卷积层和一个卷积核大小1*1、卷积核个数128的卷积层组成的密集残差结构，其中每个卷积层后面都添加BN层，BN层可以加快网络训练和收敛速度，控制梯度爆炸防止梯度消失。密集残差结构具有局部特征融合和局部残余学习的特点，自适应的融合来自上一编码模块和当前密集残差模块中所有卷积层的特征，将上层编码模块的全局特征图以拼接的方式直接引入密集残差模块，用来增强提取图像局部细节特征，其公式为：
Fg＝Hd([F0,1,…,d])(2)
其中，0,1,…,d分别表示编码模块和密集残差模块中生成的特征图，Hd表示用1*1卷积层将不同级别的特征自适应融合在一起，Fg表示通过密集残差融合提取后的细节特征。
解码模块用于将低维特征向高维图像转换，即将图像的抽象特征逐步还原成图像数据，同时逐层增大特征图尺寸，直至还原到与输入图片尺寸相同，复原过程中也对部分图像细节进行恢复。解码模块包括5个卷积核大小为3*3以及卷积核个数分别为128、64、64、32、32的反卷积层，卷积层后采用LeakyReLU激活函数用来增加该神经网络模型的非线性表达能力，第一个卷积层后面为2*2的上采样层。最后通过卷积核大小3*3、卷积核个数为1的卷积层用来重构复原去噪后的图像。
步骤四：分别训练不同噪声等级的图像去噪模型：将训练集的图片分别添加各个噪声等级范围内的高斯噪声之后输入图像去噪模型分别进行学习训练，获得训练好的不同噪声等级的图像去噪模型。
对图像块添加所定义的不同等级的符合正态随机分布的高斯噪声，获得含噪水平不同的含噪图像，将含噪图像作为训练集输入图像去噪模型进行批量训练。高斯噪声的函数公式为：
其中，x代表图像的灰度值，代表灰度值x的均值，σ2代表灰度值x的方差。
模型训练过程中采用MSE和MS-SSIM联合函数作为图像去噪模型图像的重构误差函数计算降噪图像和目标图像之间的损失。MSE和MS-SSIM损失函数两者的权重取值范围为[0,1]用于计算梯度并利用反向传播算法更新网络权重参数，根据经验所得，本发明中参数a取值为1，参数b取值为0.1。相关Loss损失函数公式如下：
Loss＝a·MSE+b·MS-SSIM(4)
其中，表示总的联合损失函数，LOSSMSE表示MSE损失函数，LOSSMS-SSIM表示MS-SSIM损失函数，n表示网络训练样本总数，yi表示输入的含噪图像，表示重建后的图像，/>表示输入补丁块的中心像素，/>表示补丁块的中心像素的多尺度结构相似。公式(4)是将公式(5)和公式(6)相加并分别赋予a,b权重，模型应用公式(4)进行训练。
训练过程中图像去噪模型采用Adam优化器，初始学习率设置为0.001，在训练过程中利用梯度的一阶矩估计和二阶矩估计动态的调整学习率进行偏差修正，训练batch大小选为64，按照以上参数设置，20个epoch后完成训练。完成后将图像去噪模型的参数保存，共获得10个不同噪声等级的图像去噪模型参数。
步骤五：在图像去噪应用时将含噪图片输入训练好的图像去噪模型，图像去噪模型可直接重构输出去噪后的图片。
在图像去噪应用时先对含噪图像的噪声标准差进行测量，之后将含噪图像输入到与之噪声标准差相匹配的噪声等级的图像去噪模型中。
在图像去噪应用时输入图片不再进行裁剪预处理，可直接将含噪图片输入训练好的模型，加载保存好的模型参数，模型可直接重构输出去噪后的图片。
根据上述方法和具体实施步骤，通过实验验证该发明的有效性。
本发明的实验采用的实验参数和训练集如上述具体步骤所示，采用set12数据集作为测试集，通过客观评价指标PSNR和SSIM来评估测试该发明的性能。PSNR用来衡量图像去噪模型的去噪效果，PSNR值越高说明去噪效果越好，SSIM用来衡量两幅图像之间的相似性，SSIM最大值为1，其值越大说明两幅图相似性越高，PSNR和SSIM公式为：
其中，表示原始图像和重建后的图像之间的均方误差，MAXI表示原始图像可能的最大像素值，μx是x的均值，μy是y的均值，σx 2是x的方差，σy 2是y的方差，σxy是x和y的协方差，c1和c2是维持稳定的常数。
实验结果分析：本实验分别在测试集中添加噪声标准差为20、25、30的高斯噪声，利用预先训练好的不同噪声等级模型处理重构出不含噪声的图像。图4、图5和图6分别展示了set12测试集中的部分图片效果，其相关PNSR和SSIM值如下表2所示：
表2测试结果比较
由表2中的PSNR和SSIM数值以及通过图4-图6的人视觉直观评价可以看出，本发明在不同噪声标准差下均有较好的去噪效果，且相关的细节特征和边缘特征也得到了有效保留，复原后的图像具有相对较好的视觉效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于残差自编码的图像深度去噪方法，其特征在于，其步骤如下：
步骤一：以噪声的标准差作为分级依据将噪声分为10级；
步骤二：选用BSD500数据集中的图片，通过数据增强策略扩充图片数量得到训练集；
步骤三：构建图像去噪模型：图像去噪模型包括依次连接的编码模块、密集残差模块和解码模块；
所述编码模块包括6个卷积核大小为3*3的卷积层，卷积核个数分别为32、32、64、64、64、128，其中第5个卷积层的步长为2，其余均为1，第五个卷积层用来代替最大池化层从而减少参数个数，卷积层后连接采用LeakyReLU激活函数的激活层；所述密集残差模块的网络结构为两个卷积核大小3*3、卷积核个数128的卷积层和一个卷积核大小1*1、卷积核个数128的卷积层组成的密集残差结构，其中每个卷积层后面都添加BN层；所述解码模块包括5个卷积核大小为3*3以及卷积核个数分别为128、64、64、32、32的卷积层，卷积层后跟采用LeakyReLU激活函数用来增加神经网络模型的非线性表达能力，第一个卷积层后面为步长为2，卷积核大小为3*3的反卷积层用来实现上采样操作；最后通过卷积核大小3*3、卷积核个数为1的卷积层用来重构复原去噪后的图像；
步骤四：将训练集的图片分别添加步骤一中各个噪声等级范围内的高斯噪声得到含噪图像，将含噪图像输入步骤三构建的图像去噪模型分别进行学习训练，获得训练好的不同噪声等级的图像去噪模型；
步骤五：在图像去噪应用时将含噪图片输入训练好的图像去噪模型，直接重构输出去噪后的图片。
2.根据权利要求1所述的基于残差自编码的图像深度去噪方法，其特征在于，所述噪声的分级情况为：
。
3.根据权利要求1或2所述的基于残差自编码的图像深度去噪方法，其特征在于，所述数据增强策略包括按相关比例缩放、旋转和裁剪一系列处理，实现方法为：将BSD500数据集中的图片按相关比例进行缩放处理，之后根据欲搭建的图像去噪模型的深度和感受野的范围将缩放后的图片按照10步长切割为30*30的图像补丁块，再将图像补丁块随机进行翻转、旋转处理，最后获得的图像块作为训练集。
4.根据权利要求3所述的基于残差自编码的图像深度去噪方法，其特征在于，所述编码模块用于将输入的含噪图像映射到低维特征空间中，在此过程中卷积层不断学习图像的特征信息并且过滤掉噪声信息，得到全局图像特征；所述密集残差模块用于将编码模块所得到的全局图像特征进行更加细致的提取融合，充分获得含噪图像的局部细节特征信息，得到低维特征；所述解码模块用于将低维特征向高维图像转换，即将图像的抽象特征逐步还原成图像数据，同时逐层增大特征图尺寸，直至还原到与输入图片尺寸相同，还原过程中对部分图像细节进行恢复。
5.根据权利要求1所述的基于残差自编码的图像深度去噪方法，其特征在于，所述LeakyReLU激活函数为：
其中，参数al取值为0.1，x表示输入的自变量，LReLU(LeakyReLU)是ReLU激活函数的变体，在x≥0时，导数为1，可以加快梯度下降的收敛速度，x<0时也有很小的斜率，能在一定程度上保留负梯度信息，有效缓解DeadReLU现象。
6.根据权利要求4或5所述的基于残差自编码的图像深度去噪方法，其特征在于，所述密集残差结构自适应的融合来自上一编码模块和当前密集残差模块中所有卷积层的特征，将上层编码模块的全局特征图以拼接的方式直接引入密集残差模块，用来增强提取图像局部细节特征，其公式为：
Fg＝Hd([F0，F1，…，Fd])；
其中，F0，F1，…，Fd分别表示编码模块和密集残差模块中生成的特征图，Hd表示用1*1卷积层将不同级别的特征自适应融合在一起，Fg表示通过密集残差融合提取后的细节特征。
7.根据权利要求6所述的基于残差自编码的图像深度去噪方法，其特征在于，对图像块添加不同等级的符合正态随机分布的高斯噪声，获得含噪水平不同的含噪图像，高斯噪声的函数公式为：
其中，x代表图像的灰度值，代表灰度值x的均值，σ2代表灰度值x的方差。
8.根据权利要求7所述的基于残差自编码的图像深度去噪方法，其特征在于，所述图像去噪模型模型的训练过程中采用MSE和MS-SSIM联合函数作为图像的重构误差函数计算降噪图像和目标图像之间的损失，联合损失函数为：
Loss＝a·LOSSMSE+b·LOSSMS-SSIM；
其中，a、b为系数，Loss表示总的联合损失函数，LOSSMSE表示MSE损失函数，LOSSMS-SSIM表示MS-SSIM损失函数，n表示网络训练样本总数，yi表示输入的含噪图像，表示重建后的图像，/>表示输入补丁块的中心像素，/>表示补丁块的中心像素的多尺度结构相似；两者LOSSMSE、LOSSMS-SSIM的取值范围为[0，1]，用于计算梯度并利用反向传播算法更新网络权重参数。
9.根据权利要求8所述的基于残差自编码的图像深度去噪方法，其特征在于，训练过程中图像去噪模型采用Adam优化器，初始学习率设置为0.001，在训练过程中利用梯度的一阶矩估计和二阶矩估计动态的调整学习率进行偏差修正，训练batch大小选为64。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310022026.5A CN116051408B (zh) | 2023-01-06 | 2023-01-06 | 一种基于残差自编码的图像深度去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310022026.5A CN116051408B (zh) | 2023-01-06 | 2023-01-06 | 一种基于残差自编码的图像深度去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116051408A CN116051408A (zh) | 2023-05-02 |
| CN116051408B true CN116051408B (zh) | 2023-10-27 |
Family
ID=86126937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310022026.5A Active CN116051408B (zh) | 2023-01-06 | 2023-01-06 | 一种基于残差自编码的图像深度去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051408B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681618A (zh) * | 2023-06-13 | 2023-09-01 | 强联智创（北京）科技有限公司 | 图像去噪方法、电子设备及存储介质 |
| CN117474797B (zh) * | 2023-12-28 | 2024-03-19 | 南京信息工程大学 | 一种多尺度互补学习的图像去噪方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
| CN110111266A (zh) * | 2019-04-08 | 2019-08-09 | 西安交通大学 | 一种基于深度学习去噪的近似信息传递算法改进方法 |
| CN110197183A (zh) * | 2019-04-17 | 2019-09-03 | 深圳大学 | 一种图像盲去噪的方法、装置和计算机设备 |
| CN110248190A (zh) * | 2019-07-03 | 2019-09-17 | 西安交通大学 | 一种基于压缩感知的多层残差系数图像编码方法 |
| CN111145123A (zh) * | 2019-12-27 | 2020-05-12 | 福州大学 | 基于U-Net融合保留细节的图像去噪方法 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
| CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
| CN112200750A (zh) * | 2020-10-21 | 2021-01-08 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
| CN113643189A (zh) * | 2020-04-27 | 2021-11-12 | 深圳市中兴微电子技术有限公司 | 图像去噪方法、装置和存储介质 |
| CN114219719A (zh) * | 2021-10-27 | 2022-03-22 | 浙江工业大学 | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 |
| CN114494047A (zh) * | 2022-01-11 | 2022-05-13 | 辽宁师范大学 | 一种基于双增强残差网络的生物图像去噪方法 |
| CN114549361A (zh) * | 2022-02-28 | 2022-05-27 | 齐齐哈尔大学 | 一种基于改进U-Net模型的去图像运动模糊方法 |
| CN114581330A (zh) * | 2022-03-14 | 2022-06-03 | 广东工业大学 | 一种基于多尺度混合注意力的太赫兹图像去噪方法 |
| CN114820341A (zh) * | 2022-03-17 | 2022-07-29 | 西北工业大学 | 一种基于增强Transformer的图像盲去噪方法及系统 |
| CN114936984A (zh) * | 2022-06-17 | 2022-08-23 | 武汉工程大学 | 毫米波退化图像去噪去模糊方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11508037B2 (en) * | 2020-03-10 | 2022-11-22 | Samsung Electronics Co., Ltd. | Systems and methods for image denoising using deep convolutional networks |
| CN112053412B (zh) * | 2020-08-31 | 2022-04-29 | 浙江大学 | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 |
-
2023
- 2023-01-06 CN CN202310022026.5A patent/CN116051408B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
| CN110111266A (zh) * | 2019-04-08 | 2019-08-09 | 西安交通大学 | 一种基于深度学习去噪的近似信息传递算法改进方法 |
| CN110197183A (zh) * | 2019-04-17 | 2019-09-03 | 深圳大学 | 一种图像盲去噪的方法、装置和计算机设备 |
| CN110248190A (zh) * | 2019-07-03 | 2019-09-17 | 西安交通大学 | 一种基于压缩感知的多层残差系数图像编码方法 |
| CN111145123A (zh) * | 2019-12-27 | 2020-05-12 | 福州大学 | 基于U-Net融合保留细节的图像去噪方法 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
| CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
| CN113643189A (zh) * | 2020-04-27 | 2021-11-12 | 深圳市中兴微电子技术有限公司 | 图像去噪方法、装置和存储介质 |
| CN112200750A (zh) * | 2020-10-21 | 2021-01-08 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
| CN114219719A (zh) * | 2021-10-27 | 2022-03-22 | 浙江工业大学 | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 |
| CN114494047A (zh) * | 2022-01-11 | 2022-05-13 | 辽宁师范大学 | 一种基于双增强残差网络的生物图像去噪方法 |
| CN114549361A (zh) * | 2022-02-28 | 2022-05-27 | 齐齐哈尔大学 | 一种基于改进U-Net模型的去图像运动模糊方法 |
| CN114581330A (zh) * | 2022-03-14 | 2022-06-03 | 广东工业大学 | 一种基于多尺度混合注意力的太赫兹图像去噪方法 |
| CN114820341A (zh) * | 2022-03-17 | 2022-07-29 | 西北工业大学 | 一种基于增强Transformer的图像盲去噪方法及系统 |
| CN114936984A (zh) * | 2022-06-17 | 2022-08-23 | 武汉工程大学 | 毫米波退化图像去噪去模糊方法、装置、设备及介质 |
Non-Patent Citations (7)
| Title |
|---|
| A Dual-Encoder-Single-Decoder Based Low-Dose CT Denoising Network;Z. Han, , et al.;IEEE Journal of Biomedical and Health Informatics;第26卷(第7期);3251-3260 * |
| Bao L ,et al..Real Image Denoising Based on Multi-Scale Residual Dense Block and Cascaded U-Net with Block-Connection.2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).2020,1823-1831. * |
| Deep Image Compression with Residual Learning;Li W , et al.;Applied Sciences;第10卷(第11期);1-13 * |
| SEDRFuse: A Symmetric Encoder-Decoder with Residual Block Network for Infrared and Visible Image Fusion;Jian L, et al.;IEEE Transactions on Instrumentation and Measurement;1-15 * |
| Wang Z ,et al..RRA-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels.arXiv:2009.12873.2020,1-5. * |
| 基于深度学习高分辨率遥感影像语义分割;尚群锋;沈炜;帅世渊;;计算机系统应用(第07期);184-189 * |
| 残差密集块的卷积神经网络图像去噪;李小艳 等;计算机系统应用;第31卷(第10期);166–174 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116051408A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116051408B (zh) | 一种基于残差自编码的图像深度去噪方法 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN112233026A (zh) | 一种基于多尺度残差注意力网络的sar图像去噪方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| Liu et al. | The classification and denoising of image noise based on deep neural networks | |
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
| CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN113256508A (zh) | 一种改进的小波变换与卷积神经网络图像去噪声的方法 | |
| CN112785539A (zh) | 基于图像自适应分解及参数自适应的多聚焦图像融合方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN115019097A (zh) | 基于图像预处理的对抗样本防御方法 | |
| CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN114820303A (zh) | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 | |
| CN113935919A (zh) | 一种基于gan网络的图像修复算法 | |
| CN112686822A (zh) | 一种基于堆叠生成对抗网络的图像补全方法 | |
| CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
| CN116152061A (zh) | 一种基于模糊核估计的超分辨率重建方法 | |
| CN116051407A (zh) | 一种图像修复方法 | |
| CN113487506B (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |