CN117611484B - 一种基于去噪自解码网络的图像去噪方法及系统 - Google Patents
一种基于去噪自解码网络的图像去噪方法及系统 Download PDFInfo
- Publication number
- CN117611484B CN117611484B CN202410082480.4A CN202410082480A CN117611484B CN 117611484 B CN117611484 B CN 117611484B CN 202410082480 A CN202410082480 A CN 202410082480A CN 117611484 B CN117611484 B CN 117611484B
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- denoising
- layer
- generation module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000010606 normalization Methods 0.000 claims abstract description 35
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 abstract description 4
- 230000000996 additive effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 26
- 238000013135 deep learning Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于去噪自解码网络的图像去噪方法及系统，首先将噪声图像进行预处理，然后将预处理后的图像输入去噪自解码网络中，得到去噪图像；去噪自解码网络包括迭代步数生成模块、噪声生成模块、去噪自解码器；迭代步数生成模块包括残差神经网络、线性层、归一化层；噪声生成模块包括下采样层、卷积层、上采样层，每层包含4个基本网络结构，每个基本网络结构均含有2个残差块、一个自注意力层，上采样层和下采样层的基本网络结构还包含一个采样函数。本发明基于严格的数学建模构造网络，使得模型具有严谨的可解释性，基于理论推导，能够对所有加性高斯噪声进行完全去噪。
Description
技术领域
本发明涉及图像增强领域，尤其涉及一种基于去噪自解码网络的图像去噪方法及系统。
背景技术
数字图像是融媒体时代最重要的信息载体之一，但图像在产生、传输过程中，由于信道特性，会不可避免地受到噪声的干扰，对后续的诸多图像处理任务产生影响。因此，图像去噪的研究具有重要的意义。
早期的通信工程中，存在诸多传统方法去除噪声，例如基于线性、非线性滤波器的调制解调方法等。然而，传统的基于调制解调的去噪方法会极大增加带宽，降低信息的传输速率，且去噪效果有限。
随着机器学习、深度学习的发展，许多基于卷积神经网络的去噪算法相继被提出。DNCNN基于残差神经网络构建去噪模型，相比传统滤波算法取得了更好的去噪性能。在此基础上，RDN将多个残差块叠加，实现浅层特征和深层特征的充分复用，提高了残差神经网络的特征利用效率。但这些方法均是基于纯数据驱动，将卷积神经网络当作一个黑匣子使用，没有可解释性较强的数学模型作支撑。随着对噪声分布研究的不断深入，Guo等人提出CBDNet，通过训练网络估计噪声分布，再将此分布与噪声图像一起放入网络训练，从而适应更加复杂的图像去噪问题。与传统方法相比，基于深度学习的方法去噪效果好，泛化能力强，能够尽可能地保留图像细节。
然而，目前基于深度学习的方法对噪声图像的数学建模仍然不够完善，模型缺乏可解释性，无法进一步深入研究。相比目前的方法，近几年较为前沿的去噪扩散概率模型将图像的加噪过程定义为一个初始高斯噪声在图像中的扩散，能够对加性高斯噪声图像进行较为严谨的数学建模，为图像去噪方法的研究提出了一种新的方向。
发明内容
本发明的目的在于解决当前深度学习去噪算法可解释性差，模型参数规模大，训练难度高的问题，并提出了一种基于去噪自解码网络的图像去噪方法及系统，以增强深度学习去噪算法的可解释性，便于开展进一步研究。该方法根据去噪扩散概率模型对噪声图像的数学建模，通过残差神经网络获取迭代步数，并采用U-Net结构获取图像的单位基本噪声，即扩散模型中定义的用于扩散的初始噪声，最后通过去噪解码器，依据迭代步数和单位基本噪声，对输入图像进行去噪，得到去噪图像。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于去噪自解码网络的图像去噪方法，具体步骤如下：
步骤1，对噪声图像进行预处理；
步骤2，将预处理后的噪声图像输入去噪自解码网络，得到去噪图像；
所述去噪自解码网络包括迭代步数生成模块、噪声生成模块、去噪自解码器；
所述迭代步数生成模块，包括卷积神经网络、线性层和归一化层，其中归一化层的输入通道数为特征维度，输出通道数为最大迭代步数；
所述噪声生成模块，采用U-Net结构，包括下采样层、卷积层和上采样层，噪声生成模块的输入维度、输出维度、输入通道数、输出通道数均与输入的噪声图像相同；
所述去噪自解码器，其输入为迭代步数、噪声图像、噪声，输出为去噪图像；
噪声图像输入迭代步数模块和噪声生成模块，生成对应的迭代步数和单位基本噪声，迭代步数、单位基本噪声、噪声图像一并输入到去噪自解码器中，计算得到去噪图像。
进一步的，步骤1中，对噪声图像进行预处理，包括噪声图像的归一化，所述归一化利用尺度放缩归一化将样本数据全部放缩到相同尺度下，且关于0对称分布，具体归一化函数为：
其中，为归一化后的图像，/>为噪声图像。
进一步的，步骤2中，所述迭代步数生成模块，首先基于残差神经网络对与预处理后的噪声图像进行特征提取，然后经过线性层和归一化层得到不同迭代步数的概率序列，将概率序列的最大值对应的序列位置索引作为迭代步数输出。
进一步的，步骤2中，下采样层用于降低维度，便于卷积层进行特征提取，上采样层用于恢复维度，确保噪声生成模块的生成与输入维度相同；下采样层、卷积层和上采样层均由4个基本网络结构组成，其中，基本网络结构包括2个残差块、1个自注意力层，上采样层中还包括一个上采样函数，上采样函数由一个卷积和一个2倍的Upsample函数组成，通过插值算法进行上采样；下采样层中还包括一个下采样函数，下采样函数由一个卷积和一个Rearrange函数组成，通过维度合并进行下采样；每个残差块由2个卷积层组成，残差块计算单元表示为：
其中，为残差块的输出，/>为残差块中第2个卷积层的输出，/>为残差块的输入。
进一步的，自注意力层中包含3个可进行参数优化的权重矩阵、/>、/>，用于同输入图像做矩阵乘法得到3个参数矩阵/>、/>、/>，具体计算公式为：
其中，为基本网络结构中第二个残差块的输出特征；
整幅图像的权重矩阵计算公式为：
其中，为/>的方差，/>为归一化函数，归一化计算公式为：
其中，为求集合/>中元素的最大值，/>和/>为集合A中的元素，/>为归一化后的值。
进一步的，步骤2中，所述去噪自解码器为一个单步计算单元，计算公式推导过程为：
首先，定义噪声图像的加噪过程；对原始图像不断添加一个小的随机标准高斯噪声，共添加步，/>为迭代步数，得到一系列噪声图像，考虑加噪的中间过程，设加入第/>步噪声后的样本图像为/>，则第/>步的样本图像为：
其中，/>为定义在0.0001~0.2上的线性序列，序列的第/>个元素取值为；/>与/>的作用是控制样本图像/>与所添加噪声/>的比例；
为了优化算法的时间复杂度，根据递推公式(8)求出的通项公式：
则根据公式，反向计算出去噪图像，即单步计算单元的表达式为：
其中，表示去噪图像，/>表示噪声图像，/>为迭代步数，/>为单位基本噪声，/>为序列{/>}前/>项的累乘。
进一步的，步骤2中，所述去噪自解码网络是经过参数优化后的去噪自解码网络：参数优化过程包括以下子步骤：
步骤S1，导入噪声图像数据集；
噪声图像数据集使用伯克利分割数据集；
步骤S2，对噪声图像和原始图像分别进行相同的预处理；
对噪声图像和原始图像进行相同的预处理，预处理方式与步骤1 所述预处理方式相同，以保证训练环境和应用环境的一致性；
步骤S3，将噪声图像和原始图像分别输入迭代步数生成模块和噪声生成模块，在一定条件下训练，得到两个预训练模块；
采用分治思想，对迭代步数生成模块和噪声生成模块分别进行预训练，得到两个预训练模型；预训练过程包含以下三个步骤：
第一步，将预处理原始图像输入噪声编码器得到模拟噪声图像；
噪声编码器为一个单步计算单元，其随机生成一个高斯噪声，接受一个随机生成的迭代步数和原始图像，计算得到噪声图像；
第二步，将噪声图像输入迭代步数生成模块进行训练，通过梯度下降和反向传播不断优化模型参数，使得迭代步数生成模块能生成与模拟噪声图像对应的迭代步数；
第三步，将模拟噪声图像输入噪声生成模块，通过梯度下降和反向传播不断优化模型参数，使得噪声生成模块能得到与输入模拟噪声图像对应的高斯噪声；
步骤S4，以预训练的迭代步数生成模块和噪声生成模块构建去噪自解码网络；
步骤S5，将训练数据输入去噪自解码网络中进行训练，通过梯度下降和反向传播不断优化模型参数。
进一步的，步骤S3、S5中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降，最终使得模型输出去噪后的图像。
本发明还提供一种基于去噪自解码网络的图像去噪系统，包括以下单元：
预处理单元，用于对输入图像进行预处理，得到归一化后的图像；
去噪自解码单元，用于对预处理后的图像输入去噪自解码网络，得到去噪后的图像；
所述去噪自解码网络，包括迭代步数生成模块、噪声生成模块、去噪自解码器；
所述迭代步数生成模块，包括卷积神经网络、线性层和归一化层，其中归一化层的输入通道数为特征维度，输出通道数为最大迭代步数；
所述噪声生成模块，采用U-Net结构，包括下采样层、卷积层和上采样层，整个模块的输入维度、输出维度、输入通道数、输出通道数均与输入图像相同；
所述去噪自解码器，其输入为迭代步数、噪声图像、噪声，输出为去噪图像；
噪声图像输入迭代步数模块和噪声生成模块，生成对应的迭代步数和单位基本噪声，迭代步数、单位基本噪声、噪声图像一并输入到去噪自解码器中，计算得到去噪图像。
本发明采用基于去噪自解码网络的图像去噪模型对噪声图像进行去噪。该技术结合了去噪扩散概率模型与深度学习算法，首先利用残差神经网络对输入噪声图像进行特征提取，并经过线性层和归一化层得到迭代步数。再通过U-Net结构提取图像的单位基本噪声，其中，U-Net结构引入包含自注意力机制和跳跃连接，对输入图像进行权重化处理，并对浅层和深层特征进行特征复用，增加了特征提取的效率，能够突出筛选有效特征。最后将输入图像、单位基本噪声、迭代步数一并输入去噪自解码器计算单元进行计算，得到去噪图像。与传统的深度学习去噪算法相比，本发明具有严格推导的数学模型，对加性高斯噪声图像的去噪具有严谨的可解释性，便于开展进一步研究和优化。基于理论推导，本发明提供的方法能够对所有加性高斯噪声进行完全去噪。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的去噪自解码网络模型结构图；
图3为本发明实施例的去噪自解码网络模型训练流程图；
图4为本发明实施例的去噪自编码器网络的分治预训练流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本实施例以给定的噪声图像为例，对本发明做进一步的阐述，请见图1，本实施例提供的一种基于去噪自解码网络的图像去噪方法，包括以下步骤：
步骤1，对噪声图像进行预处理；
步骤2，将预处理后的图像输入去噪自解码网络，得到去噪图像；
请见图2，所述去噪自解码网络，包括迭代步数生成模块、噪声生成模块、去噪自解码器；
在一种实施方式中，所述迭代步数生成模块，包括卷积神经网络、线性层和归一化层，其中归一化层的输入通道数为特征维度，输出通道数为最大迭代步数；
所述噪声生成模块，采用U-Net结构，包括下采样层、卷积层和上采样层，整个模块的输入维度、输出维度、输入通道数、输出通道数均与输入图像相同；
所述下采样层、卷积层和上采样层，每层均包含4个基本网络结构，每个基本网络结构包括2个残差块、1个自注意力层，上采样和下采样的基本结构还包括采样函数；
所述去噪自解码器，其输入为迭代步数、噪声图像、噪声，输出为去噪图像；
噪声图像输入迭代步数模块和噪声生成模块，生成对应的迭代步数和单位基本噪声，迭代步数、单位基本噪声、待去噪图像一并输入到去噪自解码器中，计算得到去噪图像。
在一种实施方式中，步骤1中，对噪声图像进行预处理，包括噪声图像的归一化，所述归一化利用尺度放缩归一化将样本数据全部放缩到相同尺度下，且关于0对称分布，具体归一化函数为：
其中，为归一化后的图像，/>为输入噪声图像。
在一种实施方式中，步骤2中，所述迭代步数生成模块，首先基于残差神经网络对预处理后的图像进行特征提取，然后经过线性层和归一化层得到不同迭代步数的概率序列，将概率序列的最大值对应的序列位置索引为迭代步数输出。
在一种实施方式中，步骤2中，所述噪声生成模块采用U-Net结构，对预处理后的图像进行下采样、卷积和上采样，生成与输入图像通道数和维度均一致的单位基本噪声。
在一种实施方式中，步骤2中，所述噪声生成模块中，其下采样层、卷积层和上采样层均由4个基本网络结构组成，下采样层用于降低维度，便于卷积层进行特征提取，上采样层用于恢复维度，确保噪声生成模块的生成与输入维度相同；其中，基本网络结构包括2个残差块、1个自注意力层，上下采样层的基本网络结构中还包含一个采样函数；下采样过程中，输入图像经过残差块进行通道扩展，再通过自注意力层分配空间权重，最后经过下采样函数，得到适合进行特征提取的多通道低维信息，上采样过程则与之相反；其中，上采样函数由一个卷积和一个2倍的Upsample函数组成，通过插值算法进行上采样；下采样函数由一个卷积和一个Rearrange函数组成，通过维度合并进行下采样；每个残差块由2个卷积层组成，残差块计算单元可以表示为：
其中，为残差块的输出，/>为残差块中第2个卷积层的输出，/>为残差块的输入，采用残差结构，使得网络在深度较深时“短路”某些层以防止网络退化。
在一种实施方式中，步骤2中，所述噪声生成模块，其下采样层、卷积层和上采样层均加入了自注意力层，自注意力层包含3个可进行参数优化的权重矩阵、/>、/>，用于同输入图像做矩阵乘法得到3个参数矩阵/>、/>、/>，具体计算公式为：
其中，为噪声生成模块的基本网络结构中，第二个残差块的输出特征；
于是整幅图像的权重矩阵计算公式为：
其中，为/>的方差，/>为归一化函数，归一化计算公式为：
其中，为求集合/>中元素的最大值，/>和/>为集合A中的元素，/>为归一化后的值。
在一种实施方式中，步骤2中，所述去噪自解码器为一个单步计算单元，将迭代步数、噪声图像、噪声一并输入去噪自解码器后，输出得到去噪图像。去噪自解码器的计算公式推导过程为：
首先，定义噪声图像的加噪过程；对原始图像不断添加一个小的随机标准高斯噪声，共添加步，/>为迭代步数，得到一系列噪声图像。考虑加噪的中间过程，设加入第/>步噪声后的样本图像为/>，则第/>步的样本图像为：
其中，/>为定义在0.0001~0.2上的线性序列，序列长度为预设值1000，序列的第/>个元素取值为/>，/>与/>的作用是控制样本图像/>与所添加噪声/>的比例，使得每一步添加噪声均能使得样本图像的失真程度发生明显变化；
为了优化算法的时间复杂度，可以根据递推公式(8)求出的通项公式：
其中，表示去噪图像，/>表示噪声图像，/>为迭代步数，/>为单位基本噪声，/>为序列{/>}前/>项的累乘；
则根据公式，可以反向计算出去噪图像，即去噪解码计算单元的表达式为：
其中，表示去噪图像，/>表示噪声图像，/>为迭代步数，/>为单位基本噪声，/>为序列{/>}前/>项的累乘。
请见图3，在一种实施方式中，步骤2中，所述去噪自解码网络，是经过参数优化后的去噪自解码网络：参数优化过程包括以下子步骤：
步骤S1，导入噪声图像数据集；
噪声图像数据集使用伯克利分割数据集（BSD500）；
步骤S2，对噪声图像和无噪声图像分别进行相同的预处理；
对噪声图像和原始图像进行相同的预处理，预处理方式与步骤1 所述预处理方式相同，以保证训练环境和应用环境的一致性；
步骤S3，将噪声图像和原始图像分别输入迭代步数生成模块和噪声生成模块，在一定条件下训练，得到两个预训练模块；
请见图4，由于两个模块均具有相对较大规模的参数量，整体端到端训练时，受限于数据集大小，模型很难收敛到一个相对良好的性能；因此采用分治思想，对迭代步数生成模块和噪声生成模块分别进行预训练，得到两个预训练模型；预训练过程包含以下三个步骤：
第一步，将预处理原始图像输入噪声编码器得到模拟噪声图像；
噪声编码器为一个单步计算单元，其随机生成一个高斯噪声，接受一个随机生成的迭代步数和原始图像，计算得到噪声图像，具体计算公式与公式(9)相同；
第二步，将噪声图像输入迭代步数生成模块进行训练，通过梯度下降和反向传播不断优化模型参数，使得迭代步数生成模块能生成与模拟噪声图像对应的迭代步数；
第三步，将模拟噪声图像输入噪声生成模块，通过梯度下降和反向传播不断优化模型参数，使得噪声生成模块能得到与输入模拟噪声图像对应的高斯噪声；
步骤S4，以预训练的迭代步数生成模块和噪声生成模块构建去噪自解码网络；
步骤S5，将训练数据输入去噪自解码网络中进行训练，通过梯度下降和反向传播不断优化模型参数。
在一种实施方式中，步骤S3、S5中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降，最终使得模型输出去噪后的图像。
在一种实施方式中，对输出去噪后的图像进行客观质量评价，以反映本发明实施例的性能，具体使用指标为峰值信噪比（PSNR）和结构相似度（SSIM），具体计算公式为：
其中，为常用对数，/>为均方误差，计算方法为：
其中，为图像的像素数量，/>、/>为无噪声图像与模型输出的去噪后图像。
其中，分别为无噪声图像与模型输出的去噪后图像，/>分别为/>的均值，/>为/>的协方差，/>分别为/>的方差。/>是常数，用于防止分母为0，经验上取/>，取/>。
在一种实施方式中，在PolyU自然噪声图像数据集上对模型性能进行评估，得到的实验结果如表1所示。通过与目前主流的传统去噪方法和基于深度学习的去噪方法进行对比，本发明的性能表现均为最优。
表1. PolyU数据集上各去噪方法性能对比，性能最高的指标用加粗表示
其中算法LCSD、TWSC、M-SVD、CM3D_best、DnCNN、CBDNet、DRUNet分别参考文献Rizkinia M, Baba T, Shirai K, et al. Local spectral component decompositionfor multi-channel image denoising[J]. IEEE transactions on image processing,2016, 25(7): 3208-3218，Xu J, Zhang L, Zhang D. A trilateral weighted sparsecoding scheme for real-world image denoising[C]//Proceedings of the Europeanconference on computer vision (ECCV). 2018: 20-36，Kong Z, Yang X. Color imageand multispectral image denoising using block diagonal representation[J].IEEE transactions on image processing, 2019, 28(9): 4247-4259，Dabov K, Foi A,Katkovnik V, et al. Color image denoising via sparse 3D collaborativefiltering with grouping constraint in luminance-chrominance space[C]//2007IEEE international conference on image processing. IEEE, 2007, 1: I-313-I-316，Zhang K, Zuo W, Chen Y, et al. Beyond a gaussian denoiser: Residuallearning of deep cnn for image denoising[J]. IEEE transactions on imageprocessing, 2017, 26(7): 3142-3155，Guo S, Yan Z, Zhang K, et al. Towardconvolutional blind denoising of real photographs[C]//Proceedings of theIEEE/CVF conference on computer vision and pattern recognition. 2019: 1712-1722，Zhang K, Li Y, Zuo W, et al. Plug-and-play image restoration with deepdenoiser prior[J]. IEEE Transactions on Pattern Analysis and MachineIntelligence, 2021, 44(10): 6360-6376。
本发明实施例还提供一种基于去噪自解码网络的图像去噪系统，包括以下单元：
预处理单元，用于对输入图像进行预处理，得到归一化后的图像；
去噪自解码单元，用于对预处理后的图像输入去噪自解码网络，得到去噪后的图像；
所述去噪自解码网络，包括迭代步数生成模块、噪声生成模块、去噪自解码器；
所述迭代步数生成模块，包括卷积神经网络、线性层和归一化层，其中归一化层的输入通道数为特征维度，输出通道数为最大迭代步数；
所述噪声生成模块，采用U-Net结构，包括下采样层、卷积层和上采样层，整个模块的输入维度、输出维度、输入通道数、输出通道数均与输入图像相同；
所述去噪自解码器，其输入为迭代步数、噪声图像、噪声，输出为去噪图像；
噪声图像输入迭代步数模块和噪声生成模块，生成对应的迭代步数和单位基本噪声，迭代步数、单位基本噪声、噪声图像一并输入到去噪自解码器中，计算得到去噪图像。
各单元的具体实现方式与各步骤相同，本发明不予撰述。
本发明实施例还提供一种基于去噪自解码网络的图像去噪设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述方案所述的一种基于去噪自解码网络的图像去噪方法。
本发明基于数学建模方法构造模型，使得模型的每个模块都有明确的物理意义，具有严谨的理论基础，提高了模型的可解释性，便于进一步研究和改进。基于理论推导，本发明提供的方法能够对所有加性高斯噪声进行完全去噪。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换和变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于去噪自解码网络的图像去噪方法，其特征在于，包括以下步骤：
步骤1，对噪声图像进行预处理；
步骤2，将预处理后的噪声图像输入去噪自解码网络，得到去噪图像；
所述去噪自解码网络包括迭代步数生成模块、噪声生成模块、去噪自解码器；
所述迭代步数生成模块，包括卷积神经网络、线性层和归一化层，其中归一化层的输入通道数为特征维度，输出通道数为最大迭代步数；
所述噪声生成模块，采用U-Net结构，包括下采样层、卷积层和上采样层，噪声生成模块的输入维度、输出维度、输入通道数、输出通道数均与输入的噪声图像相同；
所述去噪自解码器，其输入为迭代步数、噪声图像、噪声，输出为去噪图像；
噪声图像输入迭代步数模块和噪声生成模块，生成对应的迭代步数和单位基本噪声，迭代步数、单位基本噪声、噪声图像一并输入到去噪自解码器中，计算得到去噪图像；
步骤2中，所述去噪自解码器为一个单步计算单元，计算公式推导过程为：
首先，定义噪声图像的加噪过程；对原始图像不断添加一个小的随机标准高斯噪声，共添加步，/>为迭代步数，得到一系列噪声图像，考虑加噪的中间过程，设加入第/>步噪声后的样本图像为/>，则第/>步的样本图像为：
其中，/>为定义在0.0001~0.2上的线性序列，序列的第/>个元素取值为/>；/>与/>的作用是控制样本图像/>与所添加噪声/>的比例；
为了优化算法的时间复杂度，根据递推公式(8)求出的通项公式：
则根据公式，反向计算出去噪图像，即单步计算单元的表达式为：
其中，表示去噪图像，/>表示噪声图像，/>为迭代步数，/>为单位基本噪声，/>为序列{/>}前/>项的累乘。
2.根据权利要求1所述的一种基于去噪自解码网络的图像去噪方法，其特征在于：步骤1中，对噪声图像进行预处理，包括噪声图像的归一化，所述归一化利用尺度放缩归一化将样本数据全部放缩到相同尺度下，且关于0对称分布，具体归一化函数为：
其中，为归一化后的图像，/>为噪声图像。
3.根据权利要求1所述的一种基于去噪自解码网络的图像去噪方法，其特征在于：步骤2中，所述迭代步数生成模块，首先基于残差神经网络对与预处理后的噪声图像进行特征提取，然后经过线性层和归一化层得到不同迭代步数的概率序列，将概率序列的最大值对应的序列位置索引作为迭代步数输出。
4.根据权利要求1所述的一种基于去噪自解码网络的图像去噪方法，其特征在于：步骤2中，下采样层用于降低维度，便于卷积层进行特征提取，上采样层用于恢复维度，确保噪声生成模块的生成与输入维度相同；下采样层、卷积层和上采样层均由4个基本网络结构组成，其中，基本网络结构包括2个残差块、1个自注意力层，上采样层中还包括一个上采样函数，上采样函数由一个卷积和一个2倍的Upsample函数组成，通过插值算法进行上采样；下采样层中还包括一个下采样函数，下采样函数由一个卷积和一个Rearrange函数组成，通过维度合并进行下采样；每个残差块由2个卷积层组成，残差块计算单元表示为：
其中，为残差块的输出，/>为残差块中第2个卷积层的输出，/>为残差块的输入。
5.根据权利要求4所述的一种基于去噪自解码网络的图像去噪方法，其特征在于：自注意力层中包含3个可进行参数优化的权重矩阵、/>、/>，用于同输入图像做矩阵乘法得到3个参数矩阵/>、/>、/>，具体计算公式为：
其中，为基本网络结构中第二个残差块的输出特征；
整幅图像的权重矩阵计算公式为：
其中，为/>的方差，/>为归一化函数，归一化计算公式为：
其中，为求集合/>中元素的最大值，/>和/>为集合A中的元素，/>为归一化后的值。
6.根据权利要求1所述的一种基于去噪自解码网络的图像去噪方法，其特征在于：步骤2中，所述去噪自解码网络是经过参数优化后的去噪自解码网络：参数优化过程包括以下子步骤：
步骤S1，导入噪声图像数据集；
噪声图像数据集使用伯克利分割数据集；
步骤S2，对噪声图像和原始图像分别进行相同的预处理；
对噪声图像和原始图像进行相同的预处理，预处理方式与步骤1 所述预处理方式相同，以保证训练环境和应用环境的一致性；
步骤S3，将噪声图像和原始图像分别输入迭代步数生成模块和噪声生成模块，在一定条件下训练，得到两个预训练模块；
采用分治思想，对迭代步数生成模块和噪声生成模块分别进行预训练，得到两个预训练模型；预训练过程包含以下三个步骤：
第一步，将预处理原始图像输入噪声编码器得到模拟噪声图像；
噪声编码器为一个单步计算单元，其随机生成一个高斯噪声，接受一个随机生成的迭代步数和原始图像，计算得到噪声图像；
第二步，将噪声图像输入迭代步数生成模块进行训练，通过梯度下降和反向传播不断优化模型参数，使得迭代步数生成模块能生成与模拟噪声图像对应的迭代步数；
第三步，将模拟噪声图像输入噪声生成模块，通过梯度下降和反向传播不断优化模型参数，使得噪声生成模块能得到与输入模拟噪声图像对应的高斯噪声；
步骤S4，以预训练的迭代步数生成模块和噪声生成模块构建去噪自解码网络；
步骤S5，将训练数据输入去噪自解码网络中进行训练，通过梯度下降和反向传播不断优化模型参数。
7.根据权利要求6所述的一种基于去噪自解码网络的图像去噪方法，其特征在于：步骤S3、S5中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降，最终使得模型输出去噪后的图像。
8.一种基于去噪自解码网络的图像去噪系统，其特征在于，包括以下单元：
预处理单元，用于对输入图像进行预处理，得到归一化后的图像；
去噪自解码单元，用于对预处理后的图像输入去噪自解码网络，得到去噪后的图像；
所述去噪自解码网络，包括迭代步数生成模块、噪声生成模块、去噪自解码器；
所述迭代步数生成模块，包括卷积神经网络、线性层和归一化层，其中归一化层的输入通道数为特征维度，输出通道数为最大迭代步数；
所述噪声生成模块，采用U-Net结构，包括下采样层、卷积层和上采样层，整个模块的输入维度、输出维度、输入通道数、输出通道数均与输入图像相同；
所述去噪自解码器，其输入为迭代步数、噪声图像、噪声，输出为去噪图像；
噪声图像输入迭代步数模块和噪声生成模块，生成对应的迭代步数和单位基本噪声，迭代步数、单位基本噪声、噪声图像一并输入到去噪自解码器中，计算得到去噪图像；
所述去噪自解码器为一个单步计算单元，计算公式推导过程为：
首先，定义噪声图像的加噪过程；对原始图像不断添加一个小的随机标准高斯噪声，共添加步，/>为迭代步数，得到一系列噪声图像，考虑加噪的中间过程，设加入第/>步噪声后的样本图像为/>，则第/>步的样本图像为：
其中，/>为定义在0.0001~0.2上的线性序列，序列的第/>个元素取值为/>；/>与/>的作用是控制样本图像/>与所添加噪声/>的比例；
为了优化算法的时间复杂度，根据递推公式(8)求出的通项公式：
则根据公式，反向计算出去噪图像，即单步计算单元的表达式为：
其中，表示去噪图像，/>表示噪声图像，/>为迭代步数，/>为单位基本噪声，/>为序列{/>}前/>项的累乘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410082480.4A CN117611484B (zh) | 2024-01-19 | 2024-01-19 | 一种基于去噪自解码网络的图像去噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410082480.4A CN117611484B (zh) | 2024-01-19 | 2024-01-19 | 一种基于去噪自解码网络的图像去噪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117611484A CN117611484A (zh) | 2024-02-27 |
| CN117611484B true CN117611484B (zh) | 2024-04-02 |
Family
ID=89952047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410082480.4A Active CN117611484B (zh) | 2024-01-19 | 2024-01-19 | 一种基于去噪自解码网络的图像去噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117611484B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118365562A (zh) * | 2024-04-17 | 2024-07-19 | 电子科技大学 | 一种基于扩散模型的破损图像修复方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685743A (zh) * | 2018-12-30 | 2019-04-26 | 陕西师范大学 | 基于噪声学习神经网络模型的图像混合噪声消除方法 |
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
| CN111080541A (zh) * | 2019-12-06 | 2020-04-28 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
| US11599972B1 (en) * | 2021-12-22 | 2023-03-07 | Deep Render Ltd. | Method and system for lossy image or video encoding, transmission and decoding |
| CN116229083A (zh) * | 2023-03-21 | 2023-06-06 | 广东工业大学 | 一种基于轻量u型结构网络的图像去噪方法 |
| CN116563155A (zh) * | 2023-05-09 | 2023-08-08 | 广东工业大学 | 一种先验的语义图像转变成图片的方法 |
| CN116958554A (zh) * | 2023-08-01 | 2023-10-27 | 长江时代通信股份有限公司 | 一种基于潜在扩散模型和多级上下文交叉一致性的半监督分割方法 |
| CN117058009A (zh) * | 2023-06-21 | 2023-11-14 | 西北工业大学深圳研究院 | 一种基于条件扩散模型的全色锐化方法 |
| CN117391988A (zh) * | 2022-06-28 | 2024-01-12 | 四川大学 | 结合降质信息的图像盲去噪深度拟合框架 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230153949A1 (en) * | 2021-11-12 | 2023-05-18 | Nvidia Corporation | Image generation using one or more neural networks |
| US20230153957A1 (en) * | 2021-11-15 | 2023-05-18 | Samsung Electronics Co., Ltd. | System and method for training of noise model using noisy signal pairs |
| US20230377099A1 (en) * | 2022-05-19 | 2023-11-23 | Nvidia Corporation | Synthesizing content using diffusion models in content generation systems and applications |
-
2024
- 2024-01-19 CN CN202410082480.4A patent/CN117611484B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685743A (zh) * | 2018-12-30 | 2019-04-26 | 陕西师范大学 | 基于噪声学习神经网络模型的图像混合噪声消除方法 |
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
| CN111080541A (zh) * | 2019-12-06 | 2020-04-28 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
| US11599972B1 (en) * | 2021-12-22 | 2023-03-07 | Deep Render Ltd. | Method and system for lossy image or video encoding, transmission and decoding |
| CN117391988A (zh) * | 2022-06-28 | 2024-01-12 | 四川大学 | 结合降质信息的图像盲去噪深度拟合框架 |
| CN116229083A (zh) * | 2023-03-21 | 2023-06-06 | 广东工业大学 | 一种基于轻量u型结构网络的图像去噪方法 |
| CN116563155A (zh) * | 2023-05-09 | 2023-08-08 | 广东工业大学 | 一种先验的语义图像转变成图片的方法 |
| CN117058009A (zh) * | 2023-06-21 | 2023-11-14 | 西北工业大学深圳研究院 | 一种基于条件扩散模型的全色锐化方法 |
| CN116958554A (zh) * | 2023-08-01 | 2023-10-27 | 长江时代通信股份有限公司 | 一种基于潜在扩散模型和多级上下文交叉一致性的半监督分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| No-Reference Image Quality Assessment: An Attention Driven Approach;Diqi Chen et.al;《IEEE Transactions on Image Processing》;20200506;第29卷;6496 - 6506 * |
| 基于深度学习和分数阶扩散方程的去噪模型研究;芦文琳;《中国优秀硕士学位论文全文数据库信息科技辑》;20220315(第3期);全文 * |
| 面向多天气退化图像恢复的自注意力扩散模型;秦菁 等;《上海交通大学学报》;20230322;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117611484A (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN117611484B (zh) | 一种基于去噪自解码网络的图像去噪方法及系统 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| CN114677304B (zh) | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 | |
| CN113362250B (zh) | 一种基于双树四元小波与深度学习的图像去噪方法及系统 | |
| CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
| CN110648292A (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| Wu et al. | Deep multi-level wavelet-cnn denoiser prior for restoring blurred image with cauchy noise | |
| CN110838089B (zh) | 一种基于OctBlock密集块的快速图像去噪方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN112241939A (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN115049054B (zh) | 基于特征图响应的通道自适应分段动态网络剪枝方法 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| CN114926336A (zh) | 视频超分辨率重建方法、装置、计算机设备及存储介质 | |
| CN114742911A (zh) | 图像压缩感知重建方法、系统、设备及介质 | |
| CN110569763B (zh) | 一种用于细粒度人脸识别的眼镜去除方法 | |
| CN116797456A (zh) | 图像超分辨率重建方法、系统、设备和存储介质 | |
| CN114202460B (zh) | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 | |
| CN113962882B (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| Guo et al. | Image blind deblurring using an adaptive patch prior | |
| CN111489306A (zh) | 基于强化学习的图像去噪方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |