CN110738605B

CN110738605B - 基于迁移学习的图像去噪方法、系统、设备及介质

Info

Publication number: CN110738605B
Application number: CN201910815039.1A
Authority: CN
Inventors: 杨飞; 郎济莹; 王维颂
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2023-04-28
Anticipated expiration: 2039-08-30
Also published as: CN110738605A

Abstract

本公开公开了基于迁移学习的图像去噪方法、系统、设备及介质，获取待去噪的图像；将待去噪的图像输入到预先训练好的基于迁移学习的去噪神经网络中进行处理，所述基于迁移学习的去噪神经网络，包括：主降噪网络和噪声分布信息提取网络；噪声分布信息提取网络用于提取随机噪声分布特征；将随机噪声分布特征进行预处理后，作为主降噪网络每个残差模块的动态归一化参数，把随机噪声分布特征迁移到主去噪网络的数据特征中，加速主网络的收敛速度；利用动态归一化参数对主降噪网络每个残差模块提取的图像特征进行归一化处理，主降噪网络输出纯噪声图像；将纯噪声图像与待去噪的图像进行差值处理，得到去噪后的图像。

Description

基于迁移学习的图像去噪方法、系统、设备及介质

技术领域

本公开涉及图像处理技术领域，特别是涉及基于迁移学习的图像去噪方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

目前，随着社会的发展以及科技的日益进步，电脑、ipad、手机等电子产品越来越普及，人们期待从高清的图像中获得更好的感知信息，但是电子设备采集图像信息期间，经常由于不良光照或是高温会引起传感器的噪声，最终导致呈现的图像夹杂不必要的噪声。这些加噪的图像需要经过图像降噪，恢复的高清图像会应用到社会与生活的方方面面。

图像去噪的复原工作应用在社会生活的多个方面，手机摄像头以及专业相机拍摄的图片存在信道依赖的噪声和高斯噪声的综合噪声，射线管电视机或是显示器存在高斯噪声和椒盐噪声等多种噪声。目前，日常生活对摄像头和显示器的依赖不言而喻，对于目标识别和物体检测数据前期处理、城市社区视频安防、刑事案件取证、交通超速拍照等等，图像去噪复原具有十分重要的意义。

自深度学习发展至今，计算机底层视觉在图像增强与复原、风格迁移、图像生成等方向上已有巨大进步，图像降噪与超分是图像复原的重要课题。图像去噪分为空间域和频域去噪两种方法，空间域图像降噪算法可以依据其性质不同分为线性滤波与非线性滤波；频域图像滤波算法则是使用傅里叶变换或是多级小波变换，将图像信号转换至频域，降噪后再转换至空间域，去噪的图像格式通常是RGB三通道、L通道(LUV)、gray图像，图像去雨去雾也是其应用的研究之一。图像降噪的算法由传统算法BM3D、Non-local means发展至现在的深度学习方法。BM3D算法作为传统算法效果最优，结合了NLM和Wave let的特点，主要是通过为目标块找到相似块，使用某种域变换方法，得到“变换后的相似块集合”；采用协同(由相似块共同确定)硬阈值策略“弱化”相似块的噪声，后反变换回原始块域；加权平均相似块(第二步处理后)，叠加后得到basicestimate后的目标块；使用第一步的块集合方法，以及已由第三步处理后的图像重新计算块集合，域变换后，使用维纳滤波，在3D逆变换回原图像。

现有的图像去噪方法，存在如下缺点：

对于训练阶段，现有的图像去噪网络使用BN(Batch Normalization)层，来加速收敛，并控制过拟合，允许使用较大的学习率，BN基于mini batch的数据计算均值和方差，但是BN对batchsize有依赖，当batch_size较大时，效果才会明显。现有的图像去噪网络使用噪声估计作为特殊指导信息，但是未考虑到噪声的分布信息对网络降噪的影响。

发明内容

为了解决现有技术的不足，本公开提供了基于迁移学习的图像去噪方法、系统、设备及介质；

第一方面，本公开提供了基于迁移学习的图像去噪方法；

基于迁移学习的图像去噪方法，包括：

获取待去噪的图像；

将待去噪的图像输入到预先训练好的基于迁移学习的去噪神经网络中进行处理，所述基于迁移学习的去噪神经网络，包括：主降噪网络和噪声分布信息提取网络；

噪声分布信息提取网络用于提取随机噪声分布特征；将随机噪声分布特征进行预处理后，作为主降噪网络每个残差模块的动态归一化参数，把随机噪声分布特征迁移到主去噪网络的数据特征中，加速主网络的收敛速度；利用动态归一化参数对主降噪网络每个残差模块提取的图像特征进行归一化处理，主降噪网络输出纯噪声图像；

将纯噪声图像与待去噪的图像进行差值处理，得到去噪后的图像。

第二方面，本公开还提供了基于迁移学习的图像去噪系统；

基于迁移学习的图像去噪系统，包括：

获取模块，用于获取待去噪的图像；

降噪处理模块，用于将待去噪的图像输入到预先训练好的基于迁移学习的去噪神经网络中进行处理，所述基于迁移学习的去噪神经网络，包括：主降噪网络和噪声分布信息提取网络；

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

1.本公开采用噪声水平作为specific setting，来引导图像信息降噪。通过大量实验验证，将specific setting信息添加到输入数据，对网络的引导效果最好。

2.网络采用残差的思想，从加噪的退化图像中生成纯噪声图像，最后从加噪图像中剔除噪声，还原干净的图像。

3.本公开采用迁移学习的思想，本公开设计的网络包含两部分：主去噪网络和噪声特征分布信息学习网络。噪声特征分布信息学习网络采用迁移学习的思想，结构为一个自编码器-卷积-全连接组合，提取噪声特征整体分布信息，来约束主去噪网络中经过resnet-block生成的数据特征，约束过程使用dynamic instance normalization。

4.噪声特征分布信息学习网络，输入数据为相同噪声水平随机生成的噪声信息，每次不同的像素数值作为新的扰动，增强了网络自学习归一化网络的性能，提升了网络的鲁棒性。

5.本公开的自学习归一化采用IN的归一化方式，而没有采用BN的归一化方式，是因为BN要求批处理数据在相同的channal上的数据具有相同或是相似的分布，如果要求不满足，则很难用BN实现数据的小损失或无损失归一化操作。IN由于在每层特征数据上均使用归一化操作，而不是实现BN的一个batch上相同channal所有数据的归一化操作，因此避免了相同channal必须有相同或是相似分布的问题，极大的提高了网络降噪的性能。本公开使用的DIN(dynamic instance normalization)能够摆脱BN对batchsize的这种依赖，适用于各种批量数据的特征恢复。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图；

图2为第一个实施例的去噪网络设计结构示意图；

图3为第一个实施例的用于DIN的统计噪声分布信息的自学习归一化网络；

图4为第一个实施例的降噪效果对比结果示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了基于迁移学习的图像去噪方法；

如图1所示，基于迁移学习的图像去噪方法，包括：

获取待去噪的图像；

网络结构由两大部分组成，主降噪网络(Main DenoisingNetwork，简写MDNet)和噪声分布信息提取网络(Noise Distribution Information Extraction Network，简写NDENet)。噪声分布信息提取网络NDENet将噪声分布特征迁移到主降噪网络MDNet的残差模块的特征上，完成主降噪网络MDNet残差模块的特征归一化和特征恢复。

所述主降噪网络，包括：依次连接的第一卷积层、第二卷积层、第一下采样层、第三卷积层、第二下采样层、第四卷积层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、第五残差模块、第一上采样层、concat拼接层、第五卷积层、第二上采样层、第六卷积层和第七卷积层；

所述噪声分布信息提取网络，包括：第八卷积层、第九卷积层、第三下采样层、第四下采样层、第五下采样层、第六下采样层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、第五全连接层、第六全连接层、第七全连接层、第八全连接层、第九全连接层和第十全连接层。

所述第一卷积层，用于对待去噪图像进行特征提取，获取第一特征图；提取特征图大小为256*256*32；

所述第二卷积层，用于对第一特征图进行特征提取，获取第二特征图；提取特征图大小为256*256*32；

所述第一下采样层，用于对第二特征图进行下采样处理，获取第三特征图；

所述第三卷积层，用于对第三特征图进行特征提取，获取第四特征图；提取特征图大小为128*128*64；

所述第二下采样层，用于对第四特征图进行下采样处理，获取第五特征图；

所述第四卷积层，用于对第五特征图进行特征提取，获取第六特征图；提取特征图大小为64*64*128；

所述第一残差模块，用于利用噪声分布信息提取网络提供的第一归一化参数，对第六特征图进行残差处理，获取第七特征图；

所述第二残差模块，用于利用噪声分布信息提取网络提供的第二归一化参数，对第七特征图进行残差处理，获取第八特征图；

所述第三残差模块，用于利用噪声分布信息提取网络提供的第三归一化参数，对第八特征图进行残差处理，获取第九特征图；

所述第四残差模块，用于利用噪声分布信息提取网络提供的第四归一化参数，对第九特征图进行残差处理处理，获取第十特征图；

所述第五残差模块，用于利用噪声分布信息提取网络提供的第五归一化参数，对第十特征图进行残差处理处理，获取第十一特征图；

所述第一上采样层，用于对第十一特征图进行上采样处理，获取第十二特征图；

concat拼接层，用于将第三卷积层输出的第四特征图与第一上采样层输出的第十二特征图进行拼接，得到第十三特征图；

所述第五卷积层，用于对第十三特征图进行卷积处理，获取第十四特征图；

所述第二上采样层，用于对第十四特征图进行上采样处理，获取第十五特征图；

所述第六卷积层，用于对第十五特征图进行卷积处理，获取第十六特征图；

所述第七卷积层，用于对第十六特征图进行卷积处理，获取纯噪声图像；

所述第八卷积层，用于对随机生成的噪声图像进行卷积处理，获取第十七特征图；

所述第九卷积层，用于对第十七特征图进行卷积处理，获取第十八特征图；

所述第三下采样层，用于对第十八特征图进行下采样处理，获取第十九特征图；

所述第四下采样层，用于对第十九特征图进行下采样处理，获取第二十特征图；

所述第五下采样层，用于对第二十特征图进行下采样处理，获取第二十一特征图；

所述第六下采样层，用于对第二十一特征图进行下采样处理，获取第二十二特征图；

所述第十卷积层，用于对第二十二特征图进行卷积处理，获取第二十三特征图；

所述第十一卷积层，用于对二十二特征图进行卷积处理，获取第二十四特征图；

所述第十二卷积层，用于对第二十二特征图进行卷积处理，获取第二十五特征图；

所述第十三卷积层，用于对第二十二特征图进行卷积处理，获取第二十六特征图；

所述第十四卷积层，用于对第二十二特征图进行卷积处理，获取第二十七特征图；

所述第一全连接层和第二全连接层，用于对第二十三特征图进行处理，获得第一归一化参数；

所述第三全连接层和第四全连接层，用于对第二十四特征图进行处理，获取第二归一化参数；

所述第五全连接层和第六全连接层，用于对第二十五特征图进行处理，获得第三归一化参数；

所述第七全连接层和第八全连接层，用于对第二十六特征图进行处理，获得第四归一化参数；

所述第九全连接层和第十全连接层，用于对第二十七特征图进行处理，获取第五归一化参数。

每个残差模块均包括两个卷积层。

作为一个或多个实施例，获取归一化参数的方式：

其中，γ^(l)学习到的特征层的缩放系数，β^(l)学习到的特征层的平移系数，

是生成缩放系数的最后全连接层需要学习的权重，

是生成缩放系数的最后全连接层需要学习的偏置，

是生成平移系数的最后全连接层需要学习的权重，

是生成平移系数的最后全连接层需要学习的权重，X_S表示卷积层的输入值，Ψ_l表示卷积层的输出值。

作为一个或多个实施例，利用归一化参数对特征图进行残差处理的具体步骤包括：

其中，i为通道方向计数，j为某一通道上某一像素在高度方向的计数，k为某一通道上某一像素在宽度方向的计数，μ_i为i通道上数据特征的均值，σ_i ²为i通道上数据特征的方差，y_ijk为某一数据特征经过归一化参数处理后的数据输出；

H表示特征张量的长，W表示特征张量的宽，ε表示误差修正项。

主降噪网络MDNet包含两次下采样和两次上采样，每次下采样模块都包含一次步长为1的卷积层(用于恢复数据特征)和一次步长为2的下采样卷积(用于提取数据主要特征)，在下采样和上采样中间包含五个残差块，在每个残差块之后，对数据特征进行归一化并且将噪声分布信息提取网络NDENet得到的噪声分布特征作为数据特征的缩放与平移参数，这样把噪声分布特征迁移到主去噪网络的数据特征中，也能加速主网络的收敛速度。

作为一个或多个实施例，基于迁移学习的去噪神经网络的训练步骤，包括：

构建基于迁移学习的去噪神经网络；

构建训练集；所述训练集包括待去噪的图像和待去噪的图像对应的纯噪声图像；

将训练集输入到基于迁移学习的去噪神经网络中；

当基于迁移学习的去噪神经网络的损失函数达到最小值时，停止训练，输出训练好的基于迁移学习的去噪神经网络。

深度学习相关的降噪方法，采用残差学习和批量标准化在图像复原中相辅相成，实现了较深网络下，更好的收敛和性能。在高斯去噪模型下，目前网络噪声的先验信息局限于噪声估计，为强化网络的性能和鲁棒性，使用随机生成的具有相同分布噪声功率图作为扰动，同时提取其分布信息作为网络特征层归一化参数，强化网络学习，本公开使用迁移学习的思想，将图像中纯噪声整体分布信息提取后，用于恢复主去噪网络中数据特征的信息分布，由于主去噪网络使用残差学习的思想，学习获得图像中的纯噪声图像，所以噪声分布信息提取网络中的特征分布信息对恢复主去噪网络数据特征信息效果十分明显，这也是本专利的重要贡献之一。

噪声功率图即noise level map，是由噪声分布的方差，除以255，拓展成和图像相同的[Height，Weight]格式的二维数据。

本实施例设计了基于迁移学习的去噪神经网络的框架，包括两部分，其一是主降噪网络：用于残差学习添加的噪声；其二是噪声分布信息提取网络：用于学习噪声的整体分布。主降噪网络会采用类似降噪网络Encoder部分的框架，这个框架更方便提取网络结构特征，融合特征信息。该结构中间加入五层残差网络模块，本实施例在主降噪网络的残差模块中添加了经过迁移学习得到的噪声总体分布的信息，作为主降噪网络特征的dynamicinstance normalization归一化参数(DIN)。整个实验的约束使用了降噪图像和label的欧式距离，没有使用Gram矩阵而是使用了欧氏距离。提取噪声功率图总体的分布信息，是因为相同noise level的噪声功率图没有具体的细节纹理信息，而且本实施例每次生成的噪声功率图噪点像素值是随机的，作为新的扰动。

本实施例采用FFDNet作为baseline，利用Batch Normalization和residuallearning可以有效地去除噪点分布为非均匀的高斯噪声，且对一定噪声水平范围的噪声都有抑制作用。网络结构使用残差学习的思想，具有几种理想的性能：使用单一网络有效处理各种噪音水平(即[0,75])；通过指定非均匀噪声水平图来消除空间变化噪声的能力；速度比传统最优算法BM3D更快，在CPU和GPU运算性能都非常优秀。在合成的和真实的噪声图像上进行了广泛的实验，以评估网络与最先进的去噪器的优良。尽管FFDNet在降低高斯噪声方面具有较好的效果，但是FFDNet只使用了噪声分布的方差作为网络输入的指导信息，忽略了噪声整体分布信息对网络优化的指导。本实施例中，使用了两部分网络结构，将实现噪声分布信息对网络进行自学习归一化，指导网络收敛优化。

实验CNN的框架将包括两部分，一部分是去噪主框架用于残差学习添加的噪声；一部分是风格迁移框架用于学习噪声的整体分布。去噪主框架会采用类似UNet的框架，这个框架更方便提取网络结构特征，融合特征信息。该结构中间会加入残差学习，本实施例在主去噪结构的残差学习块中添加经过迁移学习得到的噪声总体分布的信息，作为主降噪网络特征的归一化参数dynamic instance normalization(DIN)。基于迁移学习的去噪神经网络设计结构如图2所示。

对于基于深度学习的去噪复原网络，大多数都仅仅是学习网络的在某一个噪声水平下的模型，而对于不同的噪声水平，需要多个不同的去噪网络，为此本实施例准备设计一种快速的、灵活的去噪卷积神经网络，该网络通过下采样sub-images来加速处理的过程，并采用正交正则化方法提高泛化能力。与现有的判别式降噪器discriminative denoisers相比，本实施例设计的针对噪声功率图的自学习归一化去噪网络的优点是：使用通过迁移学习，使用噪声整体分布的信息自学习feature map的归一化参数，强化去噪网络的鲁棒性和去噪性能；一个网络框架可以处理方差在[0,80]范围的噪声图片。

本实施例内容详解：

1、基于自编码-自解码器的图像主降噪网络

本实施例通过探索自编码-自解码器，自编码器提取加噪图像特征后，添加残差网络，并使用自学习的动态归一化参数来归一化经过编码后的特征，然后经过自解码器将图像特征恢复为图像像素信息。主去噪的网络中添加有跳跃连接，主要作用是恢复因压缩带来的部分图像细节损失。主去噪网络采用残差学习的思想，简化参数量，同时加速网络处理效率。

本实施例通过探索不同特征层使用特定指导信息来指导网络降噪性能，指导信息以噪声水平为准；通过探索特征层自学习归一化，将噪声功率图谱的分布信息用于归一化主去噪网络的特征图。本实施例对灰度图、RGB图像的高斯白噪声以及jepg压缩恢复具有非常显著的效果。

2、基于CNN的归一化参数自学习网络

本实施例通过CNN网络，输入相同分布但随机生成的噪声图谱，使用CNN网络提取噪声图谱的分布信息，用于约束主去噪网络的特征图谱，为避免网络过深，出现梯度爆炸现象引入批量归一化处理。

本实施例的dynamic instance normalization的学习方式如下：

或是

是生成DIN系数的最后全连接层需要学习的权重与偏置。

本实施例在主去噪网络中使用DIN约束主去噪网络数据特征，学习公式如下：

其中，i为通道方向计数，j、k为某一通道上某一像素在高度与宽度的计数。μ_i为i通道上数据特征的均值，

为i通道上数据特征的方差。y_ijk为某一数据特征经过DIN后的数据输出。

用于DIN的统计噪声分布信息的自学习归一化网络，结构如图3所示：

1、基于凸优化的对称学习损失函数

整个实验的约束使用去噪图像和label的欧式距离，不采用Gram矩阵欧氏距离的原因是噪声功率图只有总体的分布信息，不存在具体的细节纹理信息，因为每次生成的噪声功率图噪点像素值是随机的，是新的扰动。噪声分布整体估计网络的设计与主降噪网络的降采样部分类似。

使用的噪声模型如下：

y＝x+n

其中，噪声模型是为无噪声图片添加噪声，得到带噪数据输入主去噪网络，x为无噪声的图像，n为一定噪声水平的加性高斯白噪声。

如果使用jepg压缩，则模型为：

y＝JPEG(x)+n

其中，x为无噪声的图像，n为一定噪声水平的加性高斯白噪声，JPEG(x)为对干净图像x添加jpeg压缩，可以形成一定的图像失真。

大部分基于模型的去噪方法解决的都是这样一个问题：

其中，

为使用噪声水平σ的数据保真项，后半部分为数据正则项。正则项中，λ为平衡降噪性能和细节保留，当它太小时，会有许多的噪声被保留，当它太大时，图像细节会有过平滑的现象。

为了训练模型，实验需要准备数据集，训练数据集来自于400张BSDimages，400张ImageNet images(来自于其验证数据集)，和4744张图片来自于WaterlooExplorationDatabase。训练时，输入数据的在H、W维度上设置为128*128(patchsize，测试时采用原图大小即可)。实验的输入输出是成对的

这里，y_i是由x_i生成的添加加性高斯白噪声数据，M_i是根据噪声功率建立的噪声功率图，x_i为无噪声的清晰图像。

本实施例使用ADAM优化器来优化损失函数，总共迭代60个周期，前40个周期学习率为10^-3，之后每10个周期学习率逐次衰减为10^-4、10^-5。损失函数如下所示：

2、specific setting对主去噪网络的指导作用

specific setting信息可以用于网络隐藏层信息指导，也可以添加到输入数据，用于先验指导图像数据去噪。

本实施例使用噪声水平作为网络指导信息，将噪声水平延展成单通道图像格式，通过大量的实验证明，将噪声水平延展成图像的形状后添加到带噪输入数据的通道上，对实验的指导作用最有效。高斯噪声的指导信息为噪声分布的方差，其中，灰度图的指导信息为单通道的方差拓展图，RGB图像的指导信息为三通道的方差拓展图(R、G、B三个通道各求其方差)。信道依赖的真实噪声的指导信息可以由两个方案来求取，其一：计算纯噪声图像(加噪图像与干净图像的差值)信道间的协方差，为准确估计到每个像素，滑动计算窗口内协方差，滑动窗口取11*11或是15*15，其二：滑动计算纯噪声图像每一通道的方差，滑动窗口取11*11或是15*15，这两种方法对滑动窗口内的像素估计都取一致。

1.主去噪网络实现细节：

主去噪网络，包含两次下采样和两次上采样，采样方式均采用卷积，下采样使用卷积层代替池化层，下采样的卷积层步长为2，上采样方式可以采用转置卷积也可采用pixelshuffle方式，这里上采样采用步长为1/2的转置卷积，下采样与上采样间采用跳跃连接。对于灰度图，网络中两个下采样前后的通道数分别为32、64、128，对于RGB图像的残差模块resnet-block块通道为256。训练时，主去噪网络的输入为256*256*3的patches，使用数据增强，噪声水平拓展成patch大小作为网络输入的指导信息。主去噪网络在两次自编码后使用四个残差模块resnet-block，对于灰度图，这里通道数为128，对于RGB图像，这里通道数为256，在残差模块resnet-block里使用DIN约束，去噪效果明显增强。每个残差模块resnet-block采用conv+bn+relu、conv+bn，去噪主框架中使用5个残差模块resnet-block，每个残差模块resnet-block后对数据特征进行DIN自学习归一化，总共添加5个。

1.噪声分布信息提取网络实现细节：

噪声分布信息提取网络采用四个自编码器来作为基础网络，下采样方式为步长为2的卷积，基础网络的通道数分别为32、32、64、64、128、128。DIN的学习方式为并联学习，通过基础网络后再经过各自的卷积、全连接，经过全连接后生成shift、scale参数，用于主去噪网络数据特征归一化后的特征恢复。5个resnet-block对应5个shift、scale，包含10个全连接。

迁移网络的输入为一定噪声水平的纯噪声图像，噪声图像随机生成，每个像素值按分布随机生成，也可作为扰动，增强了去噪网络的鲁棒性。

2.为恢复图像部分低频信息，使用差值补充细节损失：

图像傅里叶变换，将图像从空间域转换到频域上，图像的频率由相邻像素间的梯度来表示，梯度越大表示频率越大，即相邻像素光照强度变化越大。使用傅里叶变换将图像由空间域转换到频域上，能很好的定位需要的图像边缘位置等信息。

本公开使用傅里叶带通滤波，寻找类似羽毛边界等高频信息，由于去噪网络更容易损失数值较低的高频信息，丢失部分细节，所以本公开采用傅里叶滤波，使用不同频率的滤波图像，差值后取一定范围的最低与最高阈值，截取出类似羽毛边界等高频信息，与网络输出用于最后的残差学习，可以用于恢复部分细节。傅里叶变换到频域后，取距离中心为5到25的环形频域，再将图像从频域转成空间域，根据设定的像素阈值，带通滤波图像中只保留在阈值范围内的数值，其余数值为零，公式如下所示：

y1＝FFT(x+n，R1)

y2＝FFT(x+n，R2)

Δy＝FFT^-1(y1-y2)

y_mean＝mean(x)

y_max＝max(x)

threshold_min＝(y_max-y_mean)*0.12+y_mean

threshold_max＝(y_max-y_mean)*0.25+y_mean

其中，FFT函数为快速傅里叶变换，将图像从空间域变换到频域，FFT^-1为傅里叶逆变换，y_{new_i}为最终生成的只保存毛发等边缘信息的图像。

本公开输入带噪图像，经过主去噪网络去噪，并且同时由子网络添加自学习归一化约束即DIN操作，把随机生成的一定噪声水平的噪声分布信息迁移到主去噪网络，恢复数据特征，经过残差学习，得到最后差值图像为：

img_generated＝img_net+img_noise+img_fft

实验结果：

本公开在灰度图比较了不同方法在PSNR实验数据上的差异，RGB图像对不同level进行了实验效果对比。

在SET12数据集上，对比不同方法在35、50、75不同噪声水平上的PSNR数值结果，加粗的为最优数据，本公开在噪声水平大于等于35时，降噪性能突出，如表1所示：

表1

本公开使用不同方法在不同噪声水平上处理，统计上述实验数据，发现本公开网络在噪声水平大于等于35时，降噪效果高于对比结果，如图4所示。

实施例二，本实施例还提供了基于迁移学习的图像去噪系统；

基于迁移学习的图像去噪系统，包括：

获取模块，用于获取待去噪的图像；

本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。

所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。