CN117474797B - 一种多尺度互补学习的图像去噪方法及装置 - Google Patents

一种多尺度互补学习的图像去噪方法及装置 Download PDF

Info

Publication number
CN117474797B
CN117474797B CN202311832535.0A CN202311832535A CN117474797B CN 117474797 B CN117474797 B CN 117474797B CN 202311832535 A CN202311832535 A CN 202311832535A CN 117474797 B CN117474797 B CN 117474797B
Authority
CN
China
Prior art keywords
detail
image
learning
denoising
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311832535.0A
Other languages
English (en)
Other versions
CN117474797A (zh
Inventor
江结林
史明月
刘西应
陈亚当
赵英男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202311832535.0A priority Critical patent/CN117474797B/zh
Publication of CN117474797A publication Critical patent/CN117474797A/zh
Application granted granted Critical
Publication of CN117474797B publication Critical patent/CN117474797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多尺度互补学习的图像去噪方法及装置，方法包括：步骤1：图像预处理之后得到标准化的基层和细节层；步骤2：将细节层输入细节特征学习分支得到第一个图像细节特征；步骤3：将细节层输入噪声学习分支得到第二个图像细节特征；步骤4：融合两个分支学习得到的图像细节特征；步骤5：将最终的图像细节特征和基层相加得到去噪后的图像；步骤6：计算损失并迭代训练，重复步骤2至步骤5并保存最优去噪模型；步骤7：将测试图像输入保存好的去噪模型进行测试。当噪声水平越高时，去噪模型的去噪效果越好，使噪声的去除和细节的保留之间达到良好的平衡。同时只使用了细节层参与去噪模型训练，极大减少了计算量。

Description

一种多尺度互补学习的图像去噪方法及装置
技术领域
本发明涉及一种多尺度互补学习的图像去噪方法及装置，属于图像处理技术领域。
背景技术
图像去噪旨在从受噪声干扰的退化图像中尽可能恢复原始的真实图像，它是计算机低层视觉任务中的热门研究课题，如今它运用在多个现实领域，例如灾害救援，医疗诊断以及天气预测等。目前，研究人员探索了各种图像去噪方法，其中典型的传统图像去噪方法包括非局部均值和小波变换。虽然传统去噪方法能获得良好的去噪效果，但是它依赖于图像先验信息以及普适性不强。
随着硬件发展，深度学习在图像去噪领域得到了广泛的运用。相较于传统图像去噪方法，基于深度学习的图像去噪方法具有强大的学习能力，不仅可以拟合复杂的噪声分布，还节省了计算时间。经典的卷积神经网络(CNN, Convolutional Neural Network)包括DnCNN(Denoising Convolutional Neural Network)和FFDNet(Fast and FlexibleDenoising Convolutional Neural Network)等。为了进一步优化神经网络的去噪性能，研究人员在网络中引入了注意力机制，各种卷积的变形以及不断的加深网络层数，例如最深的Residual Network(ResNet)有152层；将空洞卷积与普通卷积相结合的增强卷积网络ECNDNet(Enhanced Convolutional Neural Denoising Network)，扩大了网络的感受野。
然而，目前图像去噪方法存在一些缺陷：
大部分去噪网络会忽略图像边缘信息以及纹理特征，噪声的去除和细节的保存之间很难达到良好的平衡，从而丢失图像的纹理细节。
随着网络层数的不断加深，网络的计算量变大，并且容易产生大量的冗余图像信息，削弱了不同网络层之间特征的互补性，导致不能获得好的去噪效果。
发明内容
本发明的目的在于克服现有技术中的不足，提出一个细节特征和噪声分布双分支多尺度互补学习的图像去噪方法，该方法通过融合来自不同尺度的特征，利用更有区分度的特征，来获得更可靠的空间信息，从而使去噪后的图像更多的保留原图的特征，取得了好的去噪效果。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种多尺度互补学习的图像去噪方法，包括以下步骤：
获取待处理图像；
对所述待处理图像进行预处理，得到预处理后的图像；
将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像；
所述将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像，包括：
对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征；
直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征；
基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；
将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像。
进一步的，所述去噪模型包括：
低通滤波器，用于对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
细节特征学习分支，用于基于标准化图片的细节层，直接学习图像细节特征，进行细节特征提取，获得第一图像细节特征；采用U型网络结构，包含编码器和解码器；编码器包括ResNet-50的stage1-3，每层设置多尺度减法模块进行层与层之间特征的互补学习，解码器包含上采样和密集特征融合块；
噪声学习分支，用于基于标准化图片的细节层，直接学习噪声分布而间接学习图像细节特征，进行细节特征提取，获得第二图像细节特征，由密集特征提取块构成；
融合模块，用于融合两个学习分支的输出，得到最终的图像细节特征；
输出模块，用于将最终的图像细节特征与基层相加，得到最终的去噪图像。
进一步的，对所述待处理图像进行预处理，得到预处理后的图像，包括：
将输入的待处理图像I C 的大小裁剪为预设尺寸；
添加不同水平的噪声分布N，得到预处理后的图像。
进一步的，对预处理后的图像进行标准化，得到标准化图片的基层和细节层，包括：
将噪声图像I N 分为基层I Base 和细节层I Detail ，其中噪声分布N在细节层I Detail 中，将细节层I Detail 和噪声分布N相减得到图像细节特征，
在第一个维度拼接图像细节特征和噪声分布N得到目标图像对/>；
对细节层I Detail 和基层I Base 进行图像增强操作，得到标准化图片的基层和细节层。
进一步的，直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征，包括：
输入细节层I Detail ，使用二维离散余弦变换将细节层I Detail 从空间域转换到频率域，生成频率张量；
将所述频率张量送入细节特征学习分支得到图像细节特征，所述细节特征学习分支是一个编码-解码的U形结构，包含编码器和解码器；
所述编码器用于基于经过余弦离散变换的频率张量，提取频率张量的细节特征，输出固定维度的细节特征图；
所述解码器用于基于固定维度的细节特征图，从固定维度的细节特征图中合成所需维度的频率张量；
基于所需维度的频率张量，使用二维离散余弦逆变换将特征图从频率域转换到空间域得到第一图像细节特征。
进一步的，直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征，包括：
使用卷积层增加细节层I Detail 的通道数；
送入噪声学习分支进行特征提取，得到学习的噪声分布；
所述噪声学习分支包括6个密集特征提取块，每个块由3对卷积和激活函数ReLU构成；
6个密集特征提取块block包括：
block1：输入64×80×80大小特征图，输出128×80×80大小特征图；
block2-5：输入128×80×80大小特征图，输出128×80×80大小特征图；
block6：输入128×80×80大小特征图，输出64×80×80大小特征图；
将学习的噪声分布与增加细节层I Detail 的通道数后的结果相减，得到特征图，使用卷积层将特征图进行降维至一维，得到第二图像细节特征/>。
进一步的，基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征，包括：
将第一图像细节特征和第二图像细节特征/>在第一个维度上用torch框架内置cat函数进行拼接得到图像细节特征；
使用1×1卷积对所述图像细节特征进行降维最终得到的图像细节特征。
进一步的，所述去噪模型的损失函数包括：
将所述学习的噪声分布和所述第一图像细节特征/>在第一个维度上进行拼接得到图像对/>，计算目标图像对/>和拼接得到的图像对/>的平均绝对误差记为Loss；
损失函数表示为：
；
其中，β为损失权重，为第一图像细节特征/>和图像细节特征/>的平均绝对误差，/>为学习的噪声分布/>和噪声分布N的平均绝对误差，x、y为图像细节特征的像素宽和像素高；i、j表示像素点的横坐标和纵坐标，/>表示第一图像细节特征/>中第（i,j）个像素点的值，/>表示图像细节特征/>中第（i,j）个像素点的值，/>表示学习得到的噪声分布中第（i,j）个像素点的值，/>表示目标噪声分布中第（i,j）个像素点的值；
所述去噪模型的训练方法包括：
预处理预先获取的训练数据集，并将预处理后的训练数据集输入去噪模型中，利用随机梯度下降算法对去噪模型进行反向迭代，更新权重和损失，当损失更新到最小值的时候，得到所述训练好的去噪模型。
第二方面，一种多尺度互补学习的图像去噪装置，包括：
输入模块：用于获取待处理图像；
预处理模块：用于对所述待处理图像进行预处理，得到预处理后的图像；
去噪模块：用于将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像；
所述将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像，包括：
对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征；
直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征；
基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；
将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像。
第三方面，一种多尺度互补学习的图像去噪装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
1、通过融合两个学习分支的输出，得到最终的图像细节特征，在细节特征学习分支中通过减法操作得到网络层之间的差别特征，使用融合操作获得丰富的多尺度差异特征，有效地增强了不同网络层之间特征的互补性，保留了更多的细节特征。当噪声水平越高时，去噪模型的去噪效果越好，由此可见本发明的设计可以使噪声的去除和细节的保留之间达到良好的平衡；
2、通过对预处理后的图像进行标准化，分为基层和细节层，将本发明主要解决了目前图像去噪丢失图像纹理细节以及网络层之间特征互补性的削弱的问题，建立一种新的双分支多尺度互补学习的图像去噪方法，获得了良好的去噪性能；
3、在本方法中，只使用了细节层参与去噪模型训练，极大减少了计算量，使得去噪模型本身所需训练参数大幅降低。本发明在包含公开数据集Set12在内的多个数据集上都获得了优秀的去噪效果。
附图说明
图1是本发明去噪模型示意图；
图2为多尺度减法模块结构示意图；
图3为本申请的算法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1：本实施例提供一种多尺度互补学习的图像去噪方法，主要是将学习图像的细节特征和学习噪声分布相结合，从而弥补图像去噪任务中噪声的去除和细节的保留之间很难达到良好的平衡的问题，建立双分支多尺度互补学习的图像去噪去噪模型。在图像预处理期间，将噪声图像分为基层和细节层并输入去噪模型，细节层中包含了图像的轮廓特征和纹理特征以及要去除的噪声分布，基层不参与去噪模型训练。在第一条细节特征学习分支中主要学习图像的轮廓特征和纹理特征（图像细节特征），在第二条噪声学习分支中主要学习噪声分布，并用输入的细节层减去学习的噪声分布得到第二条分支的图像细节特征。最后，将两条分支的图像细节特征进行融合并与基层相加得到最终的去噪图像。
本实施例公开的一种多尺度互补学习的图像去噪方法，
具体如图1和图3所示，包括以下步骤：
步骤1：输入图像；
1.1、本发明中使用的训练数据集为Waterloo Exploration Database（滑铁卢勘探数据库），包含4744张不同的彩色图像。灰色测试数据集包含Set12和BSD68，彩色测试数据集包含CBSD68，Kodak24和McMaster；当测试的是灰色数据集时，会将彩色图像数据集灰度化处理，如果测试的时彩色数据集，就不用灰度化处理；
1.2、读入干净图像I C ，将输入图像大小裁剪为80×80像素，并用torch框架内置randn函数添加噪声水平为15，25和50的高斯噪声得到噪声图像I N ；
1.3、接着使用低通滤波器将噪声图像I N 分为基层I Base 和细节层I Detail ，其中噪声分布N在细节层I Detail 中，将I Detail 和N相减得到图像细节特征；
1.4、图像细节特征像素大小为1×80×80，噪声分布N像素大小为1×80×80，在第一个维度用torch框架内置cat函数拼接/>和N得到像素大小为2×80×80目标图像对；
1.5、对I Detail 和I Base 进行旋转，翻转等操作，进行图像增强，最后得到标准化图像，将I Detail 和I Base 输入去噪模型，其中基层I Base 不参与去噪模型训练。
步骤2：得到第一图像细节特征；
2.1、输入像素大小为1×80×80的细节层I Detail ，使用二维离散余弦变换(Discrete Cosine Transform, DCT)将I Detail 从空间域转换到频率域，如图1中的D，生成形状大小为64×87×87的频率张量，具体由一个DCT核初始化的固定权值的卷积层来实现，其中填充设置为7；图1中：C表示卷积操作；D表示二维离散余弦变换；D-1是D的逆，二维离散余弦逆变换。
2.2、将步骤2.1中的频率张量送入细节特征学习分支得到图像细节特征，如图1中的细节特征学习分支，它是一个编码-解码的U形结构，包含编码器和解码器。编码器部分由ResNet-50的stage1-3组成，每一个stage由一个下采样和若干个残差块构成，下面是编码过程：
stage1中输入64×87×87大小特征图并经过三个残差块，每个残差块结构如下：
2.21）卷积核为1×1大小，步长为1的卷积层；
2.22）批量归一化层；
2.23）ReLU激活函数；
2.24）卷积核为3×3大小，步长为1的卷积层；
2.25）批量归一化层；
2.26）ReLU激活函数；
2.27）卷积核为1×1大小，步长为1的卷积层；
2.28）批量归一化层；
2.29）和输入跳跃连接相加；
最终输出256×87×87大小特征图。
stage2中输入256×87×87大小特征图并经过4个残差块，其中第一个残差块包含下采样，除了输入尺寸与输出尺寸不同外其余皆和stage1相同，输出512×44×44大小特征图；stage3中输入512×44×44大小特征图并经过6个残差块，其中第一个残差块包含下采样。除了输入尺寸与输出尺寸不同外，其余皆和stage1相同，输出1024×22×22大小特征图。
2.3、每个stage之间采用多尺度减法模块进行特征的互补学习，如图2中每层的特征图均使用1×1、3×3、5×5的卷积进行特征提取并对应相减得到三组差异特征，将这三组差异特征进行相加得到多尺度差异特征。
2.4、解码器部分包含3个block，每个block包含上采样和3个密集特征融合块构成，下面是解码过程：
block1中输入1024×22×22大小特征图并经过上采样和3个密集特征融合块，每个密集特征融合块结构如下：
2.41）卷积核为3×3大小，步长为1的卷积层；
2.42）批量归一化层；
2.43）ReLU激活函数；
最终输出512×44×44大小特征图。
block2中输入512×44×44大小特征图除卷积层输入尺寸与输出尺寸不同外，其余皆相同，输出256×87×87大小特征图；block3中输入512×87×87大小特征图除无上采样以及卷积层输入尺寸与输出尺寸不同外，其余皆相同，最终输出64×87×87大小特征图。
2.5、输入64×87×87大小的特征图，使用二维离散余弦逆变换(InverseDiscrete Cosine Transform, IDCT)将特征图从频率域转换到空间域得到最终大小为1×80×80的图像细节特征，对应图1中的图像细节特征一，具体由一个逆DCT核初始化的固定权值的卷积层来实现。
步骤3：得到第二图像细节特征；
3.1、使用1×1的卷积层增加细节层I Detail 的通道数，如图1中的C；
3.2、接着送入噪声学习分支进行特征提取，得到学习的噪声分布。如图1中的噪声学习分支，它由6个密集特征提取块组成，每个块由3对3×3卷积和激活函数ReLU构成；
过程：block1：输入64×80×80大小特征图，输出128×80×80大小特征图；block2-5：输入128×80×80大小特征图，输出128×80×80大小特征图；block6：输入128×80×80大小特征图，输出64×80×80大小特征图；
3.3、将噪声分布与3.1步骤的结果相减，得到特征图，此时通道数为64，使用1×1的卷积层将特征图进行降维至一维，得到大小为1×80×80图像细节特征/>，对应图1中的图像细节特征二；
3.4、使用1×1的卷积层将噪声分布进行降维至一维，将大小为1×80×80噪声分布/>和大小为1×80×80图像细节特征/>在第一个维度上用torch框架内置cat函数进行拼接得到大小为2×80×80的图像对/>。
步骤4：图像细节特征的融合；
将两条分支学习得到的图像细节特征进行融合得到最终大小为1×80×80的最终的图像细节特征，如图1中的融合模块，它由拼接操作和一个1×1卷积层组成。
步骤5：得到去噪图像；
将图像细节特征和基层I Base 相加得到最终的去噪图像/>。
步骤6：计算损失；
计算步骤1.3和3.4中图像对的平均绝对误差（MAE）记为记为Loss；
损失函数表示为：
；
其中，β为损失权重，为第一图像细节特征/>和图像细节特征/>的平均绝对误差，/>为学习的噪声分布/>和噪声分布N的平均绝对误差，x、y为图像细节特征的像素宽和像素高；i、j表示像素点的横坐标和纵坐标，/>表示第一图像细节特征/>中第（i,j）个像素点的值，/>表示图像细节特征/>中第（i,j）个像素点的值，/>表示学习得到的噪声分布中第（i,j）个像素点的值，/>表示目标噪声分布中第（i,j）个像素点的值。
步骤7：根据步骤6得到的Loss更新去噪模型参数权重，反向传播实现方式由pytorch内函数实现，至此，完成一个epoch的训练，循环200轮，保存最低Loss的去噪模型参数。
步骤8：使用去噪模型进行图像去噪任务
8.1读入待测试噪声图像，原大小送入步骤7中保存的去噪模型，除了步骤1中的裁剪不执行之外，执行步骤1到步骤5，最终得到去噪图像。
本申请的训练好的去噪模型的训练方法如下所示：
步骤S1：图像预处理之后得到标准化的基层和细节层；
步骤S2：将细节层输入细节特征学习分支得到第一个图像细节特征；
步骤S3：将细节层输入噪声学习分支得到第二个图像细节特征；
步骤S4：融合两个分支学习得到的图像细节特征；
步骤S5：将最终的图像细节特征和基层相加得到去噪后的图像；
步骤S6：计算损失并迭代训练，重复步骤S2至步骤S5并保存最优去噪模型；
步骤S7：将测试图像输入保存好的去噪模型进行测试。当噪声水平越高时，去噪模型的去噪效果越好，使噪声的去除和细节的保留之间达到良好的平衡。同时只使用了细节层参与去噪模型训练，极大减少了计算量。
本发明主要解决了目前图像去噪丢失图像纹理细节以及网络层之间特征互补性的削弱的问题，建立一种新的双分支多尺度互补学习的图像去噪方法，获得了良好的去噪性能。在细节特征学习分支中通过减法操作得到网络层之间的差别特征，使用融合操作获得丰富的多尺度差异特征，有效地增强了不同网络层之间特征的互补性，保留了更多的细节特征。当噪声水平越高时，去噪模型的去噪效果越好，由此可见本发明的设计可以使噪声的去除和细节的保留之间达到良好的平衡。同时在本方法中，只使用了细节层参与去噪模型训练，极大减少了计算量，使得去噪模型本身所需训练参数大幅降低。本发明在包含公开数据集Set12在内的多个数据集上都获得了优秀的去噪效果。
实施例2，本实施例提供一种多尺度互补学习的图像去噪装置，包括：
输入模块：用于获取待处理图像；
预处理模块：用于对所述待处理图像进行预处理，得到预处理后的图像；
去噪模块：用于将所述预处理后的图像输入训练好的去噪模型中，得到去噪图像；
所述去噪模型输入是预处理后的图像，输出是去噪图像。
所述去噪模块将所述预处理后的图像输入训练好的去噪模型中，得到去噪图像，包括：
对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
基于标准化图片的细节层，直接学习噪声分布而间接学习图像细节特征，进行细节特征提取，获得第一图像细节特征；
基于标准化图片的细节层，直接学习图像细节特征，进行细节特征提取，获得第二图像细节特征；
基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；
将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像。
本实施例的装置可用于实现实施例一所述的方法。
实施例3，本实施例一种多尺度互补学习的图像去噪装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种多尺度互补学习的图像去噪方法，其特征在于，包括以下步骤：
获取待处理图像；
对所述待处理图像进行预处理，得到预处理后的图像；
将所述预处理后的图像输入训练好的去噪模型中，得到去噪图像；
将所述预处理后的图像输入训练好的去噪模型中，得到去噪图像，包括：
对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征；
直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征；
基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；
将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像；
直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征，包括：
输入细节层IDetail，使用二维离散余弦变换将IDetail从空间域转换到频率域，生成频率张量；
将所述频率张量送入细节特征学习分支得到图像细节特征，所述细节特征学习分支是一个编码-解码的U形结构，包含编码器和解码器；
所述编码器用于基于经过余弦离散变换的频率张量，提取频率张量的细节特征，输出固定维度的细节特征图；
所述解码器用于基于固定维度的细节特征图，从固定维度的细节特征图中合成所需维度的频率张量；
基于所需维度的频率张量，使用二维离散余弦逆变换将特征图从频率域转换到空间域得到第一图像细节特征
直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，获得第二图像细节特征，包括：
使用卷积层增加细节层IDetail的通道数；
送入噪声学习分支进行特征提取，得到学习的噪声分布
所述噪声学习分支包括6个密集特征提取块，每个块由3对卷积和激活函数ReLU构成；
6个密集特征提取块block包括：
block1：输入64×80×80大小特征图，输出128×80×80大小特征图；
block2-5：输入128×80×80大小特征图，输出128×80×80大小特征图；
block6：输入128×80×80大小特征图，输出64×80×80大小特征图；
将噪声分布与增加细节层IDetail的通道数后的结果相减，得到特征图，使用卷积层将特征图进行降维至一维，得到第二图像细节特征/>
2.根据权利要求1所述的多尺度互补学习的图像去噪方法，其特征在于，所述去噪模型包括：
低通滤波器，用于对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
细节特征学习分支，用于基于标准化图片的细节层，直接学习图像细节特征，进行细节特征提取，获得第一图像细节特征；采用U型网络结构，包含编码器和解码器；编码器包括ResNet-50的stage1-3，每层设置多尺度减法模块进行层与层之间特征的互补学习，解码器包含上采样和密集特征融合块；
噪声学习分支，用于基于标准化图片的细节层，直接学习噪声分布而间接学习图像细节特征，进行细节特征提取，获得第二图像细节特征，由密集特征提取块构成；
融合模块，用于融合两个学习分支的输出，得到最终的图像细节特征；
输出模块，用于将最终的图像细节特征与基层相加，得到最终的去噪图像。
3.根据权利要求1所述的多尺度互补学习的图像去噪方法，其特征在于，对所述待处理图像进行预处理，得到预处理后的图像，包括：
将输入的待处理图像IC的大小裁剪为预设尺寸；
添加不同水平的噪声分布N。
4.根据权利要求1所述的多尺度互补学习的图像去噪方法，其特征在于，对预处理后的图像进行标准化，得到标准化图片的基层和细节层，包括：
将噪声图像IN分为基层IBase和细节层IDetail，其中噪声分布N在细节层IDetail中，将IDetail和N相减得到图像细节特征
在第一个维度拼接和N得到目标图像对/>
对IDetail和IBase进行图像增强操作，得到标准化图片的基层和细节层。
5.根据权利要求1所述的多尺度互补学习的图像去噪方法，其特征在于，
基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征，包括：
将第一图像细节特征和第二图像细节特征/>在第一个维度上用torch框架内置cat函数进行拼接得到图像细节特征；
使用1×1卷积对所述图像细节特征进行降维得到最终的图像细节特征
6.根据权利要求1所述的多尺度互补学习的图像去噪方法，其特征在于，所述去噪模型的损失函数包括：
将学习得到的噪声分布和第一图像细节特征/>在第一个维度上进行拼接得到图像对/>计算图像对/>和/>的平均绝对误差记为Loss；
损失函数表示为：
其中β为损失权重，为第一图像细节特征/>和图像细节特征/>的平均绝对误差MAE，/>为学习得到的噪声分布/>和目标噪声分布N的平均绝对误差MAE；x,y为图像细节特征的像素宽和像素高；i,j表示像素点的横坐标和纵坐标，/>表示第一图像细节特征中第(i,j)个像素点的值，/>表示图像细节特征/>中第(i,j)个像素点的值，/>表示学习得到的噪声分布中第(i,j)个像素点的值，N(i,j)表示目标噪声分布中第(i,j)个像素点的值；
预处理预先获取的训练数据集，并将预处理后的训练数据集输入去噪模型中，利用随机梯度下降算法对去噪模型进行反向迭代，更新权重和损失，当损失更新到最小值的时候，得到并保存最优去噪模型，训练结束，得到所述训练好的去噪模型。
7.一种多尺度互补学习的图像去噪装置，其特征在于，包括：
输入模块：用于获取待处理图像；
预处理模块：用于对所述待处理图像进行预处理，得到预处理后的图像；
去噪模块：用于将所述预处理后的图像输入训练好的去噪模型中，得到去噪图像；
所述去噪模型输入是预处理后的图像，输出是去噪图像；
所述去噪模块将所述预处理后的图像输入训练好的去噪模型中，得到去噪图像，包括：
对预处理后的图像进行标准化，得到标准化图片的基层和细节层；
直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征；
直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征；
基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；
将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像；
直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征，包括：
输入细节层IDetail，使用二维离散余弦变换将IDetail从空间域转换到频率域，生成频率张量；
将所述频率张量送入细节特征学习分支得到图像细节特征，所述细节特征学习分支是一个编码-解码的U形结构，包含编码器和解码器；
所述编码器用于基于经过余弦离散变换的频率张量，提取频率张量的细节特征，输出固定维度的细节特征图；
所述解码器用于基于固定维度的细节特征图，从固定维度的细节特征图中合成所需维度的频率张量；
基于所需维度的频率张量，使用二维离散余弦逆变换将特征图从频率域转换到空间域得到第一图像细节特征
直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，获得第二图像细节特征，包括：
使用卷积层增加细节层IDetail的通道数；
送入噪声学习分支进行特征提取，得到学习的噪声分布
所述噪声学习分支包括6个密集特征提取块，每个块由3对卷积和激活函数ReLU构成；
6个密集特征提取块block包括：
block1：输入64×80×80大小特征图，输出128×80×80大小特征图；
block2-5：输入128×80×80大小特征图，输出128×80×80大小特征图；
block6：输入128×80×80大小特征图，输出64×80×80大小特征图；
将噪声分布与增加细节层IDetail的通道数后的结果相减，得到特征图，使用卷积层将特征图进行降维至一维，得到第二图像细节特征/>
8.一种多尺度互补学习的图像去噪装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～6任一项所述方法的步骤。
CN202311832535.0A 2023-12-28 2023-12-28 一种多尺度互补学习的图像去噪方法及装置 Active CN117474797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311832535.0A CN117474797B (zh) 2023-12-28 2023-12-28 一种多尺度互补学习的图像去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311832535.0A CN117474797B (zh) 2023-12-28 2023-12-28 一种多尺度互补学习的图像去噪方法及装置

Publications (2)

Publication Number Publication Date
CN117474797A CN117474797A (zh) 2024-01-30
CN117474797B true CN117474797B (zh) 2024-03-19

Family

ID=89627899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311832535.0A Active CN117474797B (zh) 2023-12-28 2023-12-28 一种多尺度互补学习的图像去噪方法及装置

Country Status (1)

Country Link
CN (1) CN117474797B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581330A (zh) * 2022-03-14 2022-06-03 广东工业大学 一种基于多尺度混合注意力的太赫兹图像去噪方法
CN114936979A (zh) * 2022-06-07 2022-08-23 中南大学 一种模型训练方法、图像去噪方法、装置、设备及存储介质
CN116051408A (zh) * 2023-01-06 2023-05-02 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643189A (zh) * 2020-04-27 2021-11-12 深圳市中兴微电子技术有限公司 图像去噪方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581330A (zh) * 2022-03-14 2022-06-03 广东工业大学 一种基于多尺度混合注意力的太赫兹图像去噪方法
CN114936979A (zh) * 2022-06-07 2022-08-23 中南大学 一种模型训练方法、图像去噪方法、装置、设备及存储介质
CN116051408A (zh) * 2023-01-06 2023-05-02 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法

Also Published As

Publication number Publication date
CN117474797A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN111681252B (zh) 一种基于多路径注意力融合的医学图像自动分割方法
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN108205803B (zh) 图像处理方法、神经网络模型的训练方法及装置
Wang et al. Image denoising using SVM classification in nonsubsampled contourlet transform domain
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111145123B (zh) 基于U-Net融合保留细节的图像去噪方法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
Zuo et al. Convolutional neural networks for image denoising and restoration
CN114581330A (zh) 一种基于多尺度混合注意力的太赫兹图像去噪方法
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN112801906A (zh) 基于循环神经网络的循环迭代图像去噪方法
CN112712537A (zh) 视频时空超分辨率实现方法及装置
Liu et al. Facial image inpainting using multi-level generative network
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN117474797B (zh) 一种多尺度互补学习的图像去噪方法及装置
CN112396598B (zh) 一种基于单阶段多任务协同学习的人像抠图方法及系统
CN116977343A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN112801909B (zh) 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant