CN112801909B - 基于U-Net和金字塔模块的图像融合去噪方法及系统 - Google Patents

基于U-Net和金字塔模块的图像融合去噪方法及系统 Download PDF

Info

Publication number
CN112801909B
CN112801909B CN202110162762.1A CN202110162762A CN112801909B CN 112801909 B CN112801909 B CN 112801909B CN 202110162762 A CN202110162762 A CN 202110162762A CN 112801909 B CN112801909 B CN 112801909B
Authority
CN
China
Prior art keywords
image
noise
layer
denoising
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110162762.1A
Other languages
English (en)
Other versions
CN112801909A (zh
Inventor
陈羽中
沈启金
牛玉贞
陈钧荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110162762.1A priority Critical patent/CN112801909B/zh
Publication of CN112801909A publication Critical patent/CN112801909A/zh
Application granted granted Critical
Publication of CN112801909B publication Critical patent/CN112801909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于U‑Net和金字塔模块的图像融合去噪方法及系统，该方法包括以下步骤：S1、将成对的原始噪声图像和无噪声图像进行预处理，得到用于训练的成对图像块；S2、选取图像去噪深度网络模型FFDNet，并加载已训练完成的模型参数；步骤S3、构建基于U‑Net和金字塔模块的图像融合去噪网络；S4、以批次为单位将成对图像块输入FFDNet，并将其得到的结果输入图像融合去噪网络，根据损失函数训练图像融合去噪网络；S5、将用于测试的原始噪声图像输入FFDNet，并将其得到的结果输入训练好的图像融合去噪网络，得到最终的去噪图像。该方法及系统有利于提升去噪性能并保留更多的图像细节。

Description

基于U-Net和金字塔模块的图像融合去噪方法及系统
技术领域
本发明属于图像和视频处理技术领域，具体涉及一种基于U-Net和金字塔模块的图像融合去噪方法及系统。
背景技术
近年来，随着科技不断进步，移动数码设备不断地更新换代，人们获取信息的方式越发简便和快捷。相比于文字，图像是人们获取信息最直观的途径之一。一幅清晰的图像，其物体轮廓清晰、图像前景和背景分明可见，人们可以准确的对图像内容进行分类和目标识别等操作。然而，在图像的采集过程中，往往由于一些不同类型的外界因素的干扰，如相机抖动、信号扰动等，导致生成的图像质量发生退化，且这种退化是不可逆的。退化后的图像极大地影响人们对图像内容的判断和分析等后续操作，因此需要对其进行处理。若采用重新拍摄图像的方式，将耗费更多的时间和精力，效率低下，而且往往是不可行的。因此，通过一些技术手段对质量退化的图像进行进一步处理以恢复出质量较高的图像内容是较常用的方式之一，对质量退化后的图像的重建问题长期以来一直受到工业界和学术界的关注和研究。
图像去噪是图像重建问题中重要的图像处理任务之一，其主要研究内容是从一幅低质量的含噪声的图像中通过某种技术手段重建或恢复出高质量的无噪声图像。图像去噪的目标是使得重建出的图像尽可能地保留更多原本真实图像的图像细节和纹理信息。对图像去噪的研究历史悠久，研究者已经提出许多图像去噪方法如均值滤波、中值滤波、高斯滤波、卷积神经网络等。
目前主流的图像去噪方法大致可分为传统方法和基于深度学习的方法。传统方法采用手工的方式来提取图像的先验信息，根据所提取的图像先验信息，再对噪声图像进行去噪处理。这种方法仅对仿真数据比较有效，且无法使用图形处理器(Graphic ProcessingUnit，GPU)对图像处理过程进行加速，导致算法的时间复杂度较高。若使用多种不同的方法来提升图像处理结果，效率更加低下，因此，传统的图像去噪方法若没有进行进一步优化难以达到实际应用中对性能和效率的双重要求。
随着深度学习技术的发展，有人提出搭建深度卷积神经网络并将传统方法嵌入其中来完成图像去噪，使得图像去噪的结果优于传统方法且处理操作效率极大地提升。基于深度学习的方法的关键首先是设计一种可行的图像去噪方法，然后搭建深度学习网络，最后使用训练数据集对深度学习网络进行训练，并保存最优的网络模型参数。将新的噪声图像输入训练好的网络中即可用于图像去噪任务。虽然深度学习的方法相比与传统方法的去噪结果更好，然而，目前多数方法仍存在无法很好地保留图像细节的问题，而同一张噪声图像进行不同强度的去噪后得到的去噪图像在纹理丰富区域和纹理平滑区域分别具有不同的表现，有效地对其进行图像融合可以更好地保留图像的细节。
发明内容
本发明的目的在于提供一种基于U-Net和金字塔模块的图像融合去噪方法及系统，该方法及系统有利于提升去噪性能并保留更多的图像细节。
为实现上述目的，本发明采用的技术方案是：一种基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，包括以下步骤：
步骤S1：将成对的原始噪声图像和无噪声图像进行预处理，得到用于训练的噪声图像块和无噪声图像块组成的成对图像块；
步骤S2：选取图像去噪深度网络模型FFDNet，并加载已训练完成的模型参数；
步骤S3：构建用于生成最终去噪图像的基于U-Net和金字塔模块的图像融合去噪网络；
步骤S4：以批次为单位将成对图像块输入所述FFDNet，并将FFDNet得到的结果输入所述图像融合去噪网络，根据损失函数训练图像融合去噪网络；
步骤S5：将用于测试的原始噪声图像输入所述FFDNet，并将FFDNet得到的结果输入训练好的所述图像融合去噪网络，得到最终的去噪图像。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：将成对的原始噪声图像和无噪声图像在同一位置上进行切块，得到多组成对的噪声图像块和无噪声图像块组成的成对图像块；
步骤S12：将得到的各组成对图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的多组成对图像块；其中，每组成对图像块中，噪声图像块作为输入，无噪声图像块作为参考，且每个噪声图像块的噪声幅度设置为其对应的噪声图像的噪声幅度。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：选取图像去噪深度网络FFDNet；加载FFDNet的已训练完成的模型参数并固定模型参数不变，即训练时不更新模型参数；
步骤S22：对每一个噪声图像块，根据噪声图像块的噪声幅度设置去噪参数σ和σ'，其中σ为噪声图像块的噪声幅度，σ'为σ缩小到其p％得到的噪声幅度；然后得到FFDNet的噪声等级图Mσ和Mσ'用于控制FFDNet网络的去噪强度；其中，每个图像块的噪声等级图Mσ的图像尺寸与对应的图像块一致，且图像中的每个像素值均为σ；每个图像块的噪声等级图Mσ'的图像尺寸与对应的图像块一致，且图像中的每个像素值均为σ'；
步骤S23：对每一个噪声图像块，将噪声幅度为σ的原始噪声图像块分别与步骤S22得到的噪声等级图Mσ和Mσ'进行通道拼接得到Iσ和Iσ'；
步骤S24：将步骤S23得到的Iσ和Iσ'分别输入FFDNet得到两幅初始去噪图像块Dσ和Dσ'。
进一步地，所述步骤S3中，构建的基于U-Net和金字塔模块的图像融合去噪网络包含四个部分，分别是编码器部分、融合模块部分、金字塔模块部分和解码器部分；
所述编码器部分含有两个结构相同但参数独立的分支，分别用于提取步骤S24中两幅初始去噪图像Dσ和Dσ'的多尺度特征；每个分支由一个卷积层和两个下采样层组成；其中卷积层中卷积核大小为5x5、步长为1，下采样层包含一个含有卷积核大小为5x5、步长为2的卷积层和一个激活函数；编码器部分将网络的特征划分为3种不同的尺度；
对应编码器部分的第一个分支得到的3种不同尺度特征分别为
Figure BDA0002937193020000031
和
Figure BDA0002937193020000032
编码器部分的第二个分支得到的3种不同尺度特征分别为
Figure BDA0002937193020000033
和
Figure BDA0002937193020000034
所述融合模块部分由n个串联的残差块组成，它的输入为编码器部分得到的特征
Figure BDA0002937193020000035
和
Figure BDA0002937193020000036
经过通道拼接后再进行一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到的特征，输出的特征为Fc；
所述金字塔模块部分将融合模块部分的输出Fc分别与编码器部分的两个分支得到的3种不同尺度特征进行特征融合，过程如下：
金字塔模块第一层：首先，对应融合模块的特征Fc分别与编码器部分的两个分支的宽高维度大小相同的特征
Figure BDA0002937193020000037
和
Figure BDA0002937193020000038
直接进行通道拼接得到
Figure BDA0002937193020000039
和
Figure BDA00029371930200000310
其次，
Figure BDA00029371930200000311
和
Figure BDA00029371930200000312
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure BDA00029371930200000313
和
Figure BDA00029371930200000314
最后，通过逐元素相加操作将
Figure BDA00029371930200000315
和
Figure BDA00029371930200000316
分别与
Figure BDA0002937193020000041
和
Figure BDA0002937193020000042
进行特征相加得到
Figure BDA0002937193020000043
和
Figure BDA0002937193020000044
金字塔模块第二层：首先，将Fc进行一次上采样操作得到与
Figure BDA0002937193020000045
和
Figure BDA0002937193020000046
宽高维度相同的特征
Figure BDA0002937193020000047
其次，分别将
Figure BDA0002937193020000048
与编码器部分的两个分支的宽高维度大小相同的特征
Figure BDA0002937193020000049
和
Figure BDA00029371930200000410
进行通道拼接得到
Figure BDA00029371930200000411
和
Figure BDA00029371930200000412
再次，
Figure BDA00029371930200000413
和
Figure BDA00029371930200000414
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure BDA00029371930200000415
和
Figure BDA00029371930200000416
最后，通过逐元素相加操作将
Figure BDA00029371930200000417
和
Figure BDA00029371930200000418
分别与
Figure BDA00029371930200000419
和
Figure BDA00029371930200000420
进行特征相加得到
Figure BDA00029371930200000421
和
Figure BDA00029371930200000422
特别地，第二层过程中的上采样过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数；
金字塔模块第三层：首先，将
Figure BDA00029371930200000423
先进行一次上采样操作得到与
Figure BDA00029371930200000424
和
Figure BDA00029371930200000425
宽高维度相同的特征
Figure BDA00029371930200000426
其次，分别将
Figure BDA00029371930200000427
与
Figure BDA00029371930200000428
和
Figure BDA00029371930200000429
进行通道拼接得到
Figure BDA00029371930200000430
和
Figure BDA00029371930200000431
再次，
Figure BDA00029371930200000432
和
Figure BDA00029371930200000433
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure BDA00029371930200000434
和
Figure BDA00029371930200000435
最后，通过逐元素相加操作将
Figure BDA00029371930200000436
和
Figure BDA00029371930200000437
分别与
Figure BDA00029371930200000438
和
Figure BDA00029371930200000439
进行特征相加得到
Figure BDA00029371930200000440
和
Figure BDA00029371930200000441
特别地，第三层过程中的上采样过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数；
所述解码器部分由两个上采样层和一个输出卷积层组成，每个上采样层的过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数，输出卷积层是一个卷积核大小为1x1、步长为1的卷积操作；第一层上采样层的输入为融合模块的特征Fc、金字塔模块第一层的特征
Figure BDA00029371930200000442
和
Figure BDA00029371930200000443
经过通道拼接后得到的特征
Figure BDA00029371930200000444
第一层上采样层的输出特征为
Figure BDA00029371930200000445
第二层上采样层的输入为第一次上采样层的输出特征
Figure BDA00029371930200000446
金字塔模块第二层的特征
Figure BDA00029371930200000447
和
Figure BDA00029371930200000448
经过通道拼接后得到的特征
Figure BDA00029371930200000449
第二层上采样层的输出特征为
Figure BDA00029371930200000450
输出卷积层的输入为第二次上采样层的输出特征
Figure BDA00029371930200000451
金字塔模块第三层的特征
Figure BDA00029371930200000452
和
Figure BDA00029371930200000453
经过通道拼接后得到的特征
Figure BDA00029371930200000454
输出卷积层的输出为最终的去噪图像Do搀t。
进一步地，所述步骤S4具体包括以下步骤：
步骤S41：将成对的噪声图像块和无噪声图像块随机划分为多个批次，每个批次包含N个噪声图像块和N个无噪声图像块；
步骤S42：以批次为单位，将所述N个噪声图像块根据步骤S22-S24计算得到的初始去噪结果Dσ和Dσ'输入所述图像融合去噪网络，得到网络的最终去噪结果Do搀t；
步骤S43：根据所述图像融合去噪网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数；
步骤S44：以批次为单位重复进行步骤S42-S43，直至所述图像融合去噪网络的目标损失函数数值趋于平稳时，保存网络参数，完成网络的训练过程。
进一步地，所述步骤S43中，所述图像融合去噪网络的目标损失函数计算如下：
Figure BDA0002937193020000051
其中，N表示训练批次大小，
Figure BDA0002937193020000052
为该批次中第i个无噪声图像块，
Figure BDA0002937193020000053
为该批次中第i个噪声图像块对应的步骤S3生成的去噪图像，
Figure BDA0002937193020000054
为计算L2损失。
进一步地，所述步骤S5中，针对一幅噪声图像，首先根据步骤S22-S24计算FFDNet得到的两幅初始去噪图像，然后输入训练好的图像融合去噪网络得到最终的去噪图像；
测试过程与训练过程的过程，区别在于：首先，测试的批次大小为1；其次，测试不需要对噪声图像进行如步骤S1的图像切块预处理，而是直接对整幅噪声图像进行处理。
本发明还提供了一种基于U-Net和金字塔模块的图像融合去噪系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-7任一项所述的方法步骤。
与现有技术相比，本发明有以下有益效果：本发明能够有效提取不同图像中的图像特征，并融合两个编码器所提取的图像特征，然后将特征从网络深层融合到编码器各个浅层，通过融合去噪图像的方式，本发明能够有效提升去噪性能，并恢复出更多的图像结构和细节，因此，本发明具有较高的实用性和广阔的应用前景。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例中网络训练过程示意图。
图3为本发明实施例中金字塔模块第二、三层示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，包括以下步骤：
步骤S1：将成对的原始噪声图像和无噪声图像进行预处理，得到用于训练的噪声图像块和无噪声图像块组成的成对图像块。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：将成对的原始噪声图像和无噪声图像在同一位置上进行切块，得到多组成对的噪声图像块和无噪声图像块组成的成对图像块；
步骤S12：将得到的各组成对图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的多组成对图像块；其中，每组成对图像块中，噪声图像块作为输入，无噪声图像块作为参考，且每个噪声图像块的噪声幅度设置为其对应的噪声图像的噪声幅度。
步骤S2：选取图像去噪深度网络模型FFDNet，并加载已训练完成的模型参数。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：选取图像去噪深度网络FFDNet；加载FFDNet的已训练完成的模型参数并固定模型参数不变，即训练时不更新模型参数；
步骤S22：对每一个噪声图像块，根据噪声图像块的噪声幅度设置去噪参数σ和σ'，其中σ为噪声图像块的噪声幅度，σ'为σ缩小到其p％得到的噪声幅度；然后得到FFDNet的噪声等级图Mσ和Mσ'用于控制FFDNet网络的去噪强度；其中，每个图像块的噪声等级图Mσ的图像尺寸与对应的图像块一致，且图像中的每个像素值均为σ；每个图像块的噪声等级图Mσ'的图像尺寸与对应的图像块一致，且图像中的每个像素值均为σ'；
步骤S23：对每一个噪声图像块，将噪声幅度为σ的原始噪声图像块分别与步骤S22得到的噪声等级图Mσ和Mσ'进行通道拼接得到Iσ和Iσ'；
步骤S24：将步骤S23得到的Iσ和Iσ'分别输入FFDNet得到两幅初始去噪图像块Dσ和Dσ'。
步骤S3：构建用于生成最终去噪图像的基于U-Net和金字塔模块的图像融合去噪网络。
在本实施例中，构建的基于U-Net和金字塔模块的图像融合去噪网络包含四个部分，分别是编码器部分、融合模块部分、金字塔模块部分和解码器部分；
所述编码器部分含有两个结构相同但参数独立的分支，分别用于提取步骤S24中两幅初始去噪图像Dσ和Dσ'的多尺度特征；每个分支由一个卷积层和两个下采样层组成；其中卷积层中卷积核大小为5x5、步长为1，下采样层包含一个含有卷积核大小为5x5、步长为2的卷积层和一个激活函数；编码器部分将网络的特征划分为3种不同的尺度；
对应编码器部分的第一个分支得到的3种不同尺度特征分别为
Figure BDA0002937193020000071
和
Figure BDA0002937193020000072
编码器部分的第二个分支得到的3种不同尺度特征分别为
Figure BDA0002937193020000073
和
Figure BDA0002937193020000074
所述融合模块部分由n个串联的残差块组成，它的输入为编码器部分得到的特征
Figure BDA0002937193020000075
和
Figure BDA0002937193020000076
经过通道拼接后再进行一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到的特征，输出的特征为Fc。
所述金字塔模块部分将融合模块部分的输出Fc分别与编码器部分的两个分支得到的3种不同尺度特征进行特征融合，过程如下：
金字塔模块第一层：首先，对应融合模块的特征Fc分别与编码器部分的两个分支的宽高维度大小相同的特征
Figure BDA0002937193020000077
和
Figure BDA0002937193020000078
直接进行通道拼接得到
Figure BDA0002937193020000079
和
Figure BDA00029371930200000710
其次，
Figure BDA00029371930200000711
和
Figure BDA00029371930200000712
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure BDA00029371930200000713
和
Figure BDA00029371930200000714
最后，通过逐元素相加操作将
Figure BDA00029371930200000715
和
Figure BDA00029371930200000716
分别与
Figure BDA00029371930200000717
和
Figure BDA00029371930200000718
进行特征相加得到
Figure BDA00029371930200000719
和
Figure BDA00029371930200000720
金字塔模块第二、三层如图3所示。
金字塔模块第二层：首先，将Fc进行一次上采样操作得到与
Figure BDA00029371930200000721
和
Figure BDA00029371930200000722
宽高维度相同的特征
Figure BDA0002937193020000081
其次，分别将
Figure BDA0002937193020000082
与编码器部分的两个分支的宽高维度大小相同的特征
Figure BDA0002937193020000083
和
Figure BDA0002937193020000084
进行通道拼接得到
Figure BDA0002937193020000085
和
Figure BDA0002937193020000086
再次，
Figure BDA0002937193020000087
和
Figure BDA0002937193020000088
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure BDA0002937193020000089
和
Figure BDA00029371930200000810
最后，通过逐元素相加操作将
Figure BDA00029371930200000811
和
Figure BDA00029371930200000812
分别与
Figure BDA00029371930200000813
和
Figure BDA00029371930200000814
进行特征相加得到
Figure BDA00029371930200000815
和
Figure BDA00029371930200000816
特别地，第二层过程中的上采样过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数。
金字塔模块第三层：首先，将
Figure BDA00029371930200000817
先进行一次上采样操作得到与
Figure BDA00029371930200000818
和
Figure BDA00029371930200000819
宽高维度相同的特征
Figure BDA00029371930200000820
其次，分别将
Figure BDA00029371930200000821
与
Figure BDA00029371930200000822
和
Figure BDA00029371930200000823
进行通道拼接得到
Figure BDA00029371930200000824
和
Figure BDA00029371930200000825
再次，
Figure BDA00029371930200000826
和
Figure BDA00029371930200000827
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure BDA00029371930200000828
和
Figure BDA00029371930200000829
最后，通过逐元素相加操作将
Figure BDA00029371930200000830
和
Figure BDA00029371930200000831
分别与
Figure BDA00029371930200000832
和
Figure BDA00029371930200000833
进行特征相加得到
Figure BDA00029371930200000834
和
Figure BDA00029371930200000835
特别地，第三层过程中的上采样过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数。
所述解码器部分由两个上采样层和一个输出卷积层组成，每个上采样层的过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数，输出卷积层是一个卷积核大小为1x1、步长为1的卷积操作；第一层上采样层的输入为融合模块的特征Fc、金字塔模块第一层的特征
Figure BDA00029371930200000836
和
Figure BDA00029371930200000837
经过通道拼接后得到的特征
Figure BDA00029371930200000838
第一层上采样层的输出特征为
Figure BDA00029371930200000839
第二层上采样层的输入为第一次上采样层的输出特征
Figure BDA00029371930200000840
金字塔模块第二层的特征
Figure BDA00029371930200000841
和
Figure BDA00029371930200000842
经过通道拼接后得到的特征
Figure BDA00029371930200000843
第二层上采样层的输出特征为
Figure BDA00029371930200000844
输出卷积层的输入为第二次上采样层的输出特征
Figure BDA00029371930200000845
金字塔模块第三层的特征
Figure BDA00029371930200000846
和
Figure BDA00029371930200000847
经过通道拼接后得到的特征
Figure BDA00029371930200000848
输出卷积层的输出为最终的去噪图像Do搀t。
步骤S4：以批次为单位将成对图像块输入所述FFDNet，并将FFDNet得到的结果输入所述图像融合去噪网络，根据损失函数训练图像融合去噪网络。其训练过程如图2所示。
在本实施例中，所述步骤S4具体包括以下步骤：
步骤S41：将成对的噪声图像块和无噪声图像块随机划分为多个批次，每个批次包含N个噪声图像块和N个无噪声图像块；
步骤S42：以批次为单位，将所述N个噪声图像块根据步骤S22-S24计算得到的初始去噪结果Dσ和Dσ'输入所述图像融合去噪网络，得到网络的最终去噪结果Do搀t；
步骤S43：根据所述图像融合去噪网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数；
其中，所述图像融合去噪网络的目标损失函数计算如下：
Figure BDA0002937193020000091
其中，N表示训练批次大小，
Figure BDA0002937193020000092
为该批次中第i个无噪声图像块，
Figure BDA0002937193020000093
为该批次中第i个噪声图像块对应的步骤S3生成的去噪图像，
Figure BDA0002937193020000094
为计算L2损失。
步骤S44：以批次为单位重复进行步骤S42-S43，直至所述图像融合去噪网络的目标损失函数数值趋于平稳时，保存网络参数，完成网络的训练过程。
步骤S5：将用于测试的原始噪声图像输入所述FFDNet，并将FFDNet得到的结果输入训练好的所述图像融合去噪网络，得到最终的去噪图像。
具体为：针对一幅噪声图像，首先根据步骤S22-S24计算FFDNet得到的两幅初始去噪图像，然后输入训练好的图像融合去噪网络得到最终的去噪图像；
测试过程与训练过程的过程，区别在于：首先，测试的批次大小为1；其次，测试不需要对噪声图像进行如步骤S1的图像切块预处理，而是直接对整幅噪声图像进行处理。
本实施例还提供了一种基于U-Net和金字塔模块的图像融合去噪系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现上述的方法步骤。
本发明提供的基于U-Net和金字塔模块的图像融合去噪方法及系统，使用成组的噪声图像和无噪声图像中的噪声图像作为输入，通过FFDNet得到两幅初始去噪图像，然后将两幅初始去噪图像分别输入两个独立的多尺度编码器以提取两幅初始去噪图像的多尺度特征，再经过融合模块融合两个独立的多尺度特征，通过金字塔模块将融合模块得到的特征分别迭代三次与编码器特征进行融合，得到的特征将输入到解码器中，最后再使用解码器解码输出最终的去噪图像。对比现有图像去噪方法，本发明能有效地融合两幅去噪图像，进一步提升已有图像去噪方法的去噪性能并且保留更多的图像细节。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，包括以下步骤：
步骤S1：将成对的原始噪声图像和无噪声图像进行预处理，得到用于训练的噪声图像块和无噪声图像块组成的成对图像块；
步骤S2：选取图像去噪深度网络FFDNet，并加载已训练完成的网络参数；
步骤S3：构建用于生成最终的去噪图像的基于U-Net和金字塔模块的图像融合去噪网络；
步骤S4：以批次为单位将成对图像块输入所述FFDNet，并将FFDNet得到的结果输入所述图像融合去噪网络，根据损失函数训练图像融合去噪网络；
步骤S5：将用于测试的原始噪声图像输入所述FFDNet，并将FFDNet得到的结果输入训练好的所述图像融合去噪网络，得到最终的去噪图像；
所述步骤S2具体包括以下步骤：
步骤S21：选取图像去噪深度网络FFDNet；加载FFDNet的已训练完成的网络参数并固定网络参数不变，即训练时不更新网络参数；
步骤S22：对每一个噪声图像块，根据噪声图像块的噪声幅度设置去噪参数σ和σ'，其中σ为噪声图像块的噪声幅度，σ'为σ缩小到其p％得到的噪声幅度；然后得到FFDNet的噪声等级图Mσ和Mσ'用于控制FFDNet网络的去噪强度；其中，每个噪声图像块的噪声等级图Mσ的图像尺寸与对应的噪声图像块一致，且图像中的每个像素值均为σ；每个噪声图像块的噪声等级图Mσ'的图像尺寸与对应的噪声图像块一致，且图像中的每个像素值均为σ'；
步骤S23：对每一个噪声图像块，将噪声幅度为σ的原始噪声图像块分别与步骤S22得到的噪声等级图Mσ和Mσ'进行通道拼接得到Iσ和Iσ'；
步骤S24：将步骤S23得到的Iσ和Iσ'分别输入FFDNet得到两幅初始去噪图像Dσ和Dσ'；
所述步骤S3中，构建的基于U-Net和金字塔模块的图像融合去噪网络包含四个部分，分别是编码器部分、融合模块部分、金字塔模块部分和解码器部分；
所述编码器部分含有两个结构相同但参数独立的分支，分别用于提取步骤S24中两幅初始去噪图像Dσ和Dσ'的多尺度特征；每个分支由一个卷积层和两个下采样层组成；其中卷积层中卷积核大小为5x5、步长为1，下采样层包含一个含有卷积核大小为5x5、步长为2的卷积层和一个激活函数；编码器部分将网络的特征划分为3种不同的尺度；
对应编码器部分的第一个分支得到的3种不同尺度特征分别为
Figure FDA0003619572960000021
和
Figure FDA0003619572960000022
编码器部分的第二个分支得到的3种不同尺度特征分别为
Figure FDA0003619572960000023
和
Figure FDA0003619572960000024
所述融合模块部分由n个串联的残差块组成，它的输入为编码器部分得到的特征
Figure FDA0003619572960000025
和
Figure FDA0003619572960000026
经过通道拼接后再进行一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到的特征，输出的特征为Fc；
所述金字塔模块部分将融合模块部分的输出的特征Fc分别与编码器部分的两个分支得到的3种不同尺度特征进行特征融合，过程如下：
金字塔模块第一层：首先，对应融合模块的输出的特征Fc分别与编码器部分的两个分支的宽高维度大小相同的特征
Figure FDA0003619572960000027
和
Figure FDA0003619572960000028
直接进行通道拼接得到
Figure FDA0003619572960000029
和
Figure FDA00036195729600000210
其次，
Figure FDA00036195729600000211
和
Figure FDA00036195729600000212
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure FDA00036195729600000213
和
Figure FDA00036195729600000214
最后，通过逐元素相加操作将
Figure FDA00036195729600000215
和
Figure FDA00036195729600000216
分别与
Figure FDA00036195729600000217
和
Figure FDA00036195729600000218
进行特征相加得到
Figure FDA00036195729600000219
和
Figure FDA00036195729600000220
金字塔模块第二层：首先，将Fc进行一次上采样操作得到与
Figure FDA00036195729600000221
和
Figure FDA00036195729600000222
宽高维度相同的特征
Figure FDA00036195729600000223
其次，分别将
Figure FDA00036195729600000224
与编码器部分的两个分支的宽高维度大小相同的特征
Figure FDA00036195729600000225
和
Figure FDA00036195729600000226
进行通道拼接得到
Figure FDA00036195729600000227
和
Figure FDA00036195729600000228
再次，
Figure FDA00036195729600000229
和
Figure FDA00036195729600000230
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure FDA00036195729600000231
和
Figure FDA00036195729600000232
最后，通过逐元素相加操作将
Figure FDA00036195729600000233
和
Figure FDA00036195729600000234
分别与
Figure FDA00036195729600000235
和
Figure FDA00036195729600000236
进行特征相加得到
Figure FDA00036195729600000237
和
Figure FDA00036195729600000238
特别地，第二层过程中的上采样过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数；
金字塔模块第三层：首先，将
Figure FDA00036195729600000239
先进行一次上采样操作得到与
Figure FDA00036195729600000240
和
Figure FDA00036195729600000241
宽高维度相同的特征
Figure FDA00036195729600000242
其次，分别将
Figure FDA00036195729600000243
与
Figure FDA00036195729600000244
和
Figure FDA00036195729600000245
进行通道拼接得到
Figure FDA00036195729600000246
和
Figure FDA00036195729600000247
再次，
Figure FDA00036195729600000248
和
Figure FDA00036195729600000249
分别经过两个卷积核大小为3x3、步长为1的卷积层和一个卷积核大小为1x1、步长为1的卷积层进行通道数缩减后得到
Figure FDA00036195729600000250
和
Figure FDA00036195729600000251
最后，通过逐元素相加操作将
Figure FDA00036195729600000252
和
Figure FDA00036195729600000253
分别与
Figure FDA00036195729600000254
和
Figure FDA00036195729600000255
进行特征相加得到
Figure FDA00036195729600000256
和
Figure FDA00036195729600000257
特别地，第三层过程中的上采样过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数；
所述解码器部分由两个上采样层和一个输出卷积层组成，每个上采样层的过程包含一次最近邻插值操作、一个卷积核大小为3x3，步长为1的卷积和一个ReLU激活函数，输出卷积层是一个卷积核大小为1x1、步长为1的卷积操作；第一层上采样层的输入为融合模块输出的特征Fc、金字塔模块第一层的特征
Figure FDA0003619572960000031
和
Figure FDA0003619572960000032
经过通道拼接后得到的特征
Figure FDA0003619572960000033
第一层上采样层的输出特征为
Figure FDA0003619572960000034
第二层上采样层的输入为第一次上采样层的输出特征
Figure FDA0003619572960000035
金字塔模块第二层的特征
Figure FDA0003619572960000036
和
Figure FDA0003619572960000037
经过通道拼接后得到的特征
Figure FDA0003619572960000038
第二层上采样层的输出特征为
Figure FDA0003619572960000039
输出卷积层的输入为第二次上采样层的输出特征
Figure FDA00036195729600000310
金字塔模块第三层的特征
Figure FDA00036195729600000311
和
Figure FDA00036195729600000312
经过通道拼接后得到的特征
Figure FDA00036195729600000313
输出卷积层的输出为最终的去噪图像Dout。
2.根据权利要求1所述的基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S11：将成对的原始噪声图像和无噪声图像在同一位置上进行切块，得到多组成对的噪声图像块和无噪声图像块组成的成对图像块；
步骤S12：将得到的各组成对图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的多组成对图像块；其中，每组成对图像块中，噪声图像块作为输入，无噪声图像块作为参考，且每个噪声图像块的噪声幅度设置为其对应的噪声图像块的噪声幅度。
3.根据权利要求1所述的基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S41：将成对的噪声图像块和无噪声图像块随机划分为多个批次，每个批次包含N个噪声图像块和N个无噪声图像块；
步骤S42：以批次为单位，将所述N个噪声图像块根据步骤S22-S24计算得到的初始去噪图像Dσ和Dσ'输入所述图像融合去噪网络，得到网络的最终的去噪图像Dout；
步骤S43：根据所述图像融合去噪网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数；
步骤S44：以批次为单位重复进行步骤S42-S43，直至所述图像融合去噪网络的目标损失函数数值趋于平稳时，保存网络参数，完成网络的训练过程。
4.根据权利要求3所述的基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，所述步骤S43中，所述图像融合去噪网络的目标损失函数计算如下：
Figure FDA0003619572960000041
其中，N表示训练批次大小，
Figure FDA0003619572960000042
为该批次中第i个无噪声图像块，
Figure FDA0003619572960000043
为该批次中第i个噪声图像块对应的步骤S3生成的最终的去噪图像，
Figure FDA0003619572960000044
为计算L2损失。
5.根据权利要求4所述的基于U-Net和金字塔模块的图像融合去噪方法，其特征在于，所述步骤S5中，针对一幅噪声图像，首先根据步骤S22-S24计算FFDNet得到的两幅初始去噪图像，然后输入训练好的图像融合去噪网络得到最终的去噪图像；
测试过程与训练过程的过程，区别在于：首先，测试的批次大小为1；其次，测试不需要对噪声图像进行如步骤S1的图像切块预处理，而是直接对整幅噪声图像进行处理。
6.一种基于U-Net和金字塔模块的图像融合去噪系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-5任一项所述的方法步骤。
CN202110162762.1A 2021-02-05 2021-02-05 基于U-Net和金字塔模块的图像融合去噪方法及系统 Active CN112801909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110162762.1A CN112801909B (zh) 2021-02-05 2021-02-05 基于U-Net和金字塔模块的图像融合去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110162762.1A CN112801909B (zh) 2021-02-05 2021-02-05 基于U-Net和金字塔模块的图像融合去噪方法及系统

Publications (2)

Publication Number Publication Date
CN112801909A CN112801909A (zh) 2021-05-14
CN112801909B true CN112801909B (zh) 2022-06-14

Family

ID=75814513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110162762.1A Active CN112801909B (zh) 2021-02-05 2021-02-05 基于U-Net和金字塔模块的图像融合去噪方法及系统

Country Status (1)

Country Link
CN (1) CN112801909B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034972B (zh) * 2021-12-24 2023-04-07 广东东软学院 图像去噪方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145123A (zh) * 2019-12-27 2020-05-12 福州大学 基于U-Net融合保留细节的图像去噪方法
CN111598761A (zh) * 2020-04-17 2020-08-28 中山大学 一种基于图像降噪的抗打印拍摄图像数字水印方法
WO2020219915A1 (en) * 2019-04-24 2020-10-29 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks
CN112132813A (zh) * 2020-09-24 2020-12-25 中国医学科学院生物医学工程研究所 基于改进的UNet网络模型的皮肤超声影像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856150B2 (en) * 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020219915A1 (en) * 2019-04-24 2020-10-29 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks
CN111145123A (zh) * 2019-12-27 2020-05-12 福州大学 基于U-Net融合保留细节的图像去噪方法
CN111598761A (zh) * 2020-04-17 2020-08-28 中山大学 一种基于图像降噪的抗打印拍摄图像数字水印方法
CN112132813A (zh) * 2020-09-24 2020-12-25 中国医学科学院生物医学工程研究所 基于改进的UNet网络模型的皮肤超声影像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Objects Segmentation From High-Resolution Aerial Images Using U-Net With Pyramid Pooling Layers;Jun Hee Kim et al.;《IEEE Geoscience and Remote Sensing Letters》;20190131;第16卷(第1期);全文 *
基于深度学习的图像分割;崔志鹏;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200115(第01期);全文 *

Also Published As

Publication number Publication date
CN112801909A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: a fast and lightweight network for single-image super resolution
CN108205803B (zh) 图像处理方法、神经网络模型的训练方法及装置
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
Zhang et al. Image super-resolution reconstruction based on sparse representation and deep learning
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN112801906B (zh) 基于循环神经网络的循环迭代图像去噪方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN111986075A (zh) 一种目标边缘清晰化的风格迁移方法
Chen et al. Persistent memory residual network for single image super resolution
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN112801909B (zh) 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN116777764A (zh) 一种基于扩散模型的光学遥感图像去云雾方法及系统
Le et al. LD-Net: An efficient lightweight denoising model based on convolutional neural network
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
Liu et al. Facial image inpainting using multi-level generative network
CN114882524A (zh) 一种基于全卷积神经网络的单目三维手势估计方法
Chen et al. Attention-based Broad Self-guided Network for Low-light Image Enhancement
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN113781343A (zh) 一种超分辨率图像质量提升方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN114299204B (zh) 三维动漫人物模型生成方法及装置
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
CN115170812A (zh) 图像去噪模型训练、降噪方法及其设备、存储介质
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
CN110706167B (zh) 一种遥感图像待修复区域的精细补全处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant