CN114494048B - 一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法 - Google Patents

一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法 Download PDF

Info

Publication number
CN114494048B
CN114494048B CN202210024531.9A CN202210024531A CN114494048B CN 114494048 B CN114494048 B CN 114494048B CN 202210024531 A CN202210024531 A CN 202210024531A CN 114494048 B CN114494048 B CN 114494048B
Authority
CN
China
Prior art keywords
feature
distorted
image
sample
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210024531.9A
Other languages
English (en)
Other versions
CN114494048A (zh
Inventor
傅博
董宇涵
张天壮
孙雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN202210024531.9A priority Critical patent/CN114494048B/zh
Publication of CN114494048A publication Critical patent/CN114494048A/zh
Application granted granted Critical
Publication of CN114494048B publication Critical patent/CN114494048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法，构建的网络模型由三个阶段组成，利用编码‑解码器体系结构学习上下文特征，并将相邻的两个阶段进行组合，实现早期阶段和晚期阶段之间的信息交换。每个阶段引入逐像素自适应设计，在特征处理块之间增加水平连接，避免信息丢失；此外，采用双池化通道注意块来推断更精细的通道注意，提高网络的表示能力，然后为模型设置正类和负类，构造适当的对比学习损失函数，从而在特征空间中进一步修正输出，能够同时去除图像中的噪声并恢复原本模糊的细节。

Description

一种基于有监督对比学习的多阶段渐进式混合失真图像复原 方法
技术领域
本发明方法涉及一种失真图像复原方法，尤其是一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法。
背景技术
在图像采集和传输过程中，原始图像通常会受到采集设备引起的各种失真的污染，如图像噪声、伪影或模糊等。图像噪声是由于异常干扰信号而降低图像的信噪比，影响图像的密度分辨率，使图像呈现斑驳、颗粒状、纹理状或雪花状等各种视觉现象；伪影或模糊是由于设备与所拍摄物体之间的相对运动而产生的，包括拍摄时物体或人体的运动。尤其是对于那些需要使用高精度仪器进行拍摄的生物图像来说，操作不当或者设备不佳都十分容易导致图像失真，使一些组织边界或精细结构难以识别，大大降低图像质量，从而影响研究，故需要对此类图像进行复原。目前，图像复原技术已应用于包括医学图像处理、卫星图像处理、生物研究等许多领域。传统的图像复原方法包括非局部均值、字典学习等，在图像去噪、图像超分辨率、图像去模糊等单一失真图像恢复任务中取得了良好的效果。而后，随着深度学习的迅猛发展，许多基于神经网络的方法也在各种图像恢复任务中都取得了良好的效果。比如使用卷积神经网络（CNN）进行图像超分辨率重建，使用改进的U-Net学习低分辨率和高分辨率图像之间的端到端映射，在超分辨率和去噪任务中都是有效的。或是使用生成对抗网络（GAN），通过解纠缠表示和对抗域自适应从噪声数据中学习不变表示，同样也取得了良好的性能。然而，这些方法需要在不同的失真图像中进行训练，一次只能去除一种特定的失真，对于包含混合失真的图像来说，复原效果欠佳。另外，现有图像复原方法往往使用自然图像进行训练和测试，因此更适用于自然图像的复原，而对于结构、颜色、风格上与自然图像大相径庭的生物图像来说，复原效果欠佳。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法。
本发明的技术解决方案是：一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法，是将待复原的图像输入网络模型中完成图像复原，所述网络模型依次按照如下步骤建立：
步骤1：制作训练集
步骤1.1：取M张SIDD数据集GT图像，每张图像记为GT_Img1，GT_Img2，...，GT_ImgM；
步骤1.2：将图像GT_Img1，GT_Img2，...，GT_ImgM分别切成50个分辨率大小为256×256的图像块作为清晰图像块并保留，每个清晰图像块分别记为GT_Block1，GT_Block2，...，GT_BlockN，再取一份与清晰图像块相同图像快，每个图像块依次对应记为Preprocess_Block1，Preprocess_Block2，...，Preprocess_BlockN；
步骤1.3：向图像块Preprocess_Block1，Preprocess_Block2，...，Preprocess_BlockN中分别加入角度θ为10，长度l为10的运动模糊，记为Blur_Block1，Blur_Block2，...，Blur_BlockN；
步骤1.4：向图像块Blur_Block1，Blur_Block2，...，Blur_BlockN中分别加入sigma值为25的高斯噪声，记为失真图像块Distorted_Block1，Distorted_Block2，...，Distorted_BlockN；
步骤1.5：选取N个清晰图像块和N个失真图像块并按顺序对应为清晰图像和失真图像对，记为，作为训练集；
步骤2：训练网络
步骤2.1：将训练集，输进网络；
步骤2.2：约定清晰图像块为干净样本，失真图像块为失真样本/>；
步骤2.3：将失真样本送入模型的第一阶段/>；
步骤2.3.1：首先将失真样本沿两个邻边的中线，平均切为四块，四个失真样本块分别记为Distorted_TL，Distorted_TR，Distorted_BL，Distorted_BR；
步骤2.3.2：将四个失真样本块送入一个1×1卷积和双池化通道注意力块，即先经过一个1×1卷积 + ReLU激活函数 + 1×1卷积的组合，然后通过一个并行的平均池化层和最大池化层，再经过一个1×1卷积+ ReLU 激活函数+ 1×1卷积的组合，提取出浅层特征，记为Feature_shallowTL，Feature_shallowTR，Feature_shallowBL，Feature_shallowBR；
步骤2.3.3：将四个浅层特征送入一个编解码器结构中，所述编解码器结构的编码器和解码器分别由3个不同尺度的双池化注意力块组成，不同尺度之间的上下采样操作是通过双线性插值加卷积来完成的，前两个尺度间还存在跳跃连接；具体操作是首先将四个浅层特征送入编码器输出特征，记为Feature_EncoderTL，Feature_EncoderTR，Feature_EncoderBL，Feature_EncoderBR，然后将四个特征合并为两个，记为Feature_EncoderTop和Feature_EncoderBottom，再送入解码器，输出包含上下文信息的特征，记为Feature_ContextTop，Feature_ContextBottom；将编码器和解码器输出的特征分别送入一个1×1卷积，并进行一个合并操作得到输出特征Feature_UnetTop和Feature_UnetBottom；
步骤2.3.4：将输出特征Feature_UnetTop和Feature_UnetBottom送入一个监督注意模块中，该模块首先通过1×1卷积生成残差图像Res_Top和Res_Bottom；然后将输入的四个失真样本块同样合并为两个，记为Distorted_Top和Distorted_Bottom，将它们添加到残差图像块中，得到复原图像块Restored_Top和Restored_Bottom；
步骤2.3.5：对复原图像块Restored_Top和Restored_Bottom进行1×1卷积，通过Sigmoid函数激活生成注意掩码Mask_Top和Mask_Bottom；然后将其与输入特征Feature_ContextTop和Feature_ContextBottom相结合，生成注意增强特征Feature_Top和Feature_Bottom；
步骤2.4：将失真样本送入模型的第二阶段/>；
步骤2.4.1：将失真样本平均切成上下两块，两个失真样本块分别记为Distorted_Top，Distorted_Bottom；
步骤2.4.2：将两个失真样本块送入与步骤2.3.2相同的结构中，提取出浅层特征，记为Feature_shallowTop，Feature_shallowBottom；
步骤2.4.3：将浅层特征Feature_shallowTop和Feature_shallowBottom，与上一阶段监督注意模块输出的注意增强特征Feature_Top和Feature_Bottom，以及上一阶段输出的编解码器特征Feature_UnetTop和Feature_UnetBottom在特征空间上进行一步加和操作，得到结合后的特征，记为Feature_ConcatTop和Feature_ConcatBottom；
步骤2.4.4：接着将特征Feature_ConcatTop和Feature_ConcatBottom送入与2.3.3相同的编解码器结构中，首先送入编码器输出特征，记为Feature_EncTop和Feature_EncBottom，然后将特征块从两个合并为一个，记为Feature_Whole，再送入解码器，输出包含上下文信息的特征，记为Feature_ContextWhole；将编码器和解码器输出的特征分别送入一个1×1卷积，并进行一个合并操作得到输出特征Feature_UnetWhole；
步骤2.4.5：接着将输出特征Feature_UnetWhole送入与步骤2.3.4相同的监督注意模块中，生成残差图像Res_Whole；然后将输入的两个失真样本块同样合并为一个，记为Distorted_Whole，将它们添加到残差图像块中，得到复原图像块Restored_Whole；
步骤2.4.6：对复原图像块Restored_Whole进行1×1卷积，通过Sigmoid函数激活生成注意掩码Mask_Whole；然后将其与输入特征Feature_ContextWhole相结合，生成注意增强特征Feature_Whole；
步骤2.5：将失真样本送入模型的第三阶段/>；
步骤2.5.1：将全分辨率的样本块记为Distorted_Full，送入与步骤2.3.2相同的结构中，提取出浅层特征，记为Feature_Full；
步骤2.5.2：将浅层特征Feature_Full，与上一阶段监督注意模块输出的注意增强特征Feature_Whole，以及上一阶段输出的编解码器特征Feature_UnetWhole在特征空间上进行一步加和操作，得到结合后的特征，记为Feature_ConcatFull；
步骤2.5.3：将合并后的特征送入一个原始分辨率网络中，该网络由多个原始分辨率模块串联而成，其中每个模块又是分别由多个双池化注意力模块加上一个1×1卷积层串联而成的，经过该原始分辨率网络后，输出特征Feature_OriginalNet，然后再经由一个1×1卷积，输出残差图像Res_Full；
步骤2.5.3：将残差图像Res_Full与该阶段输入的全分辨率的样本块Distorted_Full合并，输出全分辨率的复原图像，记为Restored_Full；
步骤3：求取损失函数值并确定网络模型
步骤3.1：为每一阶段的输出复原图像与干净样本添加端到端优化损失及拉普拉斯边缘损失/>；加入对比学习损失/>，对干净样本、失真样本以及复原图像进行特征空间上的约束；
步骤3.2：计算总损失函数值Loss；若epoch达到规定的次数，则网络停止训练，保存最后一轮epoch得到的训练模型为网络模型；否则再一次进入步骤2，循环重复训练。
本发明通过一个多阶段渐进式的网络结构来逐步学习图像中包含的失真模型并进行恢复。模型由三个阶段组成，利用编码-解码器体系结构来学习上下文特征，并将相邻的两个阶段进行组合，实现早期阶段和晚期阶段之间的信息交换。每个阶段引入逐像素自适应设计，在特征处理块之间增加水平连接，避免信息丢失。此外，采用双池化通道注意块来推断更精细的通道注意，提高网络的表示能力。然后为模型设置正类和负类，构造适当的对比学习损失函数，从而在特征空间中进一步修正输出。该方法能够同时去除图像中的噪声，并恢复原本模糊的细节，从而更好地对包含混合失真的真实图像进行复原。
附图说明
图1是本发明实施例用于真实生物混合失真图像的复原结果示意图。
图2和图3是本发明实施例用于合成混合失真自然图像的复原结果示意图。
具体实施方式
本发明的技术解决方案是：一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法，是将待复原的图像输入网络模型中完成图像复原，所述网络模型依次按照如下步骤建立：
步骤1：制作训练集和测试集
步骤1.1：取M张SIDD数据集GT图像，每张图像记为GT1_Img1，GT1_Img2，...，GT1_ImgM；取X=50张用于验证的DIV2K自然图像为参考图像，每张图像记为GT2_Img1，GT2_Img2，...，GT2_ImgX；
步骤1.2：将图像GT1_Img1，GT1_Img2，...，GT1_ImgM分别切成50个分辨率大小为256×256的图像块作为清晰图像块，每个图像块记为GT1_Block1，GT1_Block2，...，GT1_BlockN，并保留，再取一份与GT1_Block1，GT1_Block2，...，GT1_BlockN相同的图像快，每个图像块对应记为Preprocess1_Block1，Preprocess1_Block2，...，Preprocess1_BlockN；将图像GT2_Img1，GT2_Img2，...，GT2_ImgX分别切成12个分辨率大小为256×256的图像块作为清晰图像块，每个图像块记为Preprocess2_Block1，Preprocess2_Block2，...，Preprocess2_BlockY；取A=1280个用于验证的SIDD自然图像块为参考图像，每个图像块记为Preprocess3_Block1，Preprocess3_Block2，...，Preprocess3_BlockA，与Preprocess1_Block1，Preprocess1_Block2，...，Preprocess1_BlockN合并，每个图像块记为Preprocess_Block1，Preprocess_Block2，...，Preprocess_BlockN+A；
步骤1.3：向图像块Preprocess_Block1，Preprocess_Block2，...，Preprocess_BlockN+A和Preprocess2_Block1，Preprocess2_Block2，...，Preprocess2_BlockY中分别加入角度θ为10，长度l为10的运动模糊，记为Blur_Block1，Blur_Block2，...，Blur_BlockN+A和Blur2_Block1，Blur2_Block2，...，Blur2_BlockY；
步骤1.4：向图像块Blur_Block1，Blur_Block2，...，Blur_BlockN+A和图像块Blur2_Block1，Blur2_Block2，...，Blur2_BlockY中分别加入sigma值为25的高斯噪声，记为失真图像块Distorted_Block1，Distorted_Block2，...，Distorted_BlockN+A和Distorted2_Block1，Distorted2_Block2，...，Distorted2_BlockY；
步骤1.5：选取N个清晰图像块和N个失真图像块并按顺序对应为清晰图像和失真图像对，记为，作为训练集； Y+A张失真图像块为测试集；
步骤2：训练网络
步骤2.1：将训练集，输进网络；
步骤2.2：约定清晰图像块为干净样本，失真图像块为失真样本/>；
步骤2.3：将失真样本送入模型的第一阶段/>；
步骤2.3.1：首先将失真样本沿两个邻边的中线，平均切为四块，四个失真样本块分别记为Distorted_TL，Distorted_TR，Distorted_BL，Distorted_BR；
步骤2.3.2：将四个失真样本块送入一个1×1卷积和双池化通道注意力块，即先经过一个1×1卷积 + ReLU激活函数 + 1×1卷积的组合，然后通过一个并行的平均池化层和最大池化层，再经过一个1×1卷积+ ReLU 激活函数+ 1×1卷积的组合，提取出浅层特征，记为Feature_shallowTL，Feature_shallowTR，Feature_shallowBL，Feature_shallowBR；
步骤2.3.3：将四个浅层特征送入一个编解码器结构中，所述编解码器结构的编码器和解码器分别由3个不同尺度的双池化注意力块组成，不同尺度之间的上下采样操作是通过双线性插值加卷积来完成的，前两个尺度间还存在跳跃连接；具体操作是首先将四个浅层特征送入编码器输出特征，记为Feature_EncoderTL，Feature_EncoderTR，Feature_EncoderBL，Feature_EncoderBR，然后完成一个合并操作，将四个编码器输出特征合并为两个，记为Feature_EncoderTop和Feature_EncoderBottom，再送入解码器，输出包含上下文信息的特征，记为Feature_ContextTop，Feature_ContextBottom；将编码器和解码器输出的特征分别送入一个1×1卷积，并进行一个合并操作得到输出特征Feature_UnetTop和Feature_UnetBottom；
步骤2.3.4：将输出特征Feature_UnetTop和Feature_UnetBottom送入一个监督注意模块中，首先通过1×1卷积生成残差图像Res_Top和Res_Bottom；然后将输入的四个失真样本块同样合并为两个，记为Distorted_Top和Distorted_Bottom，将它们添加到残差图像块中，得到复原图像块Restored_Top和Restored_Bottom；
步骤2.3.5：对复原图像块Restored_Top和Restored_Bottom进行1×1卷积，通过Sigmoid函数激活生成注意掩码Mask_Top和Mask_Bottom；然后将其与输入特征Feature_ContextTop和Feature_ContextBottom相结合，生成注意增强特征Feature_Top和Feature_Bottom；
步骤2.4：将失真样本送入模型的第二阶段/>；
步骤2.4.1：将失真样本平均切成上下两块，两块失真样本块分别记为Distorted_Top，Distorted_Bottom；
步骤2.4.2：将切割后的两个失真样本块送入与步骤2.3.2相同的结构中，提取出浅层特征，记为Feature_shallowTop，Feature_shallowBottom；
步骤2.4.3：将浅层特征Feature_shallowTop和Feature_shallowBottom，与上一阶段监督注意模块输出的注意增强特征Feature_Top和Feature_Bottom，以及上一阶段输出的编解码器特征Feature_UnetTop和Feature_UnetBottom在特征空间上进行一步加和操作，得到结合后的特征，记为Feature_ConcatTop和Feature_ConcatBottom；
步骤2.4.4：将两个特征Feature_ConcatTop和Feature_ConcatBottom送入与2.3.3相同的编解码器结构中，首先送入编码器输出特征，记为Feature_EncTop和Feature_EncBottom，然后完成一个合并操作，将特征块从两个合并为一个，记为Feature_Whole，再送入解码器，输出包含上下文信息的特征，记为Feature_ContextWhole；将编码器和解码器输出的特征分别送入一个1×1卷积，并进行一个合并操作得到输出特征Feature_UnetWhole；
步骤2.4.5：将输出特征Feature_UnetWhole送入与步骤2.3.4相同的监督注意模块中，生成残差图像Res_Whole；然后将输入的两个失真样本块同样合并为一个，记为Distorted_Whole，将它们添加到残差图像块中，得到复原图像块Restored_Whole；
步骤2.4.6：对复原图像块Restored_Whole进行1×1卷积，通过Sigmoid函数激活生成注意掩码Mask_Whole；然后将其与输入特征Feature_ContextWhole相结合，生成注意增强特征Feature_Whole；
步骤2.5：将失真样本送入模型的第三阶段/>；
步骤2.5.1：将全分辨率的样本块记为Distorted_Full，送入与步骤2.3.2相同的结构中，提取出浅层特征，记为Feature_Full；
步骤2.5.2：将浅层特征Feature_Full，与上一阶段监督注意模块输出的注意增强特征Feature_Whole，以及上一阶段输出的编解码器特征Feature_UnetWhole在特征空间上进行一步加和操作，得到结合后的特征，记为Feature_ConcatFull；
步骤2.5.3：将合并后的特征送入一个原始分辨率网络中，该网络由多个原始分辨率模块串联而成，其中每个模块又是分别由多个双池化注意力模块加上一个1×1卷积层串联而成的，经过该原始分辨率网络后，输出特征Feature_OriginalNet，然后再经由一个1×1卷积，输出残差图像Res_Full；
步骤2.5.3：将残差图像Res_Full与该阶段输入的全分辨率的样本块Distorted_Full合并，输出全分辨率的复原图像，记为Restored_Full；
步骤3：求取损失函数值并确定网络模型
步骤3.1：为每一阶段的输出复原图像与干净样本添加端到端优化损失及拉普拉斯边缘损失/>；加入对比学习损失/>，对干净样本、失真样本以及复原图像进行特征空间上的约束；
步骤3.2：计算总损失函数值Loss；若epoch达到规定的80次，则网络停止训练，保存最后一轮epoch得到的训练模型model_latest.pth为网络模型；否则再一次进入步骤2，循环重复训练；
实验：
按照本发明实施例建立的网络模型对来自互联网下载的30张包含混合失真的真实血液细胞医疗图像进行复原，其中一幅血细胞图像的复原结果如图1所示。
测试集中1280（Y）个失真图像块按照本发明实施例建立的网络模型进行复原，结果如图2所示。
测试集中的600 （X=50）个失真图像块按照本发明实施例建立的网络模型进行复原，结果如图3所示。
计算合成自然混合失真图像的PSNR&SSIM值并与其他方法的复原结果进行对比，结果下表所示。
结果表明：本发明对于真实生物混合失真图像以及合成自然混合失真图像的复原都有着显著的效果，能够同时去除图像中的噪声并恢复原本模糊的细节。

Claims (1)

1.一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法，是将待复原的图像输入网络模型中完成图像复原，其特征在于所述网络模型依次按照如下步骤建立：
步骤1：制作训练集
步骤1.1：取M张SIDD数据集GT图像，每张图像记为GT_Img1，GT_Img2，...，GT_ImgM；
步骤1.2：将图像GT_Img1，GT_Img2，...，GT_ImgM分别切成50个分辨率大小为256×256的图像块作为清晰图像块并保留，每个清晰图像块分别记为GT_Block1，GT_Block2，...，GT_BlockN，再取一份与清晰图像块相同图像快，每个图像块依次对应记为Preprocess_Block1，Preprocess_Block2，...，Preprocess_BlockN；
步骤1.3：向图像块Preprocess_Block1，Preprocess_Block2，...，Preprocess_BlockN中分别加入角度θ为10，长度l为10的运动模糊，记为Blur_Block1，Blur_Block2，...，Blur_BlockN；
步骤1.4：向图像块Blur_Block1，Blur_Block2，...，Blur_BlockN中分别加入sigma值为25的高斯噪声，记为失真图像块Distorted_Block1，Distorted_Block2，...，Distorted_BlockN；
步骤1.5：选取N个清晰图像块和N个失真图像块并按顺序对应为清晰图像和失真图像对，记为，作为训练集；
步骤2：训练网络
步骤2.1：将训练集，输进网络；
步骤2.2：约定清晰图像块为干净样本，失真图像块为失真样本/>；
步骤2.3：将失真样本送入模型的第一阶段/>；
步骤2.3.1：首先将失真样本沿两个邻边的中线，平均切为四块，四个失真样本块分别记为Distorted_TL，Distorted_TR，Distorted_BL，Distorted_BR；
步骤2.3.2：将四个失真样本块送入一个1×1卷积和双池化通道注意力块，即先经过一个1×1卷积 + ReLU激活函数 + 1×1卷积的组合，然后通过一个并行的平均池化层和最大池化层，再经过一个1×1卷积+ ReLU 激活函数+ 1×1卷积的组合，提取出浅层特征，记为Feature_shallowTL，Feature_shallowTR，Feature_shallowBL，Feature_shallowBR；
步骤2.3.3：将四个浅层特征送入一个编解码器结构中，所述编解码器结构的编码器和解码器分别由3个不同尺度的双池化注意力块组成，不同尺度之间的上下采样操作是通过双线性插值加卷积来完成的，前两个尺度间还存在跳跃连接；具体操作是首先将四个浅层特征送入编码器输出特征，记为Feature_EncoderTL，Feature_EncoderTR，Feature_EncoderBL，Feature_EncoderBR，然后将四个特征合并为两个，记为Feature_EncoderTop和Feature_EncoderBottom，再送入解码器，输出包含上下文信息的特征，记为Feature_ContextTop，Feature_ContextBottom；将编码器和解码器输出的特征分别送入一个1×1卷积，并进行一个合并操作得到输出特征Feature_UnetTop和Feature_UnetBottom；
步骤2.3.4：将输出特征Feature_UnetTop和Feature_UnetBottom送入一个监督注意模块中，该模块首先通过1×1卷积生成残差图像Res_Top和Res_Bottom；然后将输入的四个失真样本块同样合并为两个，记为Distorted_Top和Distorted_Bottom，将它们添加到残差图像块中，得到复原图像块Restored_Top和Restored_Bottom；
步骤2.3.5：对复原图像块Restored_Top和Restored_Bottom进行1×1卷积，通过Sigmoid函数激活生成注意掩码Mask_Top和Mask_Bottom；然后将其与输入特征Feature_ContextTop和Feature_ContextBottom相结合，生成注意增强特征Feature_Top和Feature_Bottom；
步骤2.4：将失真样本送入模型的第二阶段/>；
步骤2.4.1：将失真样本平均切成上下两块，两个失真样本块分别记为Distorted_Top，Distorted_Bottom；
步骤2.4.2：将两个失真样本块送入与步骤2.3.2相同的结构中，提取出浅层特征，记为Feature_shallowTop，Feature_shallowBottom；
步骤2.4.3：将浅层特征Feature_shallowTop和Feature_shallowBottom，与上一阶段监督注意模块输出的注意增强特征Feature_Top和Feature_Bottom，以及上一阶段输出的编解码器特征Feature_UnetTop和Feature_UnetBottom在特征空间上进行一步加和操作，得到结合后的特征，记为Feature_ConcatTop和Feature_ConcatBottom；
步骤2.4.4：接着将特征Feature_ConcatTop和Feature_ConcatBottom送入与2.3.3相同的编解码器结构中，首先送入编码器输出特征，记为Feature_EncTop和Feature_EncBottom，然后将特征块从两个合并为一个，记为Feature_Whole，再送入解码器，输出包含上下文信息的特征，记为Feature_ContextWhole；将编码器和解码器输出的特征分别送入一个1×1卷积，并进行一个合并操作得到输出特征Feature_UnetWhole；
步骤2.4.5：接着将输出特征Feature_UnetWhole送入与步骤2.3.4相同的监督注意模块中，生成残差图像Res_Whole；然后将输入的两个失真样本块同样合并为一个，记为Distorted_Whole，将它们添加到残差图像块中，得到复原图像块Restored_Whole；
步骤2.4.6：对复原图像块Restored_Whole进行1×1卷积，通过Sigmoid函数激活生成注意掩码Mask_Whole；然后将其与输入特征Feature_ContextWhole相结合，生成注意增强特征Feature_Whole；
步骤2.5：将失真样本送入模型的第三阶段/>；
步骤2.5.1：将全分辨率的样本块记为Distorted_Full，送入与步骤2.3.2相同的结构中，提取出浅层特征，记为Feature_Full；
步骤2.5.2：将浅层特征Feature_Full，与上一阶段监督注意模块输出的注意增强特征Feature_Whole，以及上一阶段输出的编解码器特征Feature_UnetWhole在特征空间上进行一步加和操作，得到结合后的特征，记为Feature_ConcatFull；
步骤2.5.3：将合并后的特征送入一个原始分辨率网络中，该网络由多个原始分辨率模块串联而成，其中每个模块又是分别由多个双池化注意力模块加上一个1×1卷积层串联而成的，经过该原始分辨率网络后，输出特征Feature_OriginalNet，然后再经由一个1×1卷积，输出残差图像Res_Full；
步骤2.5.3：将残差图像Res_Full与该阶段输入的全分辨率的样本块Distorted_Full合并，输出全分辨率的复原图像，记为Restored_Full；
步骤3：求取损失函数值并确定网络模型
步骤3.1：为每一阶段的输出复原图像与干净样本添加端到端优化损失及拉普拉斯边缘损失/>；加入对比学习损失/>，对干净样本、失真样本以及复原图像进行特征空间上的约束；
步骤3.2：计算总损失函数值Loss；若epoch达到规定的次数，则网络停止训练，保存最后一轮epoch得到的训练模型为网络模型；否则再一次进入步骤2，循环重复训练。
CN202210024531.9A 2022-01-11 2022-01-11 一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法 Active CN114494048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210024531.9A CN114494048B (zh) 2022-01-11 2022-01-11 一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210024531.9A CN114494048B (zh) 2022-01-11 2022-01-11 一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法

Publications (2)

Publication Number Publication Date
CN114494048A CN114494048A (zh) 2022-05-13
CN114494048B true CN114494048B (zh) 2024-05-31

Family

ID=81510106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210024531.9A Active CN114494048B (zh) 2022-01-11 2022-01-11 一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法

Country Status (1)

Country Link
CN (1) CN114494048B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020163970A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
CN111798409A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的pcb缺陷数据生成方法
GB202112665D0 (en) * 2021-09-06 2021-10-20 Imp College Innovations Ltd Title too long see minutes
CN113592745A (zh) * 2021-09-08 2021-11-02 辽宁师范大学 一种基于对抗性域自适应的无监督mri图像复原方法
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020163970A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
CN111798409A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的pcb缺陷数据生成方法
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
GB202112665D0 (en) * 2021-09-06 2021-10-20 Imp College Innovations Ltd Title too long see minutes
CN113592745A (zh) * 2021-09-08 2021-11-02 辽宁师范大学 一种基于对抗性域自适应的无监督mri图像复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像超分辨率复原研究进展;孙旭;李晓光;李嘉锋;卓力;;自动化学报;20170515(05);全文 *

Also Published As

Publication number Publication date
CN114494048A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN108376392B (zh) 一种基于卷积神经网络的图像运动模糊去除方法
Ma et al. A wavelet-based dual-stream network for underwater image enhancement
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN113658040B (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN114998145B (zh) 一种基于多尺度和上下文学习网络的低照度图像增强方法
CN111931857B (zh) 一种基于mscff的低照度目标检测方法
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN111316316A (zh) 用于图像复原的神经网络及其训练与使用方法
CN111340744A (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN114723631A (zh) 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN112270646A (zh) 基于残差密集跳跃网络的超分辨增强方法
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN116128768B (zh) 一种带有去噪模块的无监督图像低照度增强方法
CN114494048B (zh) 一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN117196940A (zh) 一种基于卷积神经网络的适用于真实场景图像的超分辨率重构方法
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN113554567B (zh) 一种基于小波变换的鲁棒去重影系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant