CN115345791A - 一种基于注意力机制残差网络模型的红外图像去模糊算法 - Google Patents

一种基于注意力机制残差网络模型的红外图像去模糊算法 Download PDF

Info

Publication number
CN115345791A
CN115345791A CN202210955369.2A CN202210955369A CN115345791A CN 115345791 A CN115345791 A CN 115345791A CN 202210955369 A CN202210955369 A CN 202210955369A CN 115345791 A CN115345791 A CN 115345791A
Authority
CN
China
Prior art keywords
image
attention
convolution
function
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210955369.2A
Other languages
English (en)
Inventor
武军安
宋沅林
郭锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210955369.2A priority Critical patent/CN115345791A/zh
Publication of CN115345791A publication Critical patent/CN115345791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于注意力机制残差网络模型的红外图像去模糊算法，涉及红外图像的运动模糊技术领域；制作红外模糊图像数据集，构建注意力机制残差网络模型，在多尺度下采样层中添加卷积注意力残差块，多尺度下采样层连接多个首尾连接的密集注意力残差块，由双线性差值结合卷积的方式代替多尺度上采样层的反卷积方式，并添加卷积注意力残差块，多尺度上采样层连接在密集注意力残差块之后，得到注意力机制残差网络模型，制作红外模糊图像测试集，将测试集中的模糊图像输入到注意力残差网络模型，得到去模糊后的图像。网络模型中引入了全局和局部跳跃连接的策略，进一步缓解了因网络深度的增加导致的信息丢失的问题，降低了模型训练的难度。

Description

一种基于注意力机制残差网络模型的红外图像去模糊算法
技术领域
本发明设计红外图像的运动模糊技术领域，具体涉及一种基于注意力机制残差网络模型的红外图像去模糊算法。
背景技术
红外成像系统通过视场内不同物体的红外热辐射成像的，结果直观，温度特征鲜明，相比于可见光成像，红外成像系统能够实现夜间成像，在复杂极端环境中，仍然能够保持较好的成像质量。由于红外成像系统比自然成像系统更复杂，因此红外图像的退化程度相对较高。受红外成像系统成像原理和硬件设备的限制，曝光时间相对于可见光成像较长，拍摄运动物体尤其是高速运动物体时，红外图像不可避免地会发生运动模糊。运动模糊使图像丢失了边缘和细节信息，对于后续的图像处理和信息提取产生了不利影响。因此，红外图像的去运动模糊是图像处理和计算机视觉领域中一个常见而重要的问题。
传统的图像去模糊方法可以分为非盲去模糊方法和盲去迷糊方法2类。传统的图像去模糊方法需要建立模糊图像获取过程的观测模型，然后再通过逆向求解观测模型实现图像的去模糊，观测模型解释了由清晰图像获得模糊图像的过程。常用的模糊模型为：
IB＝K×IS+N
式中：IB、IS和N分别表示模糊图像、要复原目标的清晰图像和引入的随机噪声；×表示二维卷积；K表示模糊核。
非盲去模糊是在模糊核已知的情况下，将模糊图像复原出清晰图像，经典的非盲去模糊算法有Lucy-Richardson算法、维纳滤波算法。盲去模糊是在模糊核未知的情况下，通过模糊图像估计模糊核复原出清晰图像。传统的图像盲去模糊算法主要分为两类：基于最大后验概率的方法和基于变分贝叶斯框架的方法。传统的去模糊方法采用的模糊通常是以简化的理想条件为前提，当模型估计不佳或退化模型不足以描述真实数据时，图像复原的效果可能不太理想。
近年来，随着深度学习的迅速发展，卷积神经网络(Convolutional NeuralNetwork，CNN)以其强大的特征学习能力越来越多地被应用于图像的去模糊领域。早起的基于深度学习的算法沿用传统的方法饿去模糊步骤，使用CNN代替传统的估计未知模糊核的方法，然后再通过传统反卷积的方法得到复原图像。这类算法算法的图像去模糊效果取决于模糊核估计的准确性，一旦模糊核估计错误会使复原效果不佳。目前越来越多的方法开始采用基于端对端的图像去模糊算法。这种方法不再需要估计模糊核，避免了因为核估计的准确性导致的误差，通过搭建端到端的CNN网络结构直接学习模糊图像与清晰图像之间的特征映射关系。2014年，生成对抗网络(Generative Adversarial Network，GAN)被提出后很快被应用到图像去模糊领域。GAN是由生成器网络和判别器网络组成，两个网络以相互对抗进行训练。GAN在图像恢复和图像生成等领域都展现出了不错的效果。这种方法太过依赖于数据驱动，对非均匀模糊的适应性较差。
李静等人提出了一种基于小波变换的红外去运动模糊算法，利用haar小波变换提取和分析红外图像的水平子带高频信息，通过旋转图像，获取模糊尺度和模糊方向，采用维纳滤波进行图像复原。该算法的应用主要集中在简单目标运动，当图像模糊情况更加复杂时，模糊尺度和模糊方向会出现估计错误的情况，导致去模糊效果不够理想。Zhao等人提出了一种基于生成对抗网络的红外图像去模糊算法，将基于学习方法的去模糊方法和传统的盲去模糊方法相结合，采用基于信道逆先验鉴别的方法并构建到GAN的一个新框架中，通过CNN网络直接复原红外模糊图像。该算法缺乏对模糊图像的自适应性，容易引起图像复原的平均化，运动目标的边缘等特征复原效果不佳。
鉴于当前图像去模糊算法的现状，本发明提出了一种基于注意力机制残差网络模型的红外图像去模糊算法，结合视觉注意力机制可以捕捉感兴趣的区域特征、强化重要的特征信息和定位目标区域的特点和在处理非均匀模糊上的优势。
发明内容
本发明提出了一种基于注意力机制残差网络模型的红外图像去模糊算法，首先构建端对端的CNN网络，避免了模糊核估计错误为去模糊带来的不利影响；其次，提出了一种注意力机制与残差连接、密集型残差连接相结合的网络，强化不同通道之间的重要信息，捕捉到感兴趣的目标区域的特征信息，更佳合理地分配计算资源，对于非均匀模糊的处理起到了更好的效果。本发明能够对红外图像的去运动模糊起到比较好效果。
实现本发明的技术解决方案为：一种基于注意力机制残差网络模型的红外图像去模糊算法，包括以下步骤：
步骤S1：利用多帧平均法对FLIR_ADAS_1_3数据集中的红外图像进行处理，得到模糊图像，并将处理过程中产生的中间帧图像作为清晰图像，一张模糊图像与其对应的清晰图像构成对象对，若干图像对共同构成训练集。
步骤S2：构建注意力机制残差网络模型，所述注意力机制残差网络模型包括多尺度下采样层、深层特征提取模块和多尺度上采样层。
将基本残差块与注意力机制结合，获得卷积注意力残差块，并将卷积注意力残差块添加在多尺度下采样层中，用于提取下采样后的图像的浅层特征。
将密集连接机制与空间注意力机制结合，得到密集注意力残差块，四个密集注意力残差块依次串联，得到深层特征提取模块，用于提取深层特征图像。
利用双线性插值和卷积的方式代替反卷积的方式应用在多尺度上采样层，对深层特征图像进行上采样。
步骤S3：将训练集中的清晰图像作为标签图像，将模糊图像输入到注意力机制残差网络模型中进行训练，得到训练好的注意力机制残差网络模型：
利用多尺度下采样层对训练集中的模糊图像进行下采样并提取浅层特征，得到浅层特征图像，利用密集注意力残差块浅层特征图像进行特征提取，得到深层特征图像；利用多尺度上采样层对深层特征图像进行上采样，得到上采样后的去模糊图像，去模糊图像与其对应的清晰图像进行误差计算，以获得训练好的注意力机制残差网络模型。
步骤S4：采集M张红外模糊图像，100＜M＜1000，作为测试集。
步骤S5：将测试集中的红外模糊图像输入到训练好的注意力机制残差网络模型，得到去模糊后的红外图像。
本发明与现有技术相比，其显著有点在于：(1)本发明设计了基于注意力机制的残差块和残差密集块，分别用于图像编解码模块和深层特征提取模块，提高了提取重要特征信息的能力，能够更好地获取感兴趣的目标信息，增加了网络的表达能力，使网络具有了更好的去模糊性能。
(2)注意力残差块结合了通道注意力机制和空间注意力机制，能够得到各通道之间的相关性和重要程度，使得网络在训练过程中可以对感兴趣的信息更加关注而抑制不感兴趣的信息。
(3)本发明能够在全局范围内得到特征之间的关联性，使得网络可以捕捉到感兴趣的区域而弱化不敢兴趣的区域。注意力残差密集块结合了空间注意力机制和卷积层之间的密集连接，使得网络在训练过程中除了可以更加关注感兴趣的区域外能够更充分地融合多个卷积层的特征，提高特征的复用率，更好地提取图像特征。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的基于注意力机制的残差网络的流程示意图。
图2为本发明所述的结合通道注意力机制和空间注意力机制的注意力残差块示意图。
图3为本发明所述的采用密接连接并结合空间注意力机制的密集残差注意力块示意图。
图4为两个模糊实例和经过本发明提出的算法去模糊后的图像对比图。
图5为本发明基于注意力机制残差网络模型的红外图像去模糊算法流程图。
具体实施方式
结合图1、图2、图3和图5，本发明提出的一种基于注意力机制残差网络模型的红外图像去模糊算法，具体步骤如下：
步骤S1：利用多帧平均法对FLIR_ADAS_1_3数据集中的红外图像进行处理，得到模糊图像，并将处理过程中产生的中间帧图像作为清晰图像，一张模糊图像与其对应的清晰图像构成对象对，若干图像对共同构成训练集。
采用多帧平均法处理图像可以获得较好的运动模糊效果，本发明利用连续3帧红外图像取平均的方式获得模糊图像，生成的模糊图像如下式：
Figure BDA0003791113380000041
其中，IB为生成的模糊图像，IS1、IS2和IS3为连续的3帧清晰图像，中间帧IS2与模糊图像IB组成一对训练集图像，WS、HS分别为红外图像的宽度和高度，i、j表示像素点的坐标。
步骤S2：构建注意力机制残差网络模型，所述注意力机制残差网络模型包括多尺度下采样层、深层特征提取模块和多尺度上采样层：
步骤S2)1：构建多尺度下采样层，具体如下：
多尺度下采样层需要对输入的红外模糊图像进行特征编码，输出256个浅层特征图像。多尺度下采样层分为三个尺度依次对输入的红外模糊图像进行下采样，为了充分提取红外模糊图像的特征信息，三个尺度下采样层的输出的特征图像数量将逐步增加，同时为了尽量减小参数量，第二和第三尺度下采样层输出的特征图像尺寸将缩小为原来的二分之一。在第一尺度下采样和第二尺度下采样添加卷积注意力残差块进行红外图像浅层特征提取，可以增加网络模型对非均匀模糊的适应性，提取更多重要性较高的特征信息，多尺度下采样层生成的浅层特征图像如下式：
ILF＝D3(D2(D1(IB))) (2)
其中，ILF为多尺度下采样层生成的浅层特征图像，IB为步骤1生成的模糊图像，D1(·)为第一尺度下采样函数，D2(·)为第二尺度下采样函数，D3(·)为第三尺度下采样函数，每一个尺度的下采样的输出作为下一尺度下采样的输入。
第一尺度下采样生成64个特征图像，通过首尾相连的两个卷积注意力残差块提取64个特征图像的浅层特征，第一尺度下采样函数D1(·)如下式：
Figure BDA0003791113380000051
其中，x1为输入第一尺度下采样的红外模糊图像，CAR(·)为卷积注意力残差函数，
Figure BDA0003791113380000052
为卷积核大小为5x5、步长为1的卷积函数，AR(·)为ReLu非线性激活函数。
第二尺度下采样的输出图像的宽度和高度为输入图像的二分之一，并生成128个特征图像，通过首尾相连的两个卷积注意力残差块提取128个特征图像的浅层特征，第二尺度下采样函数D2(·)为如下式：
Figure BDA0003791113380000053
其中，x2为输入第二尺度下采样的特征图像，CAR(·)为卷积注意力残差函数，
Figure BDA0003791113380000061
为卷积核大小为3x3、步长为2的卷积函数，AR(·)为ReLu非线性激活函数；
第三尺度下采样的输出图像的宽度和高度为输入图像的二分之一，并生成256个特征图像，得到红外模糊图像的浅层特征图像，第三尺度下采样函数D3(·)如下式：
Figure BDA0003791113380000062
其中，x3为输入第三尺度下采样的特征图像，
Figure BDA0003791113380000063
为卷积核大小为3x3、步长为2的卷积函数，AR(·)为ReLu非线性激活函数。
多尺度下采样层中的卷积注意力残差块具体如下：
将基本残差块与注意力机制结合，获得卷积注意力残差块，并将卷积注意力残差块添加在多尺度下采样层中，用于提取下采样后的图像的浅层特征。在提取浅层特征时既可以关注于重要性更高的信息，充分提取红外模糊图像的特征信息，又可以避免梯度消失或梯度爆炸，降低网络模型的训练难度。
在基本残差块中加入通道注意力机制和空间注意力机制，得到卷积注意力残差块，如下式：
Figure BDA0003791113380000064
其中，x4为输入卷积注意力残差块的特征图像，CAR(·)为卷积注意力残差函数，
Figure BDA0003791113380000065
为卷积核大小为3x3、步长为1的卷积函数，AR(·)为ReLu非线性激活函数，CAM(·)为通道注意力计算函数，SAM(·)为空间注意力计算函数，
Figure BDA0003791113380000066
表示卷积运算。
通道注意力机制和空间注意力机制的具体描述如下：
采用全局最大池化和全局平均池化的方法获取特征图像在通道维度和空间维度的关系矩阵，通道注意力机制能够得到在通道维度上每个特征图所包含的特征信息的重要性，空间注意力机制能够得到在空间维度上每个像素点的特征信息的重要性，如下式所示：
CAM(x5)＝AS(f2(f1(PMax(x5)))+f2(f1(PAve(x5)))) (7)
Figure BDA0003791113380000071
其中，x5、x6为输入的特征图像，AS(·)为Sigmoid非线性激活函数，f1(·)为输出张量与输入张量的元素个数比为1∶　3的全连接函数，f2(·)为输出张量与输入张量的元素个数比为3∶1的全连接函数，PMax(·)为全局最大池化函数，PAve(·)为全局平均池化函数，
Figure BDA0003791113380000072
表示在通道维度上的拼接运算。
步骤S2-2：构建深层特征提取模块，具体如下：
将密集连接机制与空间注意力机制结合，得到密集注意力残差块，四个密集注意力残差块依次串联，得到深层特征提取模块，用于提取深层特征图像。
利用密集连接模块代替基本残差块中的卷积层和激活层，并加入空间注意力机制，得到密集注意力残差块，可以大幅度的提高特征图像的利用率，尽可能的避免特征丢失，充分提取红外模糊图像的深层特征，提高红外模糊图像的复原效果，如下式所示：
Figure BDA0003791113380000073
其中，x7为输入密集注意力残差块的特征图像，DAR(·)为密集注意力残差函数，
Figure BDA0003791113380000074
为卷积核大小为1x1、步长为1的卷积函数，DC(·)为密集连接函数。
将每个卷积层之前的所有卷积层的输出特征图像在通道维度上进行拼接并作为该层的输入特征图像，得到密集连接模块，如下式所示：
DC(x8)＝C3(C2(C1(x8)+x8)+C1(x8)+x8)+C2(C1(x8)+x8)+C1(x8)+x8
(10)
Figure BDA0003791113380000075
其中，x8、x9分别为输入密集连接模块和卷积层的特征图像，DC(·)密集连接函数，k为卷积层的层数，Ck(·)非线性激活卷积函数，
Figure BDA0003791113380000076
为卷积核大小为3x3、步长为1的卷积函数，输入和输出特征图像的个数为256×2k-1。
利用四个密集注意力残差块依次串联，得到深层特征提取模块，如下式所示：
IDF＝DRX(DRX(DRX(DRx(ILF)))) (12)
其中，ILF为多尺度下采样层生成的浅层特征图像，IDF为深层特征提取模块生成的深层特征图像。
步骤S2-3：构建多尺度下采样层，具体如下：
多尺度上采样层分为两个尺度对深层特征图像进行上采样，将图像恢复至与输入的模糊图像大小相同，利用双线性插值和卷积的方式代替反卷积的方式应用在多尺度上采样层，对深层特征图像进行上采样，避免了因反卷积过程中产生棋盘效应而使去模糊后的红外模糊图像出现虚影的现象，通过卷积操作使得上采样层依然具有可以学习的参数；在每个尺度上采样后添加卷积注意力残差块，加快深层特征图像复原的速度和提高深层特征图像复原的质量；多尺度上采样层输出的图像经过3x3卷积将通道数还原为1，并与最初的模糊图像相加作为最终的去模糊图像，如下式所示：
Figure BDA0003791113380000081
其中，IB2S为最终输出的去模糊图像，
Figure BDA0003791113380000082
为卷积核大小为3x3、步长为1的卷积函数，U1(·)为第一尺度上采样函数，U2(·)为第二尺度上采样函数。
第一尺度上采样通过双线性差值将图像的宽度和高度扩大为输入图像的二倍，3x3卷积生成128个特征图像，如下式所示：
Figure BDA0003791113380000083
其中，x10输入第一尺度上采样的图像，BL1(·)为双线性插值函数，
Figure BDA0003791113380000084
卷积核大小为3x3、步长为1的卷积函数。
第二尺度上采样通过双线性差值将图像的宽度和高度扩大为输入图像的二倍，得到的特征特征图像大小与输入网络模型的红外模糊图像大小相同，3x3卷积生成64个特征图像，如下式所示：
Figure BDA0003791113380000085
其中，x11输入第一尺度上采样的图像，BL2(·)为双线性插值函数，
Figure BDA0003791113380000086
卷积核大小为3x3、步长为1的卷积函数。
步骤S3：将训练集中的清晰图像作为标签图像，将模糊图像输入到注意力机制残差网络模型中进行训练，得到训练好的注意力机制残差网络模型：
利用多尺度下采样层对训练集中的模糊图像进行下采样并提取浅层特征，得到浅层特征图像，利用密集注意力残差块浅层特征图像进行特征提取，得到深层特征图像；利用多尺度上采样层对深层特征图像进行上采样，得到上采样后的去模糊图像，去模糊图像与其对应的清晰图像进行误差计算，以获得训练好的注意力机制残差网络模型。
其中注意力机制残差网络模型的损失函数L如下式所示：
Figure BDA0003791113380000091
其中，IS表示模糊图像对应的清晰图像，φ(IB)为所述去模糊网络生成的图像，W表示图像的宽度，H表示图像的高度，通过最小化图像之间的均方差来训练所述的网络模型。
步骤S4：采集M张红外模糊图像，100＜M＜1000，作为测试集。
步骤S5：将测试集中的红外模糊图像输入到训练好的注意力机制残差网络模型，得到去模糊后的红外图像。
实施例1
步骤S1：利用多帧平均法对FLIR_ADAS_1_3数据集中的红外图像进行处理，得到模糊图像，本发明利用连续3帧红外图像取平均的方式获得模糊图像，并将处理过程中产生的中间帧图像作为清晰图像，一张模糊图像与其对应的清晰图像构成对象对，得到像素大小为640x512的2000组图像对共同构成训练集，生成的模糊图像如下式：
Figure BDA0003791113380000092
其中，IB为生成的模糊图像，Is1、IS2和IS3为连续的3帧清晰图像，中间帧IS2与模糊图像IB组成一对训练集图像，WS、HS分别为红外图像的宽度和高度，i、j表示像素点的坐标。
步骤S2：构建注意力机制残差网络模型，所述注意力机制残差网络模型包括多尺度下采样层、深层特征提取模块和多尺度上采样层：
步骤S2-1：构建多尺度下采样层，具体如下：
多尺度下采样层需要对输入的红外模糊图像进行特征编码，输出256个浅层特征图像。多尺度下采样层分为三个尺度依次对输入的红外模糊图像进行下采样，为了充分提取红外模糊图像的特征信息，三个尺度下采样层的输出的特征图像数量将逐步增加，同时为了尽量减小参数量，第二和第三尺度下采样层输出的特征图像尺寸将缩小为原来的二分之一。在第一尺度下采样和第二尺度下采样添加卷积注意力残差块进行红外图像浅层特征提取，可以增加网络模型对非均匀模糊的适应性，提取更多重要性较高的特征信息，多尺度下采样层生成的浅层特征图像如下式：
ILF＝D3(D2(D1(IB))) (2)
其中，ILF为多尺度下采样层生成的浅层特征图像，IB为步骤1生成的模糊图像，D1(·)为第一尺度下采样函数，D2(·)为第二尺度下采样函数，D3(·)为第三尺度下采样函数，每一个尺度的下采样的输出作为下一尺度下采样的输入。
第一尺度下采样生成64个特征图像，通过首尾相连的两个卷积注意力残差块提取64个特征图像的浅层特征，第一尺度下采样函数D1(·)如下式：
Figure BDA0003791113380000101
其中，x1为输入第一尺度下采样的红外模糊图像，CAR(·)为卷积注意力残差函数，
Figure BDA0003791113380000102
为卷积核大小为5x5、步长为1的卷积函数，AR(·)为ReLu非线性激活函数。
第二尺度下采样的输出图像的宽度和高度为输入图像的二分之一，并生成128个特征图像，通过首尾相连的两个卷积注意力残差块提取128个特征图像的浅层特征，第二尺度下采样函数D2(·)为如下式：
Figure BDA0003791113380000103
其中，x2为输入第二尺度下采样的特征图像，CAR(·)为卷积注意力残差函数，
Figure BDA0003791113380000104
为卷积核大小为3x3、步长为2的卷积函数，AR(·)为ReLu非线性激活函数。
第三尺度下采样的输出图像的宽度和高度为输入图像的二分之一，并生成256个特征图像，得到红外模糊图像的浅层特征图像，第三尺度下采样函数D3(·)如下式：
Figure BDA0003791113380000105
其中，x3为输入第三尺度下采样的特征图像，
Figure BDA0003791113380000106
为卷积核大小为3x3、步长为2的卷积函数，AR(·)为ReLu非线性激活函数。
多尺度下采样层中的卷积注意力残差块具体如下：
将基本残差块与注意力机制结合，获得卷积注意力残差块，并将卷积注意力残差块添加在多尺度下采样层中，用于提取下采样后的图像的浅层特征。在提取浅层特征时既可以关注于重要性更高的信息，充分提取红外模糊图像的特征信息，又可以避免梯度消失或梯度爆炸，降低网络模型的训练难度。
在基本残差块中加入通道注意力机制和空间注意力机制，得到卷积注意力残差块，如下式：
Figure BDA0003791113380000111
其中，x4为输入卷积注意力残差块的特征图像，CAR(·)为卷积注意力残差函数，
Figure BDA0003791113380000112
为卷积核大小为3x3、步长为1的卷积函数，AR(·)为ReLu非线性激活函数，CAM(·)为通道注意力计算函数，SAM(·)为空间注意力计算函数，
Figure BDA0003791113380000113
表示卷积运算。
通道注意力机制和空间注意力机制的具体描述如下：
采用全局最大池化和全局平均池化的方法获取特征图像在通道维度和空间维度的关系矩阵，通道注意力机制能够得到在通道维度上每个特征图所包含的特征信息的重要性，空间注意力机制能够得到在空间维度上每个像素点的特征信息的重要性，如下式所示：
CAM(x5)＝AS(f2(f1(PMax(x5)))+f2(f1(PAve(x5)))) (7)
Figure BDA0003791113380000114
其中，x5、x6为输入的特征图像，AS(·)为Sigmoid非线性激活函数，f1(·)为输出张量与输入张量的元素个数比为1∶3的全连接函数，f2(·)为输出张量与输入张量的元素个数比为3∶1的全连接函数，PMax(·)为全局最大池化函数，PAve(·)为全局平均池化函数，
Figure BDA0003791113380000115
表示在通道维度上的拼接运算。
步骤S2-2：构建深层特征提取模块，具体如下：
将密集连接机制与空间注意力机制结合，得到密集注意力残差块，四个密集注意力残差块依次串联，得到深层特征提取模块，用于提取深层特征图像。
利用密集连接模块代替基本残差块中的卷积层和激活层，并加入空间注意力机制，得到密集注意力残差块，可以大幅度的提高特征图像的利用率，尽可能的避免特征丢失，充分提取红外模糊图像的深层特征，提高红外模糊图像的复原效果，如下式所示：
Figure BDA0003791113380000121
其中，x7为输入密集注意力残差块的特征图像，DAR(·)为密集注意力残差函数，
Figure BDA0003791113380000122
为卷积核大小为1x1、步长为1的卷积函数，DC(·)为密集连接函数。
将每个卷积层之前的所有卷积层的输出特征图像在通道维度上进行拼接并作为该层的输入特征图像，得到密集连接模块，如下式所示：
DC(x8)＝C3(C2(C1(x8)+x8)+C1(x8)+x8)+C2(C1(x8)+x8)+C1(x8)+x8
(10)
Figure BDA0003791113380000123
其中，x8、x9分别为输入密集连接模块和卷积层的特征图像，DC(·)密集连接函数，k为卷积层的层数，Ck(·)非线性激活卷积函数，
Figure BDA0003791113380000124
为卷积核大小为3x3、步长为1的卷积函数，输入和输出特征图像的个数为256×2k-1。
利用四个密集注意力残差块依次串联，得到深层特征提取模块，如下式所示：
IDF＝DRX(DRX(DRX(DRX(ILF)))) (12)
其中，ILF为多尺度下采样层生成的浅层特征图像，IDF为深层特征提取模块生成的深层特征图像。
步骤S2-3：构建多尺度下采样层，具体如下：
多尺度上采样层分为两个尺度对深层特征图像进行上采样，将图像恢复至与输入的模糊图像大小相同，利用双线性插值和卷积的方式代替反卷积的方式应用在多尺度上采样层，对深层特征图像进行上采样，避免了因反卷积过程中产生棋盘效应而使去模糊后的红外模糊图像出现虚影的现象，通过卷积操作使得上采样层依然具有可以学习的参数；在每个尺度上采样后添加卷积注意力残差块，加快深层特征图像复原的速度和提高深层特征图像复原的质量；多尺度上采样层输出的图像经过3x3卷积将通道数还原为1，并与最初的模糊图像相加作为最终的去模糊图像，如下式所示：
Figure BDA0003791113380000131
其中，IB2S为最终输出的去模糊图像，
Figure BDA0003791113380000132
为卷积核大小为3x3、步长为1的卷积函数，U1(·)为第一尺度上采样函数，U2(·)为第二尺度上采样函数。
第一尺度上采样通过双线性差值将图像的宽度和高度扩大为输入图像的二倍，3x3卷积生成128个特征图像，如下式所示：
Figure BDA0003791113380000133
其中，x10输入第一尺度上采样的图像，BL1(·)为双线性插值函数，
Figure BDA0003791113380000134
卷积核大小为3x3、步长为1的卷积函数。
第二尺度上采样通过双线性差值将图像的宽度和高度扩大为输入图像的二倍，得到的特征特征图像大小与输入网络模型的红外模糊图像大小相同，3x3卷积生成64个特征图像，如下式所示：
Figure BDA0003791113380000135
其中，x11输入第一尺度上采样的图像，BL2(·)为双线性插值函数，
Figure BDA0003791113380000136
卷积核大小为3x3、步长为1的卷积函数。
步骤S3：将训练集中的清晰图像作为标签图像，将模糊图像输入到注意力机制残差网络模型中进行训练，得到训练好的注意力机制残差网络模型：
利用多尺度下采样层对训练集中的模糊图像进行下采样并提取浅层特征，得到浅层特征图像，利用密集注意力残差块浅层特征图像进行特征提取，得到深层特征图像；利用多尺度上采样层对深层特征图像进行上采样，得到上采样后的去模糊图像，去模糊图像与其对应的清晰图像进行误差计算，以获得训练好的注意力机制残差网络模型。
其中注意力机制残差网络模型的损失函数L如下式所示：
Figure BDA0003791113380000137
其中，IS表示模糊图像对应的清晰图像，φ(IB)为所述去模糊网络生成的图像，W表示图像的宽度，H表示图像的高度，通过最小化图像之间的均方差来训练所述的网络模型。
步骤S4：采500张红外模糊图像，通过对红外模糊图像进行裁剪，得到像素大小为640x512的500张红外模糊图像，作为测试集。
步骤S5：将测试集中的红外模糊图像输入到训练好的注意力机制残差网络模型，得到去模糊后的红外图像。
本发明方法实验采用NVIDA GeForce GTX 1080Ti GPU进行网络模型的训练和测试，使用PyTorch框架语言搭建网络模型框架。网络模型训练采用ADAM优化器更新网络参数，初始学习率为10-4，在训练1000轮之后，学习率线性降为0，总共训练2000，每次迭代的batch size设置为4。在训练过程中进行数据增强，具体方式为：(1)随机旋转0°～270°；(2)从原始图像随机裁剪256x256像素大小的图像作为网络模型的输入。
得到训练好的网络模型之后，为了验证本发明提出的网络模型的去模糊性能，将准备好的测试集红外模糊图像输入训练好的网络模型，进行测试。测试结果如图4所示，经过本发明提出的网络模型处理后得到的去模糊的红外模糊图像的质量有了明显的提升，虚影明显被消除，轮廓等特征信息清晰可见。采用客观评价指标对去模糊效果进行评判，如表1所示，经过本发明的算法去模糊后的图像具有较高的PSNR和SSIM，取得了比较不错的去模糊效果。
表1实例一和实例二的PSNR和SSIM
Figure BDA0003791113380000141

Claims (8)

1.一种基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：包括以下步骤：
步骤S1：利用多帧平均法对FLIR_ADAS_1_3数据集中的红外图像进行处理，得到模糊图像，并将处理过程中产生的中间帧图像作为清晰图像，一张模糊图像与其对应的清晰图像构成对象对，若干图像对共同构成训练集；
步骤S2：构建注意力机制残差网络模型，所述注意力机制残差网络模型包括多尺度下采样层、深层特征提取模块和多尺度上采样层：
将基本残差块与注意力机制结合，获得卷积注意力残差块，并将卷积注意力残差块添加在多尺度下采样层中，用于提取下采样后的图像的浅层特征；
将密集连接机制与空间注意力机制结合，得到密集注意力残差块，四个密集注意力残差块依次串联，得到深层特征提取模块，用于提取深层特征图像；
利用双线性插值和卷积的方式代替反卷积的方式应用在多尺度上采样层，对深层特征图像进行上采样；
步骤S3：将训练集中的清晰图像作为标签图像，将模糊图像输入到注意力机制残差网络模型中进行训练，得到训练好的注意力机制残差网络模型：
利用多尺度下采样层对训练集中的模糊图像进行下采样并提取浅层特征，得到浅层特征图像，利用密集注意力残差块浅层特征图像进行特征提取，得到深层特征图像；利用多尺度上采样层对深层特征图像进行上采样，得到上采样后的去模糊图像，去模糊图像与其对应的清晰图像进行误差计算，以获得训练好的注意力机制残差网络模型；
步骤S4：采集M张红外模糊图像，100<M<1000，作为测试集；
步骤S5：将测试集中的红外模糊图像输入到训练好的注意力机制残差网络模型，得到去模糊后的红外图像。
2.根据权利要求1所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：步骤S1中，利用连续3帧红外图像取平均的方式获得模糊图像，生成的模糊图像如下式：
Figure FDA0003791113370000011
其中，IB为生成的模糊图像，IS1、IS2和IS3为连续的3帧清晰图像，中间帧IS2与模糊图像IB组成一对训练集图像，WS、HS分别为红外图像的宽度和高度，i、j表示像素点的坐标。
3.根据权利要求1所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：步骤S2中，多尺度下采样层分为三个尺度依次对输入的红外模糊图像进行下采样，在第一尺度下采样和第二尺度下采样添加卷积注意力残差块进行红外图像浅层特征提取，多尺度下采样层生成的浅层特征图像如下式：
ILF＝D3(D2(D1(IB))) (2)
其中，ILF为多尺度下采样层生成的浅层特征图像，IB为步骤1生成的模糊图像，D1(·)为第一尺度下采样函数，D2(·)为第二尺度下采样函数，D3(·)为第三尺度下采样函数，每一个尺度的下采样的输出作为下一尺度下采样的输入。
4.根据权利要求3所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：第一尺度下采样生成64个特征图像，通过首尾相连的两个卷积注意力残差块提取64个特征图像的浅层特征，第一尺度下采样函数D1(·)如下式：
Figure FDA0003791113370000021
其中，x1为输入第一尺度下采样的红外模糊图像，CAR(·)为卷积注意力残差函数，
Figure FDA0003791113370000022
为卷积核大小为5x5、步长为1的卷积函数，AR(·)为ReLu非线性激活函数；
第二尺度下采样的输出图像的宽度和高度为输入图像的二分之一，并生成128个特征图像，通过首尾相连的两个卷积注意力残差块提取128个特征图像的浅层特征，第二尺度下采样函数D2(·)为如下式：
Figure FDA0003791113370000023
其中，x2为输入第二尺度下采样的特征图像，CAR(·)为卷积注意力残差函数，
Figure FDA0003791113370000024
为卷积核大小为3x3、步长为2的卷积函数，AR(·)为ReLu非线性激活函数；
第三尺度下采样的输出图像的宽度和高度为输入图像的二分之一，并生成256个特征图像，得到红外模糊图像的浅层特征图像，第三尺度下采样函数D3(·)如下式：
Figure FDA0003791113370000031
其中，x3为输入第三尺度下采样的特征图像，
Figure FDA0003791113370000032
为卷积核大小为3x3、步长为2的卷积函数，AR(·)为ReLu非线性激活函数。
5.根据权利要求4所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：在基本残差块中加入通道注意力机制和空间注意力机制，得到卷积注意力残差块，如下式：
Figure FDA0003791113370000033
其中，x4为输入卷积注意力残差块的特征图像，CAR(·)为卷积注意力残差函数，
Figure FDA0003791113370000034
为卷积核大小为3x3、步长为1的卷积函数，AR(·)为ReLu非线性激活函数，CAM(·)为通道注意力计算函数，SAM(·)为空间注意力计算函数，
Figure FDA0003791113370000035
表示卷积运算；
通道注意力机制和空间注意力机制的具体描述如下：
采用全局最大池化和全局平均池化的方法获取特征图像在通道维度和空间维度的关系矩阵，如下式所示：
CAM(x5)＝AS(f2(f1(PMax(x5)))+f2(f1(PAve(x5)))) (7)
Figure FDA0003791113370000036
其中，x5、x6为输入的特征图像，AS(·)为Sigmoid非线性激活函数，f1(·)为输出张量与输入张量的元素个数比为1:3的全连接函数，f2(·)为输出张量与输入张量的元素个数比为3:1的全连接函数，PMax(·)为全局最大池化函数，PAve(·)为全局平均池化函数，
Figure FDA0003791113370000037
表示在通道维度上的拼接运算。
6.根据权利要求1所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：步骤S2中，利用密集连接模块代替基本残差块中的卷积层和激活层，并加入空间注意力机制，得到密集注意力残差块，如下式所示：
Figure FDA0003791113370000038
其中，x7为输入密集注意力残差块的特征图像，DAR(·)为密集注意力残差函数，
Figure FDA0003791113370000041
为卷积核大小为1x1、步长为1的卷积函数，DC(·)为密集连接函数；
将每个卷积层之前的所有卷积层的输出特征图像在通道维度上进行拼接并作为该层的输入特征图像，得到密集连接模块，如下式所示：
DC(x8)＝C3(C2(C1(x8)+x8)+C1(x8)+x8)+C2(C1(x8)+x8)+C1(x8)+x8
(10)
Figure FDA0003791113370000042
其中，x8、x9分别为输入密集连接模块和卷积层的特征图像，DC(·)密集连接函数，k为卷积层的层数，Ck(·)非线性激活卷积函数，
Figure FDA0003791113370000043
为卷积核大小为3x3、步长为1的卷积函数，输入和输出特征图像的个数为256×2k-1；
利用四个密集注意力残差块依次串联，得到深层特征提取模块，如下式所示：
IDF＝DRX(DRX(DRX(DRX(ILF)))) (12)
其中，ILF为多尺度下采样层生成的浅层特征图像，IDF为深层特征提取模块生成的深层特征图像。
7.根据权利要求1所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：步骤S2中，多尺度上采样层分为两个尺度对深层特征图像进行上采样，将图像恢复至与输入的模糊图像大小相同，利用双线性插值和卷积的方法代替传统的反卷积方法，在每个尺度上采样后添加卷积注意力残差块，多尺度上采样层输出的图像经过3x3卷积将通道数还原为1，并与最初的模糊图像相加作为最终的去模糊图像，如下式所示：
Figure FDA0003791113370000044
其中，IB2s为最终输出的去模糊图像，
Figure FDA0003791113370000045
为卷积核大小为3x3、步长为1的卷积函数，U1(·)为第一尺度上采样函数，U2(·)为第二尺度上采样函数；
第一尺度上采样通过双线性差值将图像的宽度和高度扩大为输入图像的二倍，3x3卷积生成128个特征图像，如下式所示：
Figure FDA0003791113370000046
其中，x10输入第一尺度上采样的图像，BL1(·)为双线性插值函数，
Figure FDA0003791113370000051
卷积核大小为3x3、步长为1的卷积函数；
第二尺度上采样通过双线性差值将图像的宽度和高度扩大为输入图像的二倍，3x3卷积生成64个特征图像，如下式所示：
Figure FDA0003791113370000052
其中，x11输入第一尺度上采样的图像，BL2(·)为双线性插值函数，
Figure FDA0003791113370000053
卷积核大小为3x3、步长为1的卷积函数。
8.根据权利要求1所述的基于注意力机制残差网络模型的红外图像去模糊算法，其特征在于：步骤S3中，将训练集中的红外清晰图像作为标签图像，将红外模糊图像输入到注意力机制残差网络模型中进行训练，注意力机制残差网络模型的损失函数L如下式所示：
Figure FDA0003791113370000054
其中，IS表示模糊图像对应的清晰图像，φ(IB)为所述去模糊网络生成的图像，W表示图像的宽度，H表示图像的高度，通过最小化图像之间的均方差来训练所述的网络模型。
CN202210955369.2A 2022-08-10 2022-08-10 一种基于注意力机制残差网络模型的红外图像去模糊算法 Pending CN115345791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210955369.2A CN115345791A (zh) 2022-08-10 2022-08-10 一种基于注意力机制残差网络模型的红外图像去模糊算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210955369.2A CN115345791A (zh) 2022-08-10 2022-08-10 一种基于注意力机制残差网络模型的红外图像去模糊算法

Publications (1)

Publication Number Publication Date
CN115345791A true CN115345791A (zh) 2022-11-15

Family

ID=83952971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210955369.2A Pending CN115345791A (zh) 2022-08-10 2022-08-10 一种基于注意力机制残差网络模型的红外图像去模糊算法

Country Status (1)

Country Link
CN (1) CN115345791A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908199A (zh) * 2022-12-28 2023-04-04 无锡学院 基于深度去噪器的压缩红外图像复原方法
CN116993630A (zh) * 2023-09-27 2023-11-03 闽都创新实验室 基于残差图像的注意力特征的去运动模糊方法及装置
CN117456339A (zh) * 2023-11-17 2024-01-26 武汉大学 一种基于多层次特征复用的图像质量评价方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908199A (zh) * 2022-12-28 2023-04-04 无锡学院 基于深度去噪器的压缩红外图像复原方法
CN116993630A (zh) * 2023-09-27 2023-11-03 闽都创新实验室 基于残差图像的注意力特征的去运动模糊方法及装置
CN116993630B (zh) * 2023-09-27 2023-12-15 闽都创新实验室 基于残差图像的注意力特征的去运动模糊方法及装置
CN117456339A (zh) * 2023-11-17 2024-01-26 武汉大学 一种基于多层次特征复用的图像质量评价方法及系统
CN117456339B (zh) * 2023-11-17 2024-05-17 武汉大学 一种基于多层次特征复用的图像质量评价方法及系统

Similar Documents

Publication Publication Date Title
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN106600538A (zh) 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN112435187A (zh) 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN110675347A (zh) 一种基于组稀疏表示的图像盲复原方法
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN113902647B (zh) 一种基于双闭环网络的图像去模糊方法
CN114331886A (zh) 一种基于深度特征的图像去模糊方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114549361B (zh) 一种基于改进U-Net模型的去图像运动模糊方法
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
CN115272113A (zh) 一种基于多尺度频率分离网络的图像去模糊方法
Laroche et al. Deep model-based super-resolution with non-uniform blur
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN111986102B (zh) 一种数字病理图像去模糊方法
CN117745541A (zh) 一种基于轻量级混合注意力网络的图像超分辨率重建方法
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination