CN115187468A - 基于双级特征融合的红外图像去噪方法 - Google Patents

基于双级特征融合的红外图像去噪方法 Download PDF

Info

Publication number
CN115187468A
CN115187468A CN202210615368.3A CN202210615368A CN115187468A CN 115187468 A CN115187468 A CN 115187468A CN 202210615368 A CN202210615368 A CN 202210615368A CN 115187468 A CN115187468 A CN 115187468A
Authority
CN
China
Prior art keywords
feature
coding
features
decoding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210615368.3A
Other languages
English (en)
Inventor
曹汛
张鹏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202210615368.3A priority Critical patent/CN115187468A/zh
Publication of CN115187468A publication Critical patent/CN115187468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双级特征融合的红外图像去噪方法。具体步骤为：第一级：(1)提取红外噪声图像的初始特征；(2)将初始特征输入第一编码结构，获取三种不同尺度的编码特征；(3)将最后一个尺度的编码特征，输入第一解码结构，获取细节增强的解码特征；(4)将最后一个尺度的解码特征输入自监督注意力模块。第二级：(5)再对红外噪声图像提取初始特征，并与上述自监督注意力模块提取的特征拼接；(6)将拼接后的特征调整特征通道数，输入第二编码结构，并与步骤2、3对应尺度的特征融合；(7)将融合后的最后一个尺度的特征输入第二解码结构，获取得细节增强的解码特征；(8)重建得到恢复的清晰红外图像。

Description

基于双级特征融合的红外图像去噪方法
技术领域
本发明属于图像处理领域，尤其涉及一种基于双级特征融合的红外图像去噪方法。
背景技术
红外辐射本质上是一种电磁辐射，其波长介于可见光与微波之间，短波与可见光波段的红 光相邻，长波段与微波相接。中长波红外主要是探测目标物体自身辐射的红外光谱，受目标物 体特性、应用场景等多因素影响。由于中长波红外探测器制作工艺以及量化效率等问题，高密 度小像素尺寸的红外探测器器件的制作尚存在一定困难，而且价格昂贵；探测器列阵的结构组 织和当前的技术水平又无法满足填充因子达到100％，而根据奈奎斯特(Nyquist)采样定理， 探测器列阵的采样频率就有一定的限制，探测器阵列空间采样频率很难达到自然场景图像奈奎 斯特频率的二倍，此时中长波红外图像就会因欠采样而引起信号混叠，造成红外图像模糊，空 间分辨率较低。红外图像的噪声源主要有1/f噪声、散粒噪声、暗电流噪声、读出噪声，此外， 由于探测器工艺和运算放大器的制造工艺的不确定性，红外图像的条纹非均匀性噪声尤其明显。
传统的图像去噪算法往往受限于泛用性低、耗时长等问题，而最近，随着计算能力的不断 增加，研究者们通过处理大量数据并从中获取科学突破。深度学习去噪任务当中，以往的单极 网络结构处理图像去噪任务时，所重建的图像往往存在语义信息丢失、图像边缘模糊等问题； 而多级网络结构大多采用级联操作和编码解码结构，在对语义信息进行编码时有效，但是不能 保留空间图像细节。因此，针对红外图像分辨率低、噪声源复杂、图像细节差等特点，如何更 有效的在图像去噪任务当中更有效地恢复图像边缘纹理细节信息，并且不丢失空间结构信息， 是一个非常重要的问题。
发明内容
针对以上现有的红外图像去噪方法存在的问题，本发明的目的在于提出一种基于双级特征 融合的红外图像去噪方法。该方法采取双级网络的策略，第一级网络提取语义信息，第二级网 络融合了提取的语义信息之后，能够重建出具有空间结构信息和细节信息的图像，并且运用改 进的G残差块作为特征提取模块，从而产生一个重建质量更佳的结果。
为达到上述目的，本发明采用的技术方案如下：
基于双级特征融合的红外图像去噪方法，该方法包括以下步骤：
第一级：
步骤1，利用第一特征提取卷积层提取遭受噪声污染的红外图像的初始特征；
步骤2，将提取的初始特征输入到第一编码结构中，在编码过程中通过不断的下采样获取 三种不同尺度的编码特征，每种尺度对应一种分辨率；
步骤3，将获得的最后一个尺度的编码特征，输入到第一解码结构中，通过不断地上采样 过程恢复分辨率获得上述三种不同尺度的解码特征，在同一尺度下，使用跳层连接将步骤2 所提取的编码特征与解码特征相加，获得细节增强的解码特征；
步骤4，将步骤3输出的最后一个尺度的细节增强的解码特征输入到自监督注意力模块中， 由该模块给出去噪重建图像X1，同时提取出注意力增强的特征表示；
第二级：
步骤5，再对步骤1的红外图像使用第二特征提取卷积层提取初始特征，并与步骤4中所 述的注意力增强的特征表示做拼接操作；
步骤6，将拼接后的特征用特征调整卷积层调整特征通道数，输入到第二编码结构中，所 述第二编码结构与第一编码结构的构成相同但参数不同；并且在每一个下采样过程后获得的当 前尺度下的第二编码特征中，将第一级网络编码和解码部分的对应尺度的特征，通过卷积处理 之后，与之相加，获得当前尺度下融合后的第二编码特征；
步骤7，将步骤6融合后的第二编码特征输入到第二解码结构中，所述第二解码结构与第 一解码结构的构成相同但参数不同，同样使用跳层连接获得细节增强的解码特征；
步骤8，对步骤7输出的细节增强的解码特征使用重建卷积层得到本级的去噪重建图像X2， 即恢复的清晰红外图像。
进一步地，所述步骤2中，使用G残差块和2×2的下采样层作为一个基本的下采样模 块，在下采样过程中，采用两次2×2下采样模块，将特征通道数量翻倍，得到三种不同尺度 的编码特征。
进一步地，所述G残差块的处理步骤是：将输入经过一个3×3的卷积层之后，使用组归 一化方式GN对参数依照通道相关性做归一化处理，再之后使用高斯误差线性单元做非线性处 理。
进一步地，所述步骤3中，第一解码结构使用卷积核大小为4的转置卷积层；上采样之 后，使用残差连接块对特征进行映射；此外，在每一个尺度下都添加一个跳层连接，以补偿由 于重采样所造成的信息损失。
进一步地，所述步骤4中，所述自监督注意力模块包括以下计算步骤：
步骤41，将输入的特征
Figure BDA0003674070570000031
用残差重建卷积层来生成残差图像
Figure BDA0003674070570000032
这 里H×W表示空间维度且C表示通道数；
步骤42，将残差图像和输入的噪声图像相加，从而得到恢复的清晰图像
Figure BDA0003674070570000033
步骤43，重建图X1经过注意力卷积层和Sigmoid函数，生成掩模
Figure BDA0003674070570000034
所述掩 模用于注意力增强；
步骤44，最初的特征Fin经过特征映射卷积层的处理之后，与所述掩模相乘，再与特征Fin相 加，就会生成一系列注意力增强的特征；
步骤45，将步骤44获得的特征和第二级提取的初始特征做拼接操作，从而完成部分注意 力增强的功能。
本发明通过设计双级特征融合去噪网络，引入自监督注意力模块，并采用G残差块作为 特征提取模块，可以实现保留边缘、纹理细节信息的红外图像去噪方法。本发明方法的有益效 果在于：(1)由于整个模型为全卷积神经网络，因此可以针对任意尺度的红外图像输入进行 图像去噪，不需要设置额外的参数；(2)通过双级特征融合的网络设计，采用自监督注意力 模块，以及G残差块作为特征提取模块，在恢复红外图像空间结构信息的同时，能够保留红 外图像的边缘、纹理细节信息。
附图说明
图1为本发明方法的实现结构框图；
图2本发明的方法流程图；
图3为本发明实施例中自监督注意力模块的具体结构示意图；
图4为本发明实施例中G残差块和基本残差块的具体结构示意图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1，本实施例的基于双级特征融合的红外图像去噪方法，是一种分级的特征提取、 重建的结构，在第二级融合了第一级注意力增强的特征以及每个编码解码结构的多尺度特征之 后，得到重建图像。将遭受污染的红外图像作为输入，原始图像大小裁剪为128×128的图像 块，具体包括如下步骤：
第一级：
步骤1，第一特征提取：使用一个3×3的有偏置单元的第一特征提取卷积层来提取图像 的初始特征，输入的红外噪声图像的通道数为1，提取的特征通道数设置为32，H和W为图像 的高和宽。
步骤2，第一编码结构：使用G残差块和2×2的下采样层作为一个基本的下采样模块。 其中G残差块将输入经过一个3×3的特征映射卷积层之后，使用组归一化方式GN对参数依 照通道相关性做归一化处理，再之后使用高斯误差线性单元GELU做非线性处理，然后重复 一个3×3的卷积和高斯误差线性单元操作，所得到的输出与最初的经过1×1卷积维度变换 之后的输入相加，即残差连接。在下采样过程中，采用了两次2×2下采样模块，将特征通道 数量翻倍，得到三种不同尺度的特征，每种尺度对应一种分辨率。
步骤3，第一解码结构：上采样层使用的是卷积核大小为4的转置卷积层；上采样之后， 使用基本残差连接块对特征进行映射，这里的基本残差连接块即为去除组归一化层的G残差 块；此外，在每一个尺度下都添加一个跳层连接(区分于每个基本块的残差连接)，将步骤2 所提取的编码特征与解码特征相加，获得细节增强的解码特征以补偿由于重采样所造成的信息 损失。
步骤4，自监督注意力增强模块SAM：将第一解码阶段输出的特征
Figure BDA0003674070570000041
用一个 3×3的残差重建卷积层来生成一个残差图像
Figure BDA0003674070570000042
这里H×W表示空间维度且C 表示通道数，然后将残差图像和输入的噪声图像相加，从而得到恢复的清晰图像
Figure BDA0003674070570000043
之后X1经过一个3×3的注意力卷积层和Sigmoid函数，生成掩模(Mask)
Figure BDA0003674070570000044
这 些掩模起到一个注意力增强的作用；最初的特征Fin经过一个卷积层的处理之后，与掩模相 乘，再与特征Fin相加，就会生成一系列注意力增强的特征，它的特征通道数量为32；这些特 征将和下一级提取的初始特征做拼接操作，从而完成部分注意力增强的功能。
第二级：
步骤5，第二特征提取：再对同一个遭受噪声污染的红外图像使用一个3×3的第二特征提 取卷积层提取初始特征，并与上一级自监督注意力增强模块SAM提取出的注意力增强的特征 表示做拼接操作，特征通道数量变成64，之后再通过一个3×3的特征调整卷积层，将特征通 道维度调整为32。
步骤6，第二编码结构：将调整特征通道维数后的特征输入到第二编码结构中，所述第二 编码结构与第一编码结构的构成相同但参数不同。并且在每一个下采样过程后获得的该尺度下 的第二编码特征中，将第一级网络编码和解码部分的对应尺度的特征，通过一个3×3的卷积 处理之后，与之相加，获得该尺度下融合后的第二编码特征。
步骤7，第二解码结构：将步骤6融合后的最后一个尺度的第二编码特征输入到第二解码 结构中，所述第二解码结构与第一解码结构的构成相同但参数不同，同样使用跳层连接获得细 节增强的解码特征。
步骤8，重建：用一个3×3的重建卷积层得到本级的去噪重建图像X2，即恢复的清晰红 外图像。
本实施例在训练双级特征融合去噪网络时采用的损失函数为
Figure BDA0003674070570000051
即第S级 最终重建结果与原图之间的L1损失。本实施例在训练时采用的图像块大小为128128，将 网络第一层特征提取的宽度设置为32，学习率预设为2×10-4，并且采用余弦退火策略将之 逐步衰减为1×10-6。使用的优化器为Adam优化器，β1和β2分别设置为0.9和0.999， 采用的损失函数为公式3.8。整个网络的训练环境为基于Linux系统的BasicSR1.2.0， Pytorch1.8.0+cu111，TorchVision0.9.0+cu111。在训练过程中，使用2张RTX 3090进行分布 式训练，每张显卡上的Batchsize设置为16，并总共迭代4×105次，完成一次训练需要约 3天。

Claims (5)

1.基于双级特征融合的红外图像去噪方法，其特征在于，该方法包括以下步骤：
第一级：
步骤1，利用第一特征提取卷积层提取遭受噪声污染的红外图像的初始特征；
步骤2，将提取的初始特征输入到第一编码结构中，在编码过程中通过不断的下采样获取三种不同尺度的编码特征，每种尺度对应一种分辨率；
步骤3，将获得的最后一个尺度的编码特征，输入到第一解码结构中，通过不断地上采样过程恢复分辨率获得上述三种不同尺度的解码特征，在同一尺度下，使用跳层连接将步骤2所提取的编码特征与解码特征相加，获得细节增强的解码特征；
步骤4，将步骤3输出的最后一个尺度的细节增强的解码特征输入到自监督注意力模块中，由该模块给出去噪重建图像X1，同时提取出注意力增强的特征表示；
第二级：
步骤5，再对步骤1的红外图像使用第二特征提取卷积层提取初始特征，并与步骤4中所述的注意力增强的特征表示做拼接操作；
步骤6，将拼接后的特征用特征调整卷积层调整特征通道数，输入到第二编码结构中，所述第二编码结构与第一编码结构的构成相同但参数不同；并且在每一个下采样过程后获得的当前尺度下的第二编码特征中，将第一级网络编码和解码部分的对应尺度的特征，通过卷积处理之后，与之相加，获得当前尺度下融合后的第二编码特征；
步骤7，将步骤6融合后的第二编码特征输入到第二解码结构中，所述第二解码结构与第一解码结构的构成相同但参数不同，同样使用跳层连接获得细节增强的解码特征；
步骤8，对步骤7输出的细节增强的解码特征使用重建卷积层得到本级的去噪重建图像X2，即恢复的清晰红外图像。
2.根据权利要求1所述的基于双级特征融合的红外图像去噪方法，其特征在于，所述步骤2中，使用G残差块和2×2的下采样层作为一个基本的下采样模块，在下采样过程中，采用两次2×2下采样模块，将特征通道数量翻倍，得到三种不同尺度的编码特征。
3.根据权利要求2所述的基于双级特征融合的红外图像去噪方法，其特征在于，所述G残差块的处理步骤是：将输入经过一个3×3的卷积层之后，使用组归一化方式GN对参数依照通道相关性做归一化处理，再之后使用高斯误差线性单元做非线性处理。
4.根据权利要求1所述的基于双级特征融合的红外图像去噪方法，其特征在于，所述步骤3中，第一解码结构使用卷积核大小为4的转置卷积层；上采样之后，使用残差连接块对特征进行映射；此外，在每一个尺度下都添加一个跳层连接，以补偿由于重采样所造成的信息损失。
5.根据权利要求1所述的基于双级特征融合的红外图像去噪方法，其特征在于，所述步骤4中，所述自监督注意力模块包括以下计算步骤：
步骤41，将输入的特征
Figure FDA0003674070560000021
用残差重建卷积层来生成残差图像
Figure FDA0003674070560000022
这里H×W表示空间维度且C表示通道数；
步骤42，将残差图像和输入的噪声图像相加，从而得到恢复的清晰图像
Figure FDA0003674070560000023
步骤43，重建图X1经过注意力卷积层和Sigmoid函数，生成掩模
Figure FDA0003674070560000024
所述掩模用于注意力增强；
步骤44，最初的特征Fin经过特征映射卷积层的处理之后，与所述掩模相乘，再与特征Fin相加，就会生成一系列注意力增强的特征；
步骤45，将步骤44获得的特征和第二级提取的初始特征做拼接操作，从而完成部分注意力增强的功能。
CN202210615368.3A 2022-06-01 2022-06-01 基于双级特征融合的红外图像去噪方法 Pending CN115187468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210615368.3A CN115187468A (zh) 2022-06-01 2022-06-01 基于双级特征融合的红外图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210615368.3A CN115187468A (zh) 2022-06-01 2022-06-01 基于双级特征融合的红外图像去噪方法

Publications (1)

Publication Number Publication Date
CN115187468A true CN115187468A (zh) 2022-10-14

Family

ID=83513809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210615368.3A Pending CN115187468A (zh) 2022-06-01 2022-06-01 基于双级特征融合的红外图像去噪方法

Country Status (1)

Country Link
CN (1) CN115187468A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统

Similar Documents

Publication Publication Date Title
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111539886B (zh) 一种基于多尺度特征融合的去雾方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111815516A (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN114677304A (zh) 一种基于知识蒸馏和深度神经网络的图像去模糊算法
CN116777764A (zh) 一种基于扩散模型的光学遥感图像去云雾方法及系统
CN115187468A (zh) 基于双级特征融合的红外图像去噪方法
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Su et al. JPEG steganalysis based on ResNeXt with gauss partial derivative filters
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN114764752A (zh) 一种基于深度学习的夜晚影像去雾算法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
Zhang et al. Efficient content reconstruction for high dynamic range imaging
CN117058009A (zh) 一种基于条件扩散模型的全色锐化方法
CN116934613A (zh) 一种用于文字修复的分支卷积通道注意力模块
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法
CN116229083A (zh) 一种基于轻量u型结构网络的图像去噪方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN115689918A (zh) 一种基于残差先验注意力机制的并行单幅图像去雨方法
Zhuge et al. Single image denoising with a feature-enhanced network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination