CN116071243A - 一种基于边缘增强的红外图像超分辨率重建方法 - Google Patents

一种基于边缘增强的红外图像超分辨率重建方法 Download PDF

Info

Publication number
CN116071243A
CN116071243A CN202310300255.9A CN202310300255A CN116071243A CN 116071243 A CN116071243 A CN 116071243A CN 202310300255 A CN202310300255 A CN 202310300255A CN 116071243 A CN116071243 A CN 116071243A
Authority
CN
China
Prior art keywords
edge
features
convolution
representing
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310300255.9A
Other languages
English (en)
Other versions
CN116071243B (zh
Inventor
阮嘉辰
胡蕾
李海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202310300255.9A priority Critical patent/CN116071243B/zh
Publication of CN116071243A publication Critical patent/CN116071243A/zh
Application granted granted Critical
Publication of CN116071243B publication Critical patent/CN116071243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于边缘增强的红外图像超分辨率重建方法，涉及图像处理方法技术领域。本发明利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS‑RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。通过本发明的方法，能够重建出边缘清晰和纹理细节丰富的超分辨率红外图像。

Description

一种基于边缘增强的红外图像超分辨率重建方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于边缘增强的红外图像超分辨率重建方法。
背景技术
由于微电子技术的迅猛发展，基于可见光的光学相机凭借其较快的成像速度和较好的成像质量，迅速在安防监控、无人机、军事和农业等领域得到了广泛的应用。然而，由于其成像原理的限制，在夜间和极端恶劣天气条件场景下，基于可见光的RGB相机成像质量直线下降。此时，红外相机由于穿透烟、雾等能力较强，在上述场景下可替代传统的可见光相机用于捕获图像。但是，一般民用红外相机的传感器分辨率较低，与动辄百万像素的RGB光学相机难以比拟，导致其最终捕获的红外图像分辨率较低。因而，采用新技术高效而又经济的提高红外图像的分辨率成为亟待解决的问题。相较于花费大量时间和资金投入研发高分辨率红外传感器，从图像处理算法这一技术路径来提升红外图像分辨率成为目前主流发展方向。
单一图像超分辨率重建是图像处理领域中一个经典的研究问题，其旨在通过低分辨率图像重建具有精细细节的高分辨率图像。为了生成高质量的超分辨率图像，图像处理领域的研究学者提出了许多超分辨率方法，目前单一图像超分辨率重建方法可分为三种类型：基于插值的方法、基于重构的方法和基于学习的方法。基于插值的方法主要有最近邻近插值、双线性插值和双三次插值等。这类方法计算较为简单、易于实现和理解，但是重建结果容易出现振铃效应，无法恢复图像中的纹理细节信息。基于重构的方法有迭代反向投影法、非均匀内插法和最大后验概率法等。该类方法对图像的获取过程建立观测模型，然后通过求解观测模型的逆问题来实现超分辨重建，但是该类方法实现过程相对复杂，计算量较大，并且十分耗时。基于深度学习的方法主要有SRCNN、FSRCNN、ESPCNN、VDSR、EDSR、RDN和RCAN等算法。该类算法利用在低分辨率图像块与高分辨率图像块之间建立端到端的映射，对高频信息进行复原，重建出了很不错的高分辨率图像，但是上述方法在提取高频特征时，提取方式比较单一，并没有考虑多尺度特征信息，并且重建出的图像缺乏清晰的边缘结构。
发明内容
为了克服上述所述的不足，本发明的目的是提供一种基于边缘增强的红外图像超分辨率重建方法，以使重建的超分辨率红外图像边缘更加清晰，纹理细节更加丰富，且适用范围广。
本发明解决其技术问题的技术方案是：一种基于边缘增强的红外图像超分辨率重建方法，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS-RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
进一步优选，所述边缘特征提取是指将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征。
进一步优选，所述边缘特征提取：将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，增强输入低分辨率红外图像的边缘权重，将增强边缘权重的低分辨率红外图像输入CATS-RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征。
进一步优选，在最大值池化坐标注意力模块中，低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
进一步优选，CATS-RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
进一步优选，深层特征提取时，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
进一步优选，深层特征提取时，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，深层特征提取过程描述为：
Figure SMS_1
其中，
Figure SMS_4
表示第
Figure SMS_9
个多重残差可选择核卷积组，
Figure SMS_13
表示多重残差可选择核卷 积组的数量，
Figure SMS_5
表示第
Figure SMS_8
个多重残差可选择核卷积组的多尺度中间特征，
Figure SMS_12
表示第
Figure SMS_16
个 多重残差可选择核卷积组的多尺度中间特征，
Figure SMS_2
表示第
Figure SMS_6
个多重残差可选择核卷积组的多 尺度中间特征，
Figure SMS_10
表示边缘特征融合块，
Figure SMS_14
表示空间和通道维度边缘增强的高频特 征，
Figure SMS_3
表示卷积核大小为3×3的卷积操作，
Figure SMS_7
表示深层特征，
Figure SMS_11
表示浅层特征，
Figure SMS_15
表示 最终边缘特征。
进一步优选，所述残差可选择核卷积块包含两个3×3卷积层、一个
Figure SMS_17
激活函数、残差连接和一个注意力增强的可选择核卷积模块，残差可选择核卷积块处理过程描述为：
Figure SMS_18
其中，
Figure SMS_20
表示残差可选择核卷积块的输入特征，
Figure SMS_23
表示残差可选择核卷积块的输出特征，
Figure SMS_26
表示注意力增强的可选择核卷积模块，
Figure SMS_21
表示可变的
Figure SMS_24
激活函数，
Figure SMS_27
表示
Figure SMS_29
激活函数可学习的斜率，
Figure SMS_19
表示
Figure SMS_22
激活函数可学习的截距，
Figure SMS_25
表示
Figure SMS_28
激活函数的输入特征。
进一步优选，注意力增强的可选择核卷积模块的处理过程描述为：
Figure SMS_30
其中，
Figure SMS_38
表示可选择卷积的输入特征，
Figure SMS_43
为扩张率为1的3×3卷积，
Figure SMS_51
为扩张率为2的3×3卷积，
Figure SMS_35
表示LeakyReLU激活函数
Figure SMS_45
为扩张率为1的3×3卷积输出特征，
Figure SMS_52
为扩张率为2的3×3卷积输出特征，
Figure SMS_59
表示三重注意力机制，
Figure SMS_33
为
Figure SMS_41
经三重注意力权重增强的特征输出，
Figure SMS_49
为
Figure SMS_57
经三重注意力权重增强的特征输出，
Figure SMS_36
表示不同尺度融合的特征，
Figure SMS_42
表示融合特征
Figure SMS_50
在
Figure SMS_58
位置的值，
Figure SMS_34
表示全局平均池化，
Figure SMS_44
表示通道统计信息，
Figure SMS_53
表示训练权重，
Figure SMS_60
表示全连接层，
Figure SMS_31
表示压缩特征，
Figure SMS_39
表示Softmax激活函数，
Figure SMS_47
表示
Figure SMS_55
的软注意力向量，
Figure SMS_32
表示
Figure SMS_40
的软注意力向量，
Figure SMS_48
表示
Figure SMS_56
经核注意力权重二次分配的特征输出，
Figure SMS_37
表示
Figure SMS_46
经核注意力权重二次分配的特征输出，
Figure SMS_54
表示经多种核注意力权重分配输出的最终特征图。
进一步优选，边缘特征融合块将边缘特征经过一层3×3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维度边缘增强的纹理特征与转换维度后的边缘特征拼接再通过通道混洗操作均匀混洗两种特征，最后经1×1卷积使两种特征充分融合得到空间和通道维度边缘增强的高频特征。
进一步优选重建模块由亚像素卷积层和3×3卷积组成。
与现有技术相比，本发明具有以下有益效果：本发明通过增强的残差可选择核卷积模块，实现神经元的自适应感受野大小，提取多尺度高频细节特征。将低分辨率红外图像输入强边缘特征提取模块，提取准确和细腻的边缘特征。通过边缘特征融合模块，利用空间维度相加和通道维度拼接技术，有效融合多尺度高频特征信息和边缘特征，得到边缘增强的高频特征。通过本发明的方法，可以获得边缘更加清晰，纹理细节更加丰富的超分辨率红外图像。
本发明的强边缘特征提取模块为融合最大值池化坐标注意力的CATS-RCF（Context-Aware Tracing Strategy-Richer Convolutional Features）边缘提取网络，引入了最大值池化坐标注意力来增强输入低分辨率红外图像的边缘权重，以方便CATS-RCF提取低分辨率红外图像的边缘特征，并且CATS-RCF边缘提取网络还引入了追踪损失和上下文感知融合模块，不仅融合了阶段边缘特征，对阶段边缘特征进行自注意力权重分配，而且通过追踪损失抑制非边缘点，得到清晰准确的边缘输出；具有边缘清晰和边界准确等特点，对超分重建任务具有很重要的意义。融合最大值池化坐标注意力的CATS-RCF边缘提取网络是预训练好的，在训练主干网络的同时这部分边缘提取模块是冻结参数，这样不仅可以在不增强任何训练时间的情况下，还能保证所提取的边缘特征的准确性。
附图说明
为了易于说明，本发明由下述附图作以详细描述。
图1为本发明的基于边缘增强的红外图像超分辨率重建网络模型结构图。
图2为本发明的基于最大值池化的坐标注意力模块结构图。
图3为本发明的CATS-RCF边缘提取网络结构图。
图4为本发明的多重残差深层特征提取模块结构图。
图5为本发明的残差可选择核卷积组结构图。
图6为本发明的残差可选择核卷积块结构图。
图7为本发明的注意力增强的可选择核卷积模块结构图。
图8为本发明的三重注意力机制结构图。
图9为本发明的边缘特征融合块结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
如图1所示，本实施例提供了一种基于边缘增强的红外图像超分辨率重建方法，本方法所使用基于边缘增强的红外图像超分辨率重建网络模型包括：浅层特征提取模块、强边缘特征提取模块、多重残差深层特征提取模块和重建模块。利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS-RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
本实施例中，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取具体为：利用卷积层擅于提取特征的特点，采用一个3×3卷积提取低分辨率红外图像的浅层特征，该过程描述为：
Figure SMS_61
（1）
其中，
Figure SMS_62
表示浅层特征提取模块，
Figure SMS_63
表示低分辨率红外图像，
Figure SMS_64
表示浅层特征；
本实施例中，利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征，该过程描述为：
Figure SMS_65
（2）
其中，
Figure SMS_66
表示强边缘特征提取模块，
Figure SMS_67
表示最终边缘特征。
如图2所示，将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，极大的增强输入低分辨率红外图像的边缘权重，该过程描述为：
Figure SMS_68
（3）
其中，
Figure SMS_69
表示最大值池化坐标注意力模块，
Figure SMS_70
表示经最大值池化坐标注意力进行权重重新分配的低分辨率红外图像特征。低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
如图3所示，将增强边缘权重的低分辨率红外图像输入CATS-RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征，该过程描述为：
Figure SMS_71
（4）
其中，
Figure SMS_72
表示CATS-RCF边缘提取网络。CATS-RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
本实施例中，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
本实施例如图4所示，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，可以对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，本实例中取n=10,m=20，该过程描述为：
Figure SMS_73
（5）
Figure SMS_74
（6）
Figure SMS_75
（7）
其中，
Figure SMS_77
表示第
Figure SMS_83
个多重残差可选择核卷积组，
Figure SMS_86
表示多重残差可选择核卷积组的数量，
Figure SMS_79
表示第
Figure SMS_81
个多重残差可选择核卷积组的多尺度中间特征，
Figure SMS_85
表示第
Figure SMS_88
个多重残差可选择核卷积组的多尺度中间特征，
Figure SMS_76
表示第
Figure SMS_80
个多重残差可选择核卷积组的多尺度中间特征，
Figure SMS_84
表示边缘特征融合块，
Figure SMS_87
表示空间和通道维度边缘增强的高频特征，
Figure SMS_78
表示卷积核大小为3×3的卷积操作，
Figure SMS_82
表示深层特征。
如图5所示，通过将浅层特征输入残差可选择核卷积组，可以提取多尺度高级特征，残差可选择核卷积组包含20个残差可选择核卷积块、一个3×3卷积和一个局部残差连接，该过程描述为：
Figure SMS_89
（8）
Figure SMS_90
（9）
其中，
Figure SMS_91
表示残差可选择核卷积块，
Figure SMS_92
表示残差多尺度特征，
Figure SMS_93
表示第1个多重残差可选择核卷积组的多尺度中间特征。
通过将中间特征输入残差可选择核卷积块，可以提取多尺度中间特征，如图6所示，残差可选择核卷积块包含两个3×3卷积层、一个
Figure SMS_94
激活函数、残差连接和一个注意力增强的可选择核卷积模块，该过程描述为：
Figure SMS_95
（10）
Figure SMS_96
（11）
其中，
Figure SMS_98
表示残差可选择核卷积块的输入特征，
Figure SMS_102
表示残差可选择核卷积块的输出特征，
Figure SMS_106
表示注意力增强的可选择核卷积模块，
Figure SMS_99
表示可变的
Figure SMS_101
激活函数，
Figure SMS_104
表示
Figure SMS_107
激活函数可学习的斜率，
Figure SMS_97
表示
Figure SMS_100
激活函数可学习的截距，
Figure SMS_103
表示
Figure SMS_105
激活函数的输入特征。
如图7所示，注意力增强的可选择核卷积模块通过移除普通可选择核卷积模块中的BN层以适应超分辨率重建任务，引入LeakyReLU激活函数以激活更多图像细节特征，并在每一个分支加入轻量的三重注意力机制，通过捕捉空间维度和输入张量通道维度之间的交互，进行跨维度权重分配，从而达到提取更精细的多尺度纹理特征，该过程描述为：
Figure SMS_108
（12）
Figure SMS_109
（13）
Figure SMS_110
（14）
Figure SMS_111
（15）
Figure SMS_112
（16）
Figure SMS_113
（17）
Figure SMS_114
（18）
Figure SMS_115
（19）
其中，
Figure SMS_118
表示可选择卷积的输入特征，
Figure SMS_128
为扩张率为1的3×3卷积，
Figure SMS_138
为扩张率为2的3×3卷积，
Figure SMS_120
表示LeakyReLU激活函数,
Figure SMS_125
为扩张率为1的3×3卷积输出特征，
Figure SMS_134
为扩张率为2的3×3卷积输出特征，
Figure SMS_141
表示三重注意力机制，
Figure SMS_122
为
Figure SMS_131
经三重注意力权重增强的特征输出，
Figure SMS_140
为
Figure SMS_145
经三重注意力权重增强的特征输出，
Figure SMS_117
表示不同尺度融合的特征，
Figure SMS_127
表示融合特征
Figure SMS_136
在
Figure SMS_144
位置的值，
Figure SMS_123
表示全局平均池化，
Figure SMS_126
表示通道统计信息，
Figure SMS_133
表示训练权重，
Figure SMS_142
表示全连接层，
Figure SMS_116
表示压缩特征，
Figure SMS_124
表示Softmax激活函数，
Figure SMS_129
表示
Figure SMS_137
的软注意力向量，
Figure SMS_119
表示
Figure SMS_130
的软注意力向量，
Figure SMS_135
表示
Figure SMS_143
经核注意力权重二次分配的特征输出，
Figure SMS_121
表示
Figure SMS_132
经核注意力权重二次分配的特征输出，
Figure SMS_139
表示经多种核注意力权重分配输出的最终特征图。
如图8所示，三重注意力机制将特征分别输入第一个分支和第二个分支，首先经过维度转换，接着进行平均池化和最大值池化操作，再经过7×7卷积和批量正则化进行特征提取，最后经过Sigmoid激活函数得到权重向量与输入特征相乘进行权重分配；再将特征输入第三个分支，首先经过通道池化，接着经过7×7卷积和批量正则化进行特征提取，最后经过Sigmoid激活函数得到权重向量与输入特征相乘进行权重分配；最后对三个分支输出特征相加求平均，得到跨维度交互注意力权重特征。
如图9所示，边缘特征融合块将边缘特征经过一层3×3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维度边缘增强的纹理特征与转换维度后的边缘特征拼接再通过通道混洗操作均匀混洗两种特征，最后经1×1卷积使两种特征充分融合得到空间和通道维度边缘增强的高频特征，该过程描述为：
Figure SMS_146
（20）
Figure SMS_147
（21）
Figure SMS_148
（22）
其中，
Figure SMS_149
表示经3×3卷积进行通道数转换的输出边缘特征，
Figure SMS_150
表示空间维度边缘增强的输出特征，
Figure SMS_151
表示通道特征拼接操作，
Figure SMS_152
表示通道混洗操作。
对深层特征进行上采样重建，通过上采样预测的特征图重构为超分辨率红外图像，重建模块由亚像素卷积层（Pixel-Shuffle）和3×3卷积组成，该过程描述为：
Figure SMS_153
（23）
Figure SMS_154
（24）
其中，
Figure SMS_155
表示亚像素卷积上采样模块，
Figure SMS_156
表示上采样后的特征，
Figure SMS_157
表示重建后的超分辨率红外图像。
本发明通过损失函数对所述红外图像超分辨率重建方法进行优化，所述损失函数使用K个重建超分辨率红外图像与对应真实高分辨率红外图像间的平均误差，其表达式为：
Figure SMS_158
（25）
其中，
Figure SMS_159
表示基于边缘增强的红外图像超分辨率重建网络模型，
Figure SMS_160
表示损失函数,
Figure SMS_161
表示第k个低分辨率红外图像，
Figure SMS_162
表示第k个真实高分辨率红外图像。
本发明实施例通过采用注意力增强的可选择核卷积模块自适应地调整感受野，提取多尺度的细节特征。通过采用强边缘特征提取模块解决了低分辨率红外图像边缘不显著，并且提取到了清晰准确的边缘特征。通过构造边缘特征融合块，有效的融合了多尺度高频特征和边缘特征。本方法可以重建出边缘清晰，纹理细节丰富的超分辨率红外图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘增强的红外图像超分辨率重建方法，其特征在于，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS-RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
2.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述边缘特征提取是指将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征。
3.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述边缘特征提取：将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，增强输入低分辨率红外图像的边缘权重，将增强边缘权重的低分辨率红外图像输入CATS-RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征。
4.根据权利要求3所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，在最大值池化坐标注意力模块中，低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
5.根据权利要求3所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，CATS-RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
6.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，深层特征提取时，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
7.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，深层特征提取时，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，深层特征提取过程描述为：
Figure QLYQS_1
其中，
Figure QLYQS_4
表示第
Figure QLYQS_6
个多重残差可选择核卷积组，
Figure QLYQS_9
表示多重残差可选择核卷积组的数量，
Figure QLYQS_5
表示第
Figure QLYQS_10
个多重残差可选择核卷积组的多尺度中间特征，
Figure QLYQS_14
表示第
Figure QLYQS_16
个多重残差可选择核卷积组的多尺度中间特征，
Figure QLYQS_2
表示第
Figure QLYQS_8
个多重残差可选择核卷积组的多尺度中间特征，
Figure QLYQS_13
表示边缘特征融合块，
Figure QLYQS_15
表示空间和通道维度边缘增强的高频特征，
Figure QLYQS_3
表示卷积核大小为3×3的卷积操作，
Figure QLYQS_7
表示深层特征，
Figure QLYQS_11
表示浅层特征，
Figure QLYQS_12
表示最终边缘特征。
8.根据权利要求7所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述残差可选择核卷积块包含两个3×3卷积层、一个
Figure QLYQS_17
激活函数、残差连接和一个注意力增强的可选择核卷积模块，残差可选择核卷积块处理过程描述为：
Figure QLYQS_18
其中，
Figure QLYQS_21
表示残差可选择核卷积块的输入特征，
Figure QLYQS_23
表示残差可选择核卷积块的输出特征，
Figure QLYQS_27
表示注意力增强的可选择核卷积模块，
Figure QLYQS_20
表示可变的
Figure QLYQS_24
激活函数，
Figure QLYQS_26
表示
Figure QLYQS_29
激活函数可学习的斜率，
Figure QLYQS_19
表示
Figure QLYQS_22
激活函数可学习的截距，
Figure QLYQS_25
表示
Figure QLYQS_28
激活函数的输入特征。
9.根据权利要求8所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，注意力增强的可选择核卷积模块的处理过程描述为：
Figure QLYQS_30
其中，
Figure QLYQS_34
表示可选择卷积的输入特征，
Figure QLYQS_44
为扩张率为1的3×3卷积，
Figure QLYQS_52
为扩张率为2的3×3卷积，
Figure QLYQS_32
表示LeakyReLU激活函数,
Figure QLYQS_39
为扩张率为1的3×3卷积输出特征，
Figure QLYQS_48
为扩张率为2的3×3卷积输出特征，
Figure QLYQS_54
表示三重注意力机制，
Figure QLYQS_37
为
Figure QLYQS_43
经三重注意力权重增强的特征输出，
Figure QLYQS_51
为
Figure QLYQS_59
经三重注意力权重增强的特征输出，
Figure QLYQS_35
表示不同尺度融合的特征，
Figure QLYQS_42
表示融合特征
Figure QLYQS_49
在
Figure QLYQS_56
位置的值，
Figure QLYQS_36
表示全局平均池化，
Figure QLYQS_45
表示通道统计信息，
Figure QLYQS_55
表示训练权重，
Figure QLYQS_60
表示全连接层，
Figure QLYQS_31
表示压缩特征，
Figure QLYQS_41
表示Softmax激活函数，
Figure QLYQS_50
表示
Figure QLYQS_58
的软注意力向量，
Figure QLYQS_33
表示
Figure QLYQS_40
的软注意力向量，
Figure QLYQS_47
表示
Figure QLYQS_53
经核注意力权重二次分配的特征输出，
Figure QLYQS_38
表示
Figure QLYQS_46
经核注意力权重二次分配的特征输出，
Figure QLYQS_57
表示经多种核注意力权重分配输出的最终特征图。
10.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，边缘特征融合块将边缘特征经过一层3×3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维度边缘增强的纹理特征与转换维度后的边缘特征拼接再通过通道混洗操作均匀混洗两种特征，最后经1×1卷积使两种特征充分融合得到空间和通道维度边缘增强的高频特征。
CN202310300255.9A 2023-03-27 2023-03-27 一种基于边缘增强的红外图像超分辨率重建方法 Active CN116071243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310300255.9A CN116071243B (zh) 2023-03-27 2023-03-27 一种基于边缘增强的红外图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310300255.9A CN116071243B (zh) 2023-03-27 2023-03-27 一种基于边缘增强的红外图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN116071243A true CN116071243A (zh) 2023-05-05
CN116071243B CN116071243B (zh) 2023-06-16

Family

ID=86180533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310300255.9A Active CN116071243B (zh) 2023-03-27 2023-03-27 一种基于边缘增强的红外图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN116071243B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468812A (zh) * 2023-05-16 2023-07-21 山东省计算中心（国家超级计算济南中心） 一种基于多分支和多尺度的图像压缩感知重构方法及系统
CN117078516A (zh) * 2023-08-11 2023-11-17 济宁安泰矿山设备制造有限公司 基于残差混合注意力的矿井图像超分辨率重建方法
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117391938A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种红外图像超分辨率重建方法、系统、设备及终端
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117495680A (zh) * 2024-01-02 2024-02-02 华侨大学 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法
CN117575915A (zh) * 2024-01-16 2024-02-20 闽南师范大学 一种图像超分辨率重建方法、终端设备及存储介质
CN118096534A (zh) * 2024-04-26 2024-05-28 江西师范大学 一种基于互补参考的红外图像超分辨率重建方法
CN118169752A (zh) * 2024-03-13 2024-06-11 北京石油化工学院 一种基于多特征融合的地震相位拾取方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971354A (zh) * 2014-05-19 2014-08-06 四川大学 低分辨率红外图像重建高分辨率红外图像的方法
CN110458758A (zh) * 2019-07-29 2019-11-15 武汉工程大学 一种图像超分辨率重建方法、系统及计算机存储介质
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法
CN113222819A (zh) * 2021-05-19 2021-08-06 厦门大学 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN114581300A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种图像超分辨率重建方法及装置
WO2022151535A1 (zh) * 2021-01-15 2022-07-21 苏州大学 基于深度学习的人脸特征点检测方法
CN114782254A (zh) * 2022-05-17 2022-07-22 江西师范大学 一种融合边缘信息的红外图像超分辨率重建系统及方法
CN115222601A (zh) * 2022-08-06 2022-10-21 福州大学 基于残差混合注意力网络的图像超分辨率重建模型及方法
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN115526779A (zh) * 2022-10-10 2022-12-27 上海大学 一种基于动态注意力机制的红外图像超分辨率重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971354A (zh) * 2014-05-19 2014-08-06 四川大学 低分辨率红外图像重建高分辨率红外图像的方法
CN110458758A (zh) * 2019-07-29 2019-11-15 武汉工程大学 一种图像超分辨率重建方法、系统及计算机存储介质
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法
WO2022151535A1 (zh) * 2021-01-15 2022-07-21 苏州大学 基于深度学习的人脸特征点检测方法
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN113222819A (zh) * 2021-05-19 2021-08-06 厦门大学 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN114581300A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种图像超分辨率重建方法及装置
CN114782254A (zh) * 2022-05-17 2022-07-22 江西师范大学 一种融合边缘信息的红外图像超分辨率重建系统及方法
CN115222601A (zh) * 2022-08-06 2022-10-21 福州大学 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN115526779A (zh) * 2022-10-10 2022-12-27 上海大学 一种基于动态注意力机制的红外图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KORNKAMOL THAKULSUKANANT; VORAPOJ PATANAVIJIT: "A novel resolution enhancement established on an iterative regularized ML MSRR and high-frequency pre-determining SSRR for ultra-magnification rate", 《2017 14TH INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING/ELECTRONICS, COMPUTER, TELECOMMUNICATIONS AND INFORMATION TECHNOLOGY (ECTI-CON)》 *
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468812A (zh) * 2023-05-16 2023-07-21 山东省计算中心（国家超级计算济南中心） 一种基于多分支和多尺度的图像压缩感知重构方法及系统
CN117078516B (zh) * 2023-08-11 2024-03-12 济宁安泰矿山设备制造有限公司 基于残差混合注意力的矿井图像超分辨率重建方法
CN117078516A (zh) * 2023-08-11 2023-11-17 济宁安泰矿山设备制造有限公司 基于残差混合注意力的矿井图像超分辨率重建方法
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117132472B (zh) * 2023-10-08 2024-05-31 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117391938A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种红外图像超分辨率重建方法、系统、设备及终端
CN117391938B (zh) * 2023-12-13 2024-02-20 长春理工大学 一种红外图像超分辨率重建方法、系统、设备及终端
CN117456289B (zh) * 2023-12-25 2024-03-08 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117495680A (zh) * 2024-01-02 2024-02-02 华侨大学 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法
CN117495680B (zh) * 2024-01-02 2024-05-24 华侨大学 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法
CN117575915A (zh) * 2024-01-16 2024-02-20 闽南师范大学 一种图像超分辨率重建方法、终端设备及存储介质
CN118169752A (zh) * 2024-03-13 2024-06-11 北京石油化工学院 一种基于多特征融合的地震相位拾取方法及系统
CN118096534A (zh) * 2024-04-26 2024-05-28 江西师范大学 一种基于互补参考的红外图像超分辨率重建方法

Also Published As

Publication number Publication date
CN116071243B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN116071243B (zh) 一种基于边缘增强的红外图像超分辨率重建方法
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
Zamir et al. Learning enriched features for fast image restoration and enhancement
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
CN110070511B (zh) 图像处理方法和装置、电子设备及存储介质
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN108259994B (zh) 一种提高视频空间分辨率的方法
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN110070489A (zh) 一种基于视差注意力机制的双目图像超分辨方法
CN112001843B (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN114782298A (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
Gong et al. Learning deep resonant prior for hyperspectral image super-resolution
Zheng et al. Double-branch dehazing network based on self-calibrated attentional convolution
Ai et al. Single image super-resolution via residual neuron attention networks
CN117952883A (zh) 一种基于双边网格和显著性引导的逆光图像增强方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
Chen et al. Remote sensing image super-resolution with residual split attention mechanism
Yang et al. Deep networks for image super-resolution using hierarchical features
Ding et al. Robust Haze and Thin Cloud Removal via Conditional Variational Autoencoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant