CN118096534B - 一种基于互补参考的红外图像超分辨率重建方法 - Google Patents
一种基于互补参考的红外图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN118096534B CN118096534B CN202410510608.2A CN202410510608A CN118096534B CN 118096534 B CN118096534 B CN 118096534B CN 202410510608 A CN202410510608 A CN 202410510608A CN 118096534 B CN118096534 B CN 118096534B
- Authority
- CN
- China
- Prior art keywords
- scale
- representing
- infrared image
- resolution
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000295 complement effect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于互补参考的红外图像超分辨率重建方法，涉及图像处理方法技术领域。本发明通过利用浅层特征提取模块分别对低分辨率红外图像和参考图像进行特征提取，通过外编码器对初步提取的低分辨率红外图像特征和参考图像特征进行编码得到外编码器编码后的多个不同尺度的低分辨率红外图像和参考图像特征；通过特征对齐转移模块使外编码器编码后的低分辨率红外图像和参考图像特征对齐，得到多尺度融合对齐特征图；通过外解码器将多尺度融合对齐特征图与低分辨率红外图像特征有效融合，利用重建模块完成重建工作，得到超分辨率红外图像。本发明能够重建出细节清晰，纹理丰富的超分辨率红外图像。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于互补参考的红外图像超分辨率重建方法。
背景技术
可见光图像指的是人眼可见波段范围内光线所成的图像，可见光成像具有成像技术成熟、可视化效果好等特点，在日常生活中具有广泛的应用。红外图像指的是红外波段所成的图像，反映图像的红外特性。红外波段的成像技术，由于具有探测能力强以及抗干扰能力强等特点，在武器制导、目标检测、跟踪等领域都有着极其广泛的应用，因此红外图像数据的获取受到了极大的重视。与低分辨率红外图像相比，高分辨率红外图像包含更多的高频细节，提供更丰富的场景信息。由于硬件设备的限制，未经处理的红外图像分辨率普遍较低，纹理特征也不如可见光图像明显。提高红外图像空间分辨率的最直接途径是改进红外探测器阵列的尺寸和性能。但该方法在一定程度上受探测器材料和工艺水平的限制，且实施成本相对较高。因此通过图像处理技术来增强红外图像质量、提高红外图像分辨率就有着重大意义。
单图像超分辨率重建（SISR）的目标是从低分辨率图像中恢复高分辨率图像。近年来，利用深度神经网络解决SISR问题取得了显著成果。基于深度卷积网络的超分辨率重建（SRCNN）是利用深度卷积网络将低分辨率图像映射到高分辨率图像。为了进一步提高超分辨率性能，研究人员采用了带有注意机制和残差块的深层神经网络(EDSR,RFANet,RCAN,SwinIR)。然而，当高分辨率纹理高度退化时，传统的SISR方法难以恢复清晰的细节。
与SISR的唯一输入是低分辨率图像不同，基于参考图像的超分辨率重建（RefSR）
使用了额外的参考图像，大大提高了超分辨率重建。RefSR将外部参考图像的精细细节转移
到输入低分辨率图像中具有相似纹理的区域，使超分辨率重建获得更丰富的高频成分。
CrossNet（使用跨尺度变形的端到端和全卷积深度神经网络）将RefSR定义为参考图像与低
分辨率输入图像共享相似视点的任务，并提出了一种端到端的神经网络，结合了基于光流
的扭曲过程和图像合成。然而，光流的地面真实值的获取代价很高，并且其他预训练网络的
流量估计不准确。此外，虽然翘曲在某种程度上处理了非刚性变形，但它极易受到大运动的
影响。SRNTT不是估计光流，而是计算低分辨率图像和参考图像之间的相似性之后从参考图
像中转移纹理，牺牲了计算效率来捕获长距离依赖关系。-Matching提出了一种对比对应
网络，在输入和参考图像之间进行大尺度和旋转变换鲁棒匹配。虽然-Matching大大提高
了匹配精度，但在对准方面仍有改进的余地。此外，-Matching没有对参考特征进行过滤
和选择，忽略了低分辨率和参考图像之间可能存在的较大分布差异。
发明内容
为了克服上述的不足，本发明的目的是提供一种基于互补参考的红外图像超分辨率重建方法，以使重建的超分辨率红外图像更加清晰，纹理细节更加丰富，并在定量和定性的基准数据集上实现了最先进的性能。
本发明解决其技术问题的技术方案是：一种基于互补参考的红外图像超分辨率重建方法，包括以下步骤：
利用浅层特征提取模块分别对低分辨率红外图像和参考图像进行特征提取，得到初步提取的低分辨率红外图像特征和参考图像特征；
通过外编码器对初步提取的低分辨率红外图像特征和参考图像特征进行编码得到外编码器编码后的多个不同尺度的低分辨率红外图像和参考图像特征；
通过特征对齐转移模块使外编码器编码后的低分辨率红外图像和参考图像特征对齐，得到多尺度融合对齐特征图；所述特征对齐转移模块由跨尺度扭曲模块，轻量级自注意力偏移量估计器（LAOF）和可变形卷积组成；跨尺度扭曲模块作为特征对齐转移模块的一个分支，使用非局部光流分析器（NL-FE）生成多尺度下的跨尺度对应，再通过跨尺度扭曲函数来执行非刚性图像变换；特征对齐转移模块的另一个分支由轻量级自注意力偏移量估计器（LAOF）动态学习偏移量，通过可变形卷积进行特征相似性搜索和提取；最后将跨尺度扭曲模块和可变形卷积的输出进行融合，得到多尺度融合对齐特征图；
通过外解码器将多尺度融合对齐特征图与低分辨率红外图像特征有效融合，外解码器由空间正则化模块和互补融合模块组成，通过空间正则化模块将多尺度融合对齐特征图的分布重新映射为低分辨率红外图像特征的分布；互补融合模块会将传递的多尺度融合对齐特征图与低分辨率红外图像特征有效融合；
利用重建模块完成重建工作，得到超分辨率红外图像。
进一步优选，浅层特征提取模块由多个卷积和Relu激活函数组成。
进一步优选，跨尺度扭曲模块中首先将外编码器编码的第2尺度特征通过内编码器，进而得到更加细节的特征图，通过非局部光流分析器（NL-FE）估计多尺度下的光流信息，进而由考虑逐像素位移向量的跨尺度扭曲函数执行非刚性图像变换，使得输入的红外图像特征和参考图像特征对齐得到跨尺度对齐特征图，最后将跨尺度对齐特征图与红外图像特征通过内解码器进行融合。该过程可描述为：
；
, ；
,；
,；
其中，表示外编码器编码后第2个尺度的红外图像特征，表示外编码器编
码后第2个尺度的参考图像特征，表示内编码器，内编码器编码得到三个不同尺度的红
外图像特征和参考图像特征,表示内编码器编码后第i个尺度
的红外图像特征，表示内编码器编码后第i个尺度的参考图像特征。表示非局部
光流分析器（NL-FE），表示对应于第i个尺度参考图像特征的光流信息，表示跨尺
度扭曲函数，它为每个像素位置分配一个特定的移位向量，以避免出现块状和模糊的伪影。表示跨尺度扭曲函数输出的第i个尺度对齐特征图。表示内解码器，表示跨尺度
扭曲模块对齐融合结果。
进一步优选，非局部光流分析器（NL-FE）将各个尺度的红外图像特征和参考图像特征通过非局部注意块进行全局分析，并通过Drop层激活和3×3卷积得到不同尺度的光流信息，具体步骤如下：
,；
+, ；
其中，表示非局部注意块，表示dropout激活函数，表示非局部
光流分析器（NL-FE）的中间量。
进一步优选，非局部注意块利用相似性匹配找到红外图像特征与参考图像特征之间的全局对应关系，具体步骤如下：
,；
,；
, ；
,；
, ；
其中，表示变换形状操作，用于改变向量的形状，方便后面向量间的点
积操作；表示第i个尺度上形状改变后的残差块中输出的红外图像特征，表示第i
个尺度上形状改变后的残差块中输出的参考图像特征；表示卷积核大小为3×3的卷
积操作，表示卷积核大小为3×3的DW卷积，表示第i个尺度上形状改变后的DW卷
积中输出的红外图像特征，表示和进行点积操作后的输出，表示与
的对应关系图。
进一步优选，轻量级自注意力偏移量估计器（LAOF）能根据参考图像和低分辨率红外图像之间的相似性来学习可变形卷积的偏移量，将学习到的偏移量作为可变形卷积中的参数去对齐参考图像和低分辨率红外图像的特征，表示为：
, ；
, ；
其中，表示轻量级自注意力偏移量估计器，计算得到参考图像与低分辨率
红外图像第i个尺度之间偏移量；表示可变形卷积，表示可变形卷积输出
的第i个尺度对齐特征图。
进一步优选，特征对齐转移模块最后将跨尺度扭曲模块对齐融合结果与可变形卷积输出的对齐特征图拼接并通过卷积层，得到多尺度融合对齐特征图，表示为：
；
其中，表示特征对齐转移模块输出的第i个尺度融合对齐特征图。
进一步优选，外解码器的处理过程描述为：
,；
；
；
；
其中，表示空间正则化模块，表示重新分布的第i个尺度融合对齐特征
图，表示互补融合模块，，分别表示互补融合模块上采样×2和上采样×4的
中间特征图。表示外解码器输出的对齐特征图。
进一步优选，空间正则化模块将红外图像特征和融合对齐特征图连接起来，再输入到卷积层中，然后将实例规范层应用于红外图像得到标准化特征，并计算平均值和方差。
进一步优选，所述互补融合模块通过普通卷积和转置卷积互补组合的残差连接，将重新分布的多尺度融合对齐特征图与红外图像特征进行融合。
与现有技术相比，本发明具有以下有益效果：本发明结合了基于光流对准和可变形卷积对准。利用可变形卷积偏移量的多样性解决了基于光流对准中的鲁棒性问题，而基于光流对准实现了多尺度特征转移，弥补了可变形卷积出现潜在不对齐的问题。空间正则化模块利用了实例规范层（instance normalization layer）将对齐的参考图像特征的分布重新映射为低分辨率红外图像特征的分布，应对参考图像具有不同颜色和亮度的问题，能够更好地利用从参考图像中提取的有用信息，也有利于互补融合模块将传递的参考图像特征与低分辨率红外图像特征融合。通过本发明的方法，可以完美地对齐参考图像并把参考图像的纹理特征精确地转移到低分辨率红外图像中，从而得到细节清晰，纹理丰富的超分辨率红外图像。
本发明在基于光流对准方法中，我们提出非局部光流分析器（NL-FE）旨在多尺度精确地逐像素定位，应用块级跨尺度相似性匹配找到输入图像与参考图像之间的全局对应关系。在可变形卷积对准方法中，利用轻量级自注意力偏移量估计器（LAOF）来有效地定位可在远距离定位的相关特征，捕获内部特征间的全局相关性，有助于预测具有极大接受场的动态偏移量，以处理小位移和大位移。
附图说明
为了易于说明，本发明由下述附图作以详细描述。
图1为本发明的基于互补参考的红外图像超分辨率重建网络模型结构图。
图2为本发明的跨尺度扭曲模块结构图。
图3为本发明的非局部光流分析器NL-FE结构图。
图4为本发明的非局部注意块结构图。
图5为本发明的轻量级自注意力偏移量估计器LAOF结构图。
图6为本发明的轻量级自注意力机制结构图。
图7为本发明的空间正则化模块结构图。
图8为本发明的互补融合模块结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
如图1所示，本实施例提供了一种基于互补参考的红外图像超分辨率重建方法，本方法所使用基于互补参考的红外图像超分辨率重建网络模型包括：浅层特征提取模块、三个特征对齐转移模块、外编码器、外解码器和重建模块；包括以下步骤：
利用浅层特征提取模块分别对低分辨率红外图像和参考图像进行特征提取，得到初步提取的低分辨率红外图像特征和参考图像特征；
通过外编码器对初步提取的低分辨率红外图像特征和参考图像特征进行编码得到外编码器编码后的3个不同尺度的低分辨率红外图像和参考图像特征；
通过特征对齐转移模块使外编码器编码后的低分辨率红外图像和参考图像特征对齐，得到多尺度融合对齐特征图；所述特征对齐转移模块由跨尺度扭曲模块，轻量级自注意力偏移量估计器（LAOF）和可变形卷积组成；跨尺度扭曲模块作为特征对齐转移模块的一个分支，使用非局部光流分析器（NL-FE）生成多尺度下的跨尺度对应，再通过跨尺度扭曲函数来执行非刚性图像变换，但当参考图像与输入图像差异很大时，会出现明显性能的下降；特征对齐转移模块的另一个分支由轻量级自注意力偏移量估计器（LAOF）动态学习偏移量，而不需要任何光流先验，通过可变形卷积进行特征相似性搜索和提取。最后将跨尺度扭曲模块和可变形卷积的输出进行融合，得到多尺度融合对齐特征图；可以有效地捕获远距离依赖关系，从而能够完美的弥补参考图像和输入图像差异大而导致对齐效果差的问题；
通过外解码器将多尺度融合对齐特征图与低分辨率红外图像特征有效融合，外解码器由空间正则化模块和互补融合模块组成，通过空间正则化模块将多尺度融合对齐特征图的分布重新映射为低分辨率红外图像特征的分布；互补融合模块会将传递的多尺度融合对齐特征图与低分辨率红外图像特征有效融合；
利用重建模块(重建模块由残差通道注意块和3×3上采样卷积组成)完成重建工作，得到超分辨率红外图像。
本实施例中，利用浅层特征提取模块对低分辨率红外图像或参考图像进行初步特征提取具体为：采用2个3×3卷积和ReLU激活函数提取低分辨率红外图像的浅层特征，该过程描述为：
（1）；
（2）；
其中，表示卷积核大小为3×3的卷积操作，表示ReLU激活函数，
表示输入低分辨率红外图像，表示输入参考图像，表示初步提取的低分辨率红外图
像特征，表示初步提取的参考图像特征。
本实施例中，利用外编码器对初步特征进行编码，下采样三次得到3个不同尺度特征，再通过残差块提取每个尺度特有的信息，该过程描述为：
（3）；
（4）；
（5）；
（6）；
其中，表示步距s为1的3×3普通卷积,表示步距s为2的3×3下采样
卷积，表示外编码器编码后第i个尺度的红外图像特征，表示外编码器编码后第i+
1个尺度的红外图像特征，表示外编码器编码后第i个尺度的参考图像特征，表示
外编码器编码后第i+1个尺度的参考图像特征。
如图2所示，跨尺度扭曲模块中首先将外编码器编码的第2尺度特征通过内编码器，进而得到更加细节的特征图，通过非局部光流分析器（NL-FE）估计多尺度下的光流信息，进而由考虑逐像素位移向量的跨尺度扭曲函数执行非刚性图像变换，使得输入的红外图像特征和参考图像特征对齐得到跨尺度对齐特征图，最后将跨尺度对齐特征图与红外图像特征通过内解码器进行融合。该过程可描述为：
(7)；
, （8）；
, （9）；
, （10）；
其中，表示外编码器编码后第2个尺度的红外图像特征，表示外编码器编
码后第2个尺度的参考图像特征，表示内编码器，内编码器编码得到三个不同尺度的红
外图像特征和参考图像特征,表示内编码器编码后第i个尺度
的红外图像特征，表示内编码器编码后第i个尺度的参考图像特征。表示非局
部光流分析器（NL-FE），表示对应于第i个尺度参考图像特征的光流信息，表示跨
尺度扭曲函数，它为每个像素位置分配一个特定的移位向量，以避免出现块状和模糊的伪
影。表示跨尺度扭曲函数输出的第i个尺度对齐特征图。表示内解码器，表示跨
尺度扭曲模块对齐融合结果。
如图3所示，非局部光流分析器（NL-FE）将各个尺度的红外图像特征和参考图像特征通过非局部注意块进行全局分析，并通过Drop层激活和3×3卷积得到不同尺度的光流信息。具体步骤如下：
, （11）；
+, （12）；
其中，表示非局部注意块，表示Dropout激活函数，表示非局部
光流分析器（NL-FE）的中间量。
如图4所示，非局部注意块能够精确地逐像素定位，利用相似性匹配找到红外图像特征与参考图像特征之间的全局对应关系。具体步骤如下：
, （13）；
, （14）；
, （15）；
, （16）；
, （17）；
其中，表示变换形状操作，用于改变向量的形状，方便后面向量间的点
积操作。表示第i个尺度上形状改变后的残差块中输出的红外图像特征，表示第i
个尺度上形状改变后的残差块中输出的参考图像特征。表示卷积核大小为3×3的卷
积操作，表示卷积核大小为3×3的DW卷积，表示第i个尺度上形状改变后的DW卷
积中输出的红外图像特征，表示和进行点积操作后的输出，表示与
的对应关系图。
本实施例中，轻量级自注意力偏移量估计器（LAOF）能根据参考图像和低分辨率红外图像之间的相似性来学习可变形卷积的偏移量，将学习到的偏移量作为可变形卷积中的参数去对齐参考图像和低分辨率红外图像的特征。可描述为：
, （18）；
, （19）；
其中，表示轻量级自注意力偏移量估计器，计算得到参考图像与低分辨率
红外图像第i个尺度之间偏移量。表示可变形卷积，表示可变形卷积输
出的第i个尺度对齐特征图。
如图5所示，轻量级自注意力偏移量估计器（LAOF）为了捕获从近距离到远距离的
相似性，动态地获取偏移量，且偏移量能够覆盖广泛的区域，主动到达各种遥远的位置。遵
循光流网络中常用的多尺度原理，下采样三次，以便在预测偏移量时可以考虑多个级别的
尺度。该模块的输入为内编码器的输出和，且i=0，1,2。为了公式描述，以i=0时的输
入和为例，当i=1,2时同理，具体步骤如下：
（20）；
（21）；
（22）；
其中，表示通道特征拼接操作，表示输入轻量级自注意力偏移量估
计器计算得到的第i个尺度特征图，表示输入轻量级自注意力偏移量估计器的原始特
征图,表示输入轻量级自注意力偏移量估计器计算得到的第2个尺度特征图,表示
输入轻量级自注意力偏移量估计器计算得到的第i+1个尺度特征图,表示卷积核大小
为3×3的DW卷积。表示BatchNorm层。表示轻量级自注意力偏移量估计
器输出的第i个尺度特征图，表示轻量级自注意力偏移量估计器输出的第i-1个尺度
特征图，表示轻量级自注意力偏移量估计器输出的第2个尺度特征图，其中就是
第i个尺度下LAOF最后输出的偏移量。表示轻量级自注意力，表示上
采样的转置卷积，卷积核为3×3。
如图6所示，轻量级自注意力机制运用了Transformer中self-attention的思想，在大大减少计算量的同时，性能也得到了保证。首先特征图通过卷积层并变换形状，均分成维度相同的Q,K,V三个向量。分配给每个Q（查询）的权重是由V（值）与K（键）各自通过层归一化函数相乘得到，并除以特征图的长宽积以减少运算量，根据权重可以计算像素间的相关性，以捕获远程和全局依赖关系。接着通过改变形状与初始特征图进行残差连接，最后进行卷积和激活。具体步骤如下：
（23）；
（24）；
， （25）；
（26）；
（27）；
其中，表示轻量级自注意力的输入特征图，表示经过卷积通道数为初始特征
图3倍的特征图。函数将通道平均分割成查询（Q）、键（K）、值（V）三部分。表示LayerNorm层，将键（K）、值（V）向量展开。表示自注意力。表
示键向量的转置，和分别表示的高和宽。表示卷积核大小为1×1的卷积操作,表示GELU激活函数，表示轻量级自注意力机制的计算结果。
本实施例中，特征对齐转移模块最后将跨尺度扭曲模块对齐融合结果与可变形卷积输出的对齐特征图拼接并通过卷积层，得到多尺度融合对齐特征图。
（28）；
其中，表示特征对齐转移模块输出的第i个尺度融合对齐特征图。
本实施例中，外解码器包含空间正则化模块和互补融合模块。在很多情况下，红外图像和参考图像可能具有相似的内容和纹理。但颜色和亮度差别很大，简单地将参考图像和红外图像特征连接在一起并输入到卷积层并不是最优的。空间正则化模块可以将对齐的参考图像特征（多尺度融合对齐特征）的分布重新映射为红外图像特征的分布，进而通过互补融合模块更高效地融合。可描述为：
, （29）；
（30）；
（31）；
（32）；
其中，表示空间正则化模块，表示重新分布的第i个尺度融合对齐特征
图，表示互补融合模块，，分别表示互补融合模块上采样×2和上采样×4的
中间特征图。表示外解码器输出的对齐特征图。
如图7所示，空间正则化模块将红外图像特征和融合对齐特征图（对齐的参考图像特征）连接起来，再输入到卷积层中。然后将实例规范层（instance normalization layer）应用于红外图像得到标准化特征，并计算平均值和方差。具体过程描述为：
, （33）；
, （34）；
, （35）；
, （36）；
, （37）；
其中，表示各尺度特征图输入3×3卷积后的结果，表示实例规
范层（instance normalization layer），表示各尺度标准化的红外特征图，表示红
外特征图通道维度的坐标，表示红外图像特征的高和宽，分别表示第i个尺度红
外特征图通道维度上的平均值和方差。
如图8所示，互补融合模块通过普通卷积和转置卷积互补组合的残差连接，将重新分布的多尺度融合对齐特征图与红外图像特征进行融合，具体过程描述为：
（38）；
（39）；
（40）；
其中，表示3×3的转置卷积，和分别表示上下两分支的输出结果，表示互补融合模块输出特征图。
最后重建模块由RCAN网络中的残差通道注意块和一个上采样3×3卷积组成，通过上采样预测的特征图重构为超分辨率红外图像，该过程描述为：
= （41）；
（42）；
其中，表示残差通道注意块，表示残差通道注意块重建图，表示3
×3上采样卷积，表示重建后的超分辨率红外图像。
本发明通过损失函数对所述红外图像超分辨率重建方法进行优化，融合重建损失
(reconstruction loss)和对抗损失(adversarial loss)。总体损失为：
+ （43）；
其中，表示重建损失，表示重建损失的超参数，表示对抗损失，表
示对抗损失的超参数。
重建损失：为了使超分辨率图像更接近高分辨率地面真实图像，采用了如下
的重建损失：
（44）；
其中，表示1范数。
对抗损失：为了提高超分辨率图像的视觉质量，将对抗损失引入优化目标当中。对抗损失定义为:
（45）；
（46）；
其中，表示相对平均鉴别器的损失，表示生成器的损失，()为相对平均鉴别
器；和分别是网络生成的输出和真实高分辨率图像；表示真实图像的数学期望，表示生成图像的数学期望。
本发明实施例通过基于光流对准和可变形卷积对准互补结合的方式，得到了精准对齐的特征图，并具有强鲁棒性。空间正则化模块和互补融合模块可以将Ref特征的分布重新映射为LR特征的分布，保证参考图像中信息被精准利用，并与红外图像有效融合。本方法可以重建出细节清晰，纹理丰富的超分辨率红外图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于互补参考的红外图像超分辨率重建方法，其特征在于，包括以下步骤：
利用浅层特征提取模块分别对低分辨率红外图像和参考图像进行特征提取，得到初步提取的低分辨率红外图像特征和参考图像特征；
通过外编码器对初步提取的低分辨率红外图像特征和参考图像特征进行编码得到外编码器编码后的多个不同尺度的低分辨率红外图像和参考图像特征；
通过特征对齐转移模块使外编码器编码后的低分辨率红外图像和参考图像特征对齐，得到多尺度融合对齐特征图；所述特征对齐转移模块由跨尺度扭曲模块，轻量级自注意力偏移量估计器和可变形卷积组成；跨尺度扭曲模块作为特征对齐转移模块的一个分支，使用非局部光流分析器生成多尺度下的跨尺度对应，再通过跨尺度扭曲函数来执行非刚性图像变换；特征对齐转移模块的另一个分支由轻量级自注意力偏移量估计器动态学习偏移量，通过可变形卷积进行特征相似性搜索和提取；最后将跨尺度扭曲模块和可变形卷积的输出进行融合，得到多尺度融合对齐特征图；
通过外解码器将多尺度融合对齐特征图与低分辨率红外图像特征有效融合，外解码器由空间正则化模块和互补融合模块组成，通过空间正则化模块将多尺度融合对齐特征图的分布重新映射为低分辨率红外图像特征的分布；互补融合模块将传递的多尺度融合对齐特征图与低分辨率红外图像特征有效融合；
利用重建模块完成重建工作，得到超分辨率红外图像。
2.根据权利要求1所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，浅层特征提取模块由多个卷积和Relu激活函数组成。
3.根据权利要求1所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，跨尺度扭曲模块中首先将外编码器编码的第2尺度特征通过内编码器，进而得到更加细节的特征图，通过非局部光流分析器估计多尺度下的光流信息，进而由考虑逐像素位移向量的跨尺度扭曲函数执行非刚性图像变换，使得输入的红外图像特征和参考图像特征对齐得到跨尺度对齐特征图，最后将跨尺度对齐特征图与红外图像特征通过内解码器进行融合，描述为：
；
, ；
,；
,；
其中，表示外编码器编码后第2个尺度的红外图像特征，表示外编码器编码后第2个尺度的参考图像特征，表示内编码器，内编码器编码得到三个不同尺度的红外图像特征和参考图像特征,表示内编码器编码后第i个尺度的红外图像特征，表示内编码器编码后第i个尺度的参考图像特征，表示非局部光流分析器，表示对应于第i个尺度参考图像特征的光流信息，表示跨尺度扭曲函数，表示跨尺度扭曲函数输出的第i个尺度对齐特征图；表示内解码器，表示跨尺度扭曲模块对齐融合结果。
4.根据权利要求3所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，非局部光流分析器将各个尺度的红外图像特征和参考图像特征通过非局部注意块进行全局分析，并通过Drop层激活和3×3卷积得到不同尺度的光流信息，具体步骤如下：
,；
+,；
其中，表示非局部注意块，表示dropout激活函数，表示非局部光流分析器的中间量。
5.根据权利要求4所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，非局部注意块利用相似性匹配找到红外图像特征与参考图像特征之间的全局对应关系，具体步骤如下：
,；
,；
, ；
,；
, ；
其中，表示变换形状操作，用于改变向量的形状，方便后面向量间的点积操作；表示第i个尺度上形状改变后的残差块中输出的红外图像特征，表示第i个尺度上形状改变后的残差块中输出的参考图像特征；表示卷积核大小为3×3的卷积操作，表示卷积核大小为3×3的DW卷积，表示第i个尺度上形状改变后的DW卷积中输出的红外图像特征，表示和进行点积操作后的输出，表示与的对应关系图。
6.根据权利要求3所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，轻量级自注意力偏移量估计器能根据参考图像和低分辨率红外图像之间的相似性来学习可变形卷积的偏移量，将学习到的偏移量作为可变形卷积中的参数去对齐参考图像和低分辨率红外图像的特征，表示为：
, ；
, ；
其中，表示轻量级自注意力偏移量估计器，计算得到参考图像与低分辨率红外图像第i个尺度之间偏移量；表示可变形卷积，表示可变形卷积输出的第i个尺度对齐特征图。
7.根据权利要求6所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，特征对齐转移模块最后将跨尺度扭曲模块对齐融合结果与可变形卷积输出的对齐特征图拼接并通过卷积层，得到多尺度融合对齐特征图，表示为：
；
其中，表示特征对齐转移模块输出的第i个尺度融合对齐特征图。
8.根据权利要求7所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，外解码器的处理过程描述为：
,；
；
；
；
其中，表示空间正则化模块，表示重新分布的第i个尺度融合对齐特征图，表示互补融合模块，，分别表示互补融合模块上采样×2和上采样×4的中间特征图；表示外解码器输出的对齐特征图。
9.根据权利要求4所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，所述空间正则化模块将红外图像特征和融合对齐特征图连接起来，再输入到卷积层中，然后将实例规范层应用于红外图像得到标准化特征，并计算平均值和方差。
10.根据权利要求4所述的基于互补参考的红外图像超分辨率重建方法，其特征在于，所述互补融合模块通过普通卷积和转置卷积互补组合的残差连接，将重新分布的多尺度融合对齐特征图与红外图像特征进行融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410510608.2A CN118096534B (zh) | 2024-04-26 | 2024-04-26 | 一种基于互补参考的红外图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410510608.2A CN118096534B (zh) | 2024-04-26 | 2024-04-26 | 一种基于互补参考的红外图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118096534A CN118096534A (zh) | 2024-05-28 |
| CN118096534B true CN118096534B (zh) | 2024-06-25 |
Family
ID=91158787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410510608.2A Active CN118096534B (zh) | 2024-04-26 | 2024-04-26 | 一种基于互补参考的红外图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118096534B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119378A (zh) * | 2020-08-31 | 2022-03-01 | 华为技术有限公司 | 图像融合方法、图像融合模型的训练方法和装置 |
| CN113139907B (zh) * | 2021-05-18 | 2023-02-14 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、系统、装置及存储介质 |
| CN116071243B (zh) * | 2023-03-27 | 2023-06-16 | 江西师范大学 | 一种基于边缘增强的红外图像超分辨率重建方法 |
-
2024
- 2024-04-26 CN CN202410510608.2A patent/CN118096534B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 基于生成对抗网络的红外图像电力设备超分辨算法研究;严利雄;刘晓华;李茗;司马朝进;刘志鹏;;通信电源技术;20200210(03);全文 * |
| 顾及运动估计误差的"凝视"卫星视频运动场景超分辨率重建;卜丽静;郑新杰;张正鹏;;测绘学报;20200215(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118096534A (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Molini et al. | Deepsum: Deep neural network for super-resolution of unregistered multitemporal images | |
| CN109377530B (zh) | 一种基于深度神经网络的双目深度估计方法 | |
| CN111325797A (zh) | 一种基于自监督学习的位姿估计方法 | |
| CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN111950477A (zh) | 一种基于视频监督的单图像三维人脸重建方法 | |
| CN113283525A (zh) | 一种基于深度学习的图像匹配方法 | |
| CN115131675A (zh) | 一种基于参考影像纹理迁移的遥感影像压缩方法及系统 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| Almasri et al. | Rgb guided thermal super-resolution enhancement | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN114743105A (zh) | 一种基于跨模态知识蒸馏的深度特权视觉里程计方法 | |
| CN117237623B (zh) | 一种无人机遥感图像语义分割方法及系统 | |
| Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
| CN118096534B (zh) | 一种基于互补参考的红外图像超分辨率重建方法 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| Liao et al. | TransRef: Multi-scale reference embedding transformer for reference-guided image inpainting | |
| Chen et al. | DDGAN: Dense Residual Module and Dual-stream Attention-Guided Generative Adversarial Network for colorizing near-infrared images | |
| Xu et al. | Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data | |
| Nguyen et al. | Super resolution face image based on locally linear embedding and local correlation | |
| CN117095033B (zh) | 一种基于图像与几何信息引导的多模态点云配准方法 | |
| CN115909045B (zh) | 一种基于对比学习的two-stage滑坡图谱特征智能识别方法 | |
| Peng et al. | Structure Prior Guided Deep Network for Compressive Sensing Image Reconstruction from Big Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |