CN116523740B - 一种基于光场的红外图像超分辨率方法 - Google Patents
一种基于光场的红外图像超分辨率方法 Download PDFInfo
- Publication number
- CN116523740B CN116523740B CN202310235395.2A CN202310235395A CN116523740B CN 116523740 B CN116523740 B CN 116523740B CN 202310235395 A CN202310235395 A CN 202310235395A CN 116523740 B CN116523740 B CN 116523740B
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- feature
- features
- sai
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 241000711981 Sais Species 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 8
- 241000276498 Pollachius virens Species 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于光场的红外图像超分辨率方法，该方法主要是提出了一个超分辨率多级监督网络模型，该模型由特征提取、多级超分辨率和特征融合三个子模型组成，其中多级超分辨率子模型由多个超分辨率子模型组成，可增强低分辨率光场图像生成超分辨率图像的性能。本发明提出了全局‑局部特征互增强策略来增强每个SAI的纹理，并设计了多分支交叉视图注意块来保持SAI之间的视差结构，前者通过全局特征增强局部特征，通过局部特征细化全局特征，后者将SAI划分为四个角度分支，并通过双向卷积长短期记忆网络学习保持SAI之间的视差结构。通过定性和定量结果表明，我们的方法优于目前最先进的方法，并且在大视差场景中表现稳健。
Description
技术领域
本发明属于图像处理领域，特别是涉及一种红外图像超分辨率的方法。
背景技术
红外图像的分辨率低、纹理细节弱，提高红外图像的成像分辨率对于提高红外成像质量具有重要意义。从物理层面提升红外图像分辨率费用高昂，一般采用超分辨率算法提升红外图像分辨率。以往的图像超分辨率研究多应用于单图像的方法和基于多帧图像的方法，如插值、重建或深度学习。
目前，超分辨率技术可以分为两类，一类是基于学习的方法，一类是基于重建的方法。基于学习的方法需要大量的高分辨率图像构造学习库来学习模型，借助预先的训练学习来寻找或建立低分辨率图像与其对应的高分辨率图像之间的映射关系，提取高频信息，从而在给定低分辨率图像的情况下，通过优化方法获得相应的高分辨率图像；而基于重建的方法是通过单幅或多幅低分辨率图像预估出高分辨率图像。基于学习的方法对数据依赖大，对硬件的需求较高，局限性较为明显。
光场成像作为一种多视点成像方法已广泛应用于各种场景，如三维重建、重新聚焦和深度估计。将光场引入红外成像，并使用红外光场（IRLF）提高性能红外图像超分辨率非常有前途。通过光场成像获得的子孔径图像（SAI）可以保留丰富的空间和角度信息多个视图和位置，有利于图像超分辨率（SR）。基于光场的图像超分辨率方法，可利用不同视图之间的视差信息可以获得准确的低分辨率图像的超分辨率结果。一方面，这种方法借助子孔径图像之间的相关性而不是图像本身的纹理信息来实现超分辨率，避免了红外图像纹理不足带来的影响；另一方面，不同视图之间的视差信息为图像的超分辨率提供了参考，能获得更加可靠的超分辨率图像。总的来说，基于光场图像进行红外图像超分辨率技术有着巨大的潜力，但当前还没有开展利用红外光场进行图像超分辨率的研究。
发明内容
本发明针对现有技术的不足，为了获得更加稳健的超分辨率图像，提供了一种基于光场的红外图像超分辨率方法，该方法主要是提出了一个超分辨率多级监督网络模型，该模型由特征提取、多级特征超分辨率和特征融合三个子模型组成，其中多级超分辨率子模型由多个超分辨率子模型组成，可增强低分辨率光场图像生成超分辨率图像的性能。
为了达到上述目的，本发明提供的技术方案是：一种基于光场的红外图像超分辨率方法，包括如下步骤：
步骤1，建立红外光场图像的超分辨率多级监督网络模型，用于将红外相机阵列生成的低分辨率红外图像阵列超分至更高分辨率的红外图像阵列，红外光场图像的超分辨率多级监督网络模型包括3个模块，分别是特征提取模块、多级特征超分辨率模块和特征融合模块；
步骤2，建立特征提取模块，用于提取初始的低分辨率子孔径图像的初始全局空间特征和初始局部空间特征，用于后续的多级特征超分辨率和特征融合步骤；
步骤3，建立多级特征超分辨率模块，用于对特征提取模块提取的特征进行增强，最后输出增强的全局空间特征和超分辨的局部空间特征；
步骤4，建立特征融合模块，融合所有超分辨的局部空间特征和下采样特征用于生成最终重建结果，所述下采样特征是通过对超分辨的局部空间特征进行下采样操作得到；
步骤5，利用损失函数对多级监督网络模型进行训练，输出超分辨率重建结果。
进一步的，步骤1中设定3×3红外相机阵列生成的低分辨率红外图像阵列的集合为，表示如下：
其中，为角度分辨率，为空间分辨率，为角度空间模型的横坐标，为角度空间模型的纵坐标；为红外图像阵列的行数，为红外图像阵列每行子孔径图像的个数。
进一步的，步骤2中首先对低分辨率红外图像阵列的集合进行1×1卷积运算，再把卷积结果分别输入到全局特征提取子模块GFExB和局部特征提取子模块LFExB，得到初始全局空间特征和初始局部空间特征为，具体实现方式如下；
步骤2.1，全局特征提取子模块GFExB包括图像对齐子模块IAB和金字塔型空洞池化ResASPP子模块；
其中图像对齐子模块IAB是用于将一个3×3的SAIs阵列中其他SAI与第个SAI对齐，其具体实现过程如下；
提取第i个子孔径图像SAI的特征，其他8个子孔径图像SAI为，利用残差子模块RB来学习第个SAI特征和其他SAI的偏移量，其中，，，学习后的偏移量和通过3×3可变形卷积，输出与第个SAI的特征一致的SAI特征；
其中，表示对齐的第个SAI的可变形卷积；
将3×3的SAIs阵列中的其他SAI的特征与对齐，得到与第个SAI对齐的SAI特征，可表示为：
金字塔型空洞池化ResASPP子模块用于提取SAI的全局特征，在ResASPP块中，利用三个扩张的3×3卷积核从输入特征中提取判别特征，并在每个扩张卷积层之后选择ReLU层作为激活层，然后由下一个1×1卷积层连接和融合特征，最后，融合特征通过元素求和与输入相结合；
步骤2.2，局部特征提取子模块LFExB包括两个金字塔型空洞池化ResASPP子模块和两个残差子模块RB；
其中，残差子模块RB的处理过程为，输入信息通过3×3卷积、ReLU激活层和3×3卷积处理，得到的结果，再与输入信息相结合。
进一步的，步骤2.1中，全局特征提取子模块GFExB提取低分辨率红外图像阵列中每行SAI对应的初始全局空间特征的具体实现方式如下；
针对第个，首先通过图像对齐块将所有与第个对齐，再将这些对齐的特征沿通道维度堆叠以获得对齐的第个SAI，第个对齐的SAI记为，表示为：
其中，和为自然数，，；
使用金字塔型空洞池化ResASPP块进一步提取SAI的初始全局空间特征，表示为：
其中，C是ResASPP块的输出通道；
对所有的SAI，循环上述步骤，得到任意一个SAI的初始全局空间特征，表示为：
所有的SAI的初始全局空间特征的表示为：
。
进一步的，步骤2.2中，局部特征提取子模块LFExB提取3×3阵列中每行SAI对应的初始局部空间特征的具体实现方式如下；
使用叠加的ResASPP块和残差块RB从浅层特征中提取更多冗余的局部特征，得到任意一个SAI的初始局部空间特征，表示为：
所有的SAI的初始局部空间特征为，表示为：
其中，表示1×1的卷积，表示ResASPP块，表示残差块RB。
进一步的，步骤3中，将SAI的初始全局空间特征和初始局部空间特征作为第一级输入到全局特征混合块GFRB中，所述的GFRB混合和，生成混合的全局特征，和通过局部特征更新器LFU得到增强的局部空间特征；通过多分支交叉视图注意块MbCvAB得到进一步增强的局部空间特征，通过多尺度超分辨率块MS-SRB得到超分辨率局部空间特征，通过全局特征更新器GFU得到全局空间；将下采样后的与作为下一级中GFRB块的输入，将下采样后的作为下一级MS-SRB块的输入。
进一步的，步骤3的具体实现方式如下；
步骤3.1，全局特征混合块AFRB：为了最大限度地利用每个SAI的全局空间信息，每个SAI的初始局部空间特征通过IAB块、图像堆栈ViewStack和ResASPP块得到第一全局空间特征，同一个SAI的与通道连接，再通过1×1卷积得到第二全局空间特征为，其表达式为：
其中，cat是通道连接，H1×1是卷积；
步骤3.2，局部特征更新器LFU：LFU借助第二全局空间特征来增强输入的初始局部空间特征；首先沿通道维度将每个SAI的第二全局特征与通道连接，通过1×1卷积、激活函数和残差块RB融合，得到该SAI的第一增强局部空间特征，的表达式为：
步骤3.3，多分支交叉视图注意块MbCvAB：首先将第一增强局部空间特征分成四个角分支，即，并采用双向卷积长短期记忆网络BiConvLSTM来学习所有SAI之间的交叉视角注意；最后，将学习到的角度注意映射添加到，得到第二增强局部空间特征，以服务于交叉视角注意，进一步增强，角度注意映射和第二增强局部空间特征定义为：
其中，表示*角分支中的局部空间特征，*取，是指BiConvLSTM；
步骤3.4，建立多尺度超分辨率块MS-SRB，MS-SRB由三个平行标度分支组成，即原始标度分支、1/2标度分支和1/4标度分支，每个分支包括三个顺序模块：残差块RB、通道注意力CA和上采样up，其中上采样因子与SR因子相同；在1/2或1/4中，输入步骤3.3中的特征，对进行1/2或1/4下采样，通过残差块RB和通道注意力CA处理之后，以2倍和4倍进行上采样；然后，通过1×1卷积对这些分支的输出特征进行级联和融合，得到SAI的超分辨率局部空间特征，其中，可定义为：
其中，表示超分辨率特征中的*比例分支，代表通道注意力，和表示*比例分支中的上采样和下采样操作，*的取值为1、1/2、1/4，是图像超分辨率采样因子；
步骤3.5，全局特征更新器GFU：为了校正在GFRB和特征提取中导致提取不准确的全局空间特征，建立GFU来校正全局空间特征，GFU在超分辨局部空间特征的帮助下对进行细化；对于第个SAI，下采样后与相应的全局空间特征通过残差块和激活函数生成偏移量，偏移量与通过3×3可变形卷积，得到增强的全局空间特征，的表达式为：
其中，表示关于第个SAI的可变形卷积运算。
进一步的，步骤4的具体实现方式如下；
步骤4.1，对每一级的特征超分辨率模块的超分辨率局部空间特征下采样，下采样的结果通过通道连接处理，对通道连接处理后的结果进行通道注意力机制、残差块和上采样处理，处理结果表示为，的表达式为：
其中，为上采样和下采样的系数；K为多级特征超分辨率模块的级数；
步骤4.2，对每一级的超分辨率模块的超分辨率局部空间特征进行通道注意力CA、残差子模块RB和1×1卷积处理，处理结果表示为，的表达式为：
步骤4.3，将和按元素求和，输出结果，为超分辨率后的光场图像，的表达式为：
其中，表示SAIs的插值算子。
进一步的，步骤5中，使用损失函数进行训练，提供一批用于训练的3×3光场低分辨率图像，设图像总数为，超分辨率重建结果与其对应高分辨率对应物之间的损失定义如下：
其中，表示3×3光场低分辨率子孔径图像，是红外光场图像，是所述的多级监督网络模型。
进一步的，步骤2中金字塔型空洞池化ResASPP子模块的三个扩张的3×3卷积核的扩张率分别为1、2、4。
与现有技术相比，本发明的优点和有益效果：
本发明提出了一种基于光场的红外图像超分辨率方法，该方法由超分辨率多级监督网络模型组成，该模型由特征提取、多级特征超分辨率和特征融合三个子模型组成，其中多级特征超分辨率子模型由多个超分辨率子模型组成，可增强低分辨率光场图像生成超分辨率图像的性能。本发明提出了全局-局部特征互增强策略来增强每个SAI的纹理，并设计了多分支交叉视图注意块来保持SAI之间的视差结构。前者通过全局特征增强局部特征，通过局部特征细化全局特征。后者将SAI划分为四个角度分支，并通过双向卷积长短期记忆网络（BiConvLSTM）学习保持SAI之间的视差结构。通过定性和定量结果表明，我们的方法优于目前最先进的方法，并且在大视差场景中表现稳健。
附图说明
图1为本方法结构图；
图2为特征提取模块结构图；
图3为多级特征超分辨率模块结构图；
图4为特征融合模块结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明提供的一种基于光场的红外图像超分辨率方法，具体包括如下步骤：
步骤1：建立红外光场图像的超分辨率多级监督网络模型，用于将3×3红外相机阵列生成的低分辨率红外图像阵列超分至更高分辨率的红外图像阵列。红外光场图像的超分辨率多级监督网络模型包括3个模块，分别是特征提取模块、多级特征超分辨率模块和特征融合模块。
步骤1.1：设定3×3红外相机阵列生成的低分辨率红外图像阵列的集合为，表示如下：
其中，为角度分辨率，为空间分辨率。为角度空间模型的横坐标，为角度空间模型的纵坐标；为红外图像阵列的行数，为红外图像阵列每行子孔径图像（）的个数。
步骤2：建立特征提取模块，旨在提取低分辨率红外图像阵列的每个全局空间特征和局部空间特征，用于后续的多级特征超分辨率和特征融合步骤。对低分辨率红外图像阵列的集合进行1×1卷积运算，再把卷积结果分别输入到全局特征提取子模块GFExB和局部特征提取子模块LFExB，得到初始全局空间特征和初始局部空间特征为。
步骤2.1：全局特征提取子模块GFExB包括图像对齐子模块IAB和金字塔型空洞池化ResASPP子模块。
其中图像对齐子模块IAB是用于将一个3×3的SAIs阵列中其他SAI与第个SAI对齐，其具体实现过程如下；
提取第i个子孔径图像SAI的特征，其他8个子孔径图像SAI为，利用残差子模块RB来学习第个SAI特征和其他SAI的偏移量，其中，，，学习后的偏移量和通过3×3可变形卷积，输出与第个SAI的特征一致的SAI特征；
其中，表示对齐的第个SAI的可变形卷积；
将3×3的SAIs阵列中的其他SAI的特征与对齐，得到与第个SAI对齐的SAI特征，可表示为：
金字塔型空洞池化ResASPP子模块用于提取SAI的全局特征，在ResASPP块中，利用三个扩张的3×3卷积核从输入特征中提取判别特征，并在每个扩张卷积层之后选择ReLU层作为激活层，然后由下一个1×1卷积层连接和融合特征，最后，融合特征通过元素求和与输入相结合；
因此，全局特征提取子模块GFExB提取低分辨率红外图像阵列中每行SAI对应的初始全局空间特征的具体处理过程为：针对第个，首先通过图像对齐块将所有与第个对齐，再将这些对齐的特征沿通道维度堆叠以获得对齐的第个SAI，第个对齐的SAI记为，表示为：
其中，和为自然数，，；
使用金字塔型空洞池化ResASPP子模块进一步提取SAI的初始全局空间特征，表示为：
其中，C是ResASPP块的输出通道；
对所有的SAI，循环上述步骤，得到任意一个SAI的初始全局空间特征，表示为：
所有的SAI的初始全局空间特征的表示为：
步骤2.2：局部特征提取子模块LFExB包括两个金字塔型空洞池化ResASPP子模块和两个残差子模块RB；
其中，残差子模块RB的处理过程为，输入信息通过3×3卷积、ReLU激活层和3×3卷积处理，得到的结果，再与输入信息相结合；
局部特征提取子模块LFExB提取3×3阵列中每行SAI对应的初始局部空间特征的具体处理过程为：使用叠加的金字塔型空洞池化ResASPP子模块和残差子模块RB从浅层特征中提取更多冗余的局部特征，得到任意一个SAI的初始局部空间特征，可表示为：
所有的SAI的初始局部空间特征为，表示为：
其中，表示1×1的卷积，表示金字塔型空洞池化ResASPP子模块，表示残差子模块RB。
步骤3：设计多级特征超分辨率模块。将SAI的初始全局空间特征和初始局部空间特征作为第一级输入到全局特征混合块（GFRB）中，所述的GFRB混合和，生成混合的全局特征。和通过局部特征更新器（LFU）得到增强的局部空间特征。通过多分支交叉视图注意块（MbCvAB）得到进一步增强的局部空间特征，通过多尺度超分辨率块（MS-SRB）得到超分辨率局部空间特征。通过全局特征更新器（GFU）得到全局空间。将下采样后的与作为下一级中GFRB块的输入，将下采样后的作为下一级MS-SRB块的输入。
步骤3.1：全局特征混合块（GFRB）：为了最大限度地利用每个SAI的全局空间信息，每个SAI的初始局部空间特征通过IAB子模块、图像堆栈ViewStack子模块和ResASPP块得到第一全局空间特征，同一个SAI的与通道连接，再通过1×1卷积得到第二全局空间特征为，其表达式为：
其中，cat是通道连接，H1×1是卷积；
步骤3.2：局部特征更新器（LFU）：LFU借助第二全局空间特征来增强输入的初始局部空间特征。首先沿通道维度将每个SAI的第二全局特征与通道连接，通过1×1卷积、激活函数和残差块RB融合，得到该SAI的第一增强局部空间特征，的表达式为：
步骤3.3：多分支交叉视图注意块（MbCvAB）：首先将第一增强局部空间特征分成四个角分支（即)，并采用双向卷积长短期记忆网络BiConvLSTM来学习所有SAI之间的交叉视角注意。最后，将学习到的角度注意映射添加到，得到第二增强局部空间特征，以服务于交叉视角注意，进一步增强。角度注意映射和第二增强局部空间特征可以定义为：
其中，表示*角分支中的局部空间特征，*取，是指BiConvLSTM。
步骤3.4：建立多尺度超分辨率块（MS-SRB）。MS-SRB由三个平行标度分支（原始标度、1/2标度和1/4标度）组成。每个分支包括三个顺序模块：下采样（dp）、残差块（RB）、通道注意力（CA）和上采样（up）。在1/2（或1/4）的下采样中，输入步骤3.3中的特征，对进行1/2（或1/4）下采样，通过残差块（RB）和通道注意力（CA）处理之后，以2倍和4倍进行上采样。然后，通过1×1卷积对这些分支的输出特征进行级联和融合，得到SAI的超分辨率局部空间特征，其中。可定义为：
其中，表示超分辨率特征中的*比例分支，代表通道注意力，和表示*比例分支中的上采样和下采样操作，*的取值为1、1/2、1/4，是图像超分辨率采样因子。
步骤3.5：全局特征更新器（GFU）：为了校正在GFRB和特征提取中导致提取不准确的全局空间特征，建立GFU来校正全局空间特征。GFU在超分辨局部空间特征的帮助下对进行细化。对于第个SAI，下采样后与相应的全局空间特征通过残差块和激活函数生成偏移量。偏移量与通过3×3可变形卷积，得到增强的全局空间特征。的表达式为：
其中，表示关于第个SAI的可变形卷积运算。
步骤4：特征融合模块。融合所有超分辨局部空间特征和下采样特征用于生成最终重建结果。
步骤4.1：对每一级的特征超分辨率模块的超分辨率局部空间特征下采样，下采样的结果通过通道连接处理，对通道连接处理后的结果进行通道注意力机制、残差块和上采样处理，处理结果表示为，的表达式为：
其中，为上采样和下采样的系数；K为多级特征超分辨率模块的级数。
步骤4.2：对每一级的超分辨率模块的超分辨率局部空间特征进行通道注意力CA、残差块RB和1×1卷积处理，处理结果表示为，的表达式为：
步骤4.3：将和按元素求和，输出结果，为超分辨率后的光场图像。的表达式为：
其中，表示SAIs的插值算子。
步骤5，利用损失函数对多级监督网络模型进行训练，输出超分辨率重建结果。
使用损失函数进行训练，提供一批用于训练的3×3光场低分辨率图像，设图像总数为，超分辨率重建结果与其对应高分辨率对应物之间的损失定义如下：
其中，表示3×3光场低分辨率子孔径图像，是红外光场图像，是所述的多级监督网络模型。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种基于光场的红外图像超分辨率方法，其特征在于，包括如下步骤：
步骤1，建立红外光场图像的超分辨率多级监督网络模型，用于将红外相机阵列生成的低分辨率红外图像阵列超分至更高分辨率的红外图像阵列，红外光场图像的超分辨率多级监督网络模型包括3个模块，分别是特征提取模块、多级特征超分辨率模块和特征融合模块；
步骤2，建立特征提取模块，用于提取初始的低分辨率子孔径图像的初始全局空间特征和初始局部空间特征，用于后续的多级特征超分辨率和特征融合步骤；
步骤3，建立多级特征超分辨率模块，用于对特征提取模块提取的特征进行增强，最后输出增强的全局空间特征和超分辨的局部空间特征；
步骤3中，将SAI的初始全局空间特征和初始局部空间特征作为第一级输入到全局特征混合块GFRB中，所述的GFRB混合和，生成混合的全局特征，和通过局部特征更新器LFU得到增强的局部空间特征；通过多分支交叉视图注意块MbCvAB得到进一步增强的局部空间特征，通过多尺度超分辨率块MS-SRB得到超分辨率局部空间特征，通过全局特征更新器GFU得到全局空间特征；将下采样后的与作为下一级中GFRB块的输入，将下采样后的作为下一级MS-SRB块的输入；
步骤4，建立特征融合模块，融合所有超分辨的局部空间特征和下采样特征用于生成最终重建结果，所述下采样特征是通过对超分辨的局部空间特征进行下采样操作得到；
步骤5，利用损失函数对多级监督网络模型进行训练，输出超分辨率重建结果。
2.如权利要求1所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤1中设定3×3红外相机阵列生成的低分辨率红外图像阵列的集合为，表示如下：
其中，为角度分辨率，为空间分辨率，为角度空间模型的横坐标，为角度空间模型的纵坐标；为红外图像阵列的行数，为红外图像阵列每行子孔径图像的个数。
3.如权利要求2所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤2中首先对低分辨率红外图像阵列的集合进行1×1卷积运算，再把卷积结果分别输入到全局特征提取子模块GFExB和局部特征提取子模块LFExB，得到初始全局空间特征和初始局部空间特征为，具体实现方式如下；
步骤2.1，全局特征提取子模块GFExB包括图像对齐子模块IAB和金字塔型空洞池化ResASPP子模块；
其中图像对齐子模块IAB是用于将一个3×3的SAIs阵列中其他SAI与第个SAI对齐，其具体实现过程如下；
提取第i个子孔径图像SAI的特征，其他8个子孔径图像SAI为，利用残差子模块RB来学习第个SAI特征和其他SAI的偏移量，其中，，，学习后的偏移量和通过3×3可变形卷积，输出与第个SAI的特征一致的SAI特征；
其中，表示对齐的第个SAI的可变形卷积；
将3×3的SAIs阵列中的其他SAI的特征与对齐，得到与第个SAI对齐的SAI特征，可表示为：
金字塔型空洞池化ResASPP子模块用于提取SAI的全局特征，在ResASPP块中，利用三个扩张的3×3卷积核从输入特征中提取判别特征，并在每个扩张卷积层之后选择ReLU层作为激活层，然后由下一个1×1卷积层连接和融合特征，最后，融合特征通过元素求和与输入相结合；
步骤2.2，局部特征提取子模块LFExB包括两个金字塔型空洞池化ResASPP子模块和两个残差子模块RB；
其中，残差子模块RB的处理过程为，输入信息通过3×3卷积、ReLU激活层和3×3卷积处理，得到的结果，再与输入信息相结合。
4.如权利要求3所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤2.1中，全局特征提取子模块GFExB提取低分辨率红外图像阵列中每行SAI对应的初始全局空间特征的具体实现方式如下；
针对第个，首先通过图像对齐块将所有与第个对齐，再将这些对齐的特征沿通道维度堆叠以获得对齐的第个SAI，第个对齐的SAI记为，表示为：
其中， ，；
使用金字塔型空洞池化ResASPP块进一步提取SAI的初始全局空间特征，表示为：
其中，C是ResASPP块的输出通道；
对所有的SAI，循环上述步骤，得到任意一个SAI的初始全局空间特征，表示为：
所有的SAI的初始全局空间特征的表示为：
。
5.如权利要求3所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤2.2中，局部特征提取子模块LFExB提取3×3阵列中每行SAI对应的初始局部空间特征的具体实现方式如下；
使用叠加的ResASPP块和残差块RB从浅层特征中提取更多冗余的局部特征，得到任意一个SAI的初始局部空间特征，表示为：
所有的SAI的初始局部空间特征为，表示为：
其中，表示1×1的卷积，表示ResASPP块，表示残差块RB。
6.如权利要求1所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤3的具体实现方式如下；
步骤3.1，全局特征混合块AFRB：为了最大限度地利用每个SAI的全局空间信息，每个SAI的初始局部空间特征通过IAB块、图像堆栈ViewStack和ResASPP块得到第一全局空间特征，同一个SAI的与通道连接，再通过1×1卷积得到第二全局空间特征为，其表达式为：
其中，cat是通道连接，H1×1是卷积；
步骤3.2，局部特征更新器LFU：LFU借助第二全局空间特征来增强输入的初始局部空间特征；首先沿通道维度将每个SAI的第二全局特征与通道连接，通过1×1卷积、激活函数和残差块RB融合，得到该SAI的第一增强局部空间特征，的表达式为：
步骤3.3，多分支交叉视图注意块MbCvAB：首先将第一增强局部空间特征分成四个角分支，即，并采用双向卷积长短期记忆网络BiConvLSTM来学习所有SAI之间的交叉视角注意；最后，将学习到的角度注意映射添加到，得到第二增强局部空间特征，以服务于交叉视角注意，进一步增强，角度注意映射和第二增强局部空间特征定义为：
其中，表示*角分支中的局部空间特征，*取，是指BiConvLSTM；
步骤3.4，建立多尺度超分辨率块MS-SRB，MS-SRB由三个平行标度分支组成，即原始标度分支、1/2标度分支和1/4标度分支，每个分支包括三个顺序模块：残差块RB、通道注意力CA和上采样up，其中上采样因子与SR因子相同；在1/2或1/4中，输入步骤3.3中的特征，对进行1/2或1/4下采样，通过残差块RB和通道注意力CA处理之后，以2倍和4倍进行上采样；然后，通过1×1卷积对这些分支的输出特征进行级联和融合，得到SAI的超分辨率局部空间特征，其中，可定义为：
其中，表示超分辨率特征中的*比例分支，代表通道注意力，和表示*比例分支中的上采样和下采样操作，*的取值为1、1/2、1/4，是图像超分辨率采样因子；
步骤3.5，全局特征更新器GFU：为了校正在GFRB和特征提取中导致提取不准确的全局空间特征，建立GFU来校正全局空间特征，GFU在超分辨局部空间特征的帮助下对进行细化；对于第个SAI，下采样后与相应的全局空间特征通过残差块和激活函数生成偏移量，偏移量与通过3×3可变形卷积，得到增强的全局空间特征，的表达式为：
其中，表示关于第个SAI的可变形卷积运算。
7.如权利要求6所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤4的具体实现方式如下；
步骤4.1，对每一级的特征超分辨率模块的超分辨率局部空间特征下采样，下采样的结果通过通道连接处理，对通道连接处理后的结果进行通道注意力机制、残差块和上采样处理，处理结果表示为，的表达式为：
其中，为上采样和下采样的系数；K为多级特征超分辨率模块的级数；
步骤4.2，对每一级的超分辨率模块的超分辨率局部空间特征进行通道注意力CA、残差块RB和1×1卷积处理，处理结果表示为，的表达式为：
步骤4.3，将和按元素求和，输出结果，为超分辨率后的光场图像，的表达式为：
其中，表示SAIs的插值算子。
8.如权利要求1所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤5中，使用损失函数进行训练，提供一批用于训练的3×3光场低分辨率图像，设图像总数为，超分辨率重建结果与其对应高分辨率对应物之间的损失定义如下：
其中，表示3×3光场低分辨率子孔径图像，是红外光场图像，是所述的多级监督网络模型。
9.如权利要求3所述的一种基于光场的红外图像超分辨率方法，其特征在于：步骤2.2中，三个扩张的3×3卷积核的扩张率分别为1、2、4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310235395.2A CN116523740B (zh) | 2023-03-13 | 2023-03-13 | 一种基于光场的红外图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310235395.2A CN116523740B (zh) | 2023-03-13 | 2023-03-13 | 一种基于光场的红外图像超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116523740A CN116523740A (zh) | 2023-08-01 |
| CN116523740B true CN116523740B (zh) | 2023-09-15 |
Family
ID=87394719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310235395.2A Active CN116523740B (zh) | 2023-03-13 | 2023-03-13 | 一种基于光场的红外图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523740B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291808B (zh) * | 2023-11-27 | 2024-02-20 | 浙江优众新材料科技有限公司 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
| CN117495681B (zh) * | 2024-01-03 | 2024-05-24 | 国网山东省电力公司济南供电公司 | 一种红外图像超分辨重建系统及方法 |
| CN118097155B (zh) * | 2024-04-23 | 2024-08-02 | 山东大学 | 基于全局与局部特征协作的遥感图像分割方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428500A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 一种超分辨率大视场红外成像方法 |
| CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
| CN112070665A (zh) * | 2020-08-03 | 2020-12-11 | 武汉大学 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
| CN114638768A (zh) * | 2022-05-19 | 2022-06-17 | 武汉大学 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
| CN115249206A (zh) * | 2021-04-26 | 2022-10-28 | 南京大学 | 一种轻量级注意力机制的图像超分辨率重构方法 |
| WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、系统、装置及存储介质 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8749694B2 (en) * | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
| US8878950B2 (en) * | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| US10482575B2 (en) * | 2017-09-28 | 2019-11-19 | Intel Corporation | Super-resolution apparatus and method for virtual and mixed reality |
-
2023
- 2023-03-13 CN CN202310235395.2A patent/CN116523740B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428500A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 一种超分辨率大视场红外成像方法 |
| CN112070665A (zh) * | 2020-08-03 | 2020-12-11 | 武汉大学 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
| CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
| CN115249206A (zh) * | 2021-04-26 | 2022-10-28 | 南京大学 | 一种轻量级注意力机制的图像超分辨率重构方法 |
| WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、系统、装置及存储介质 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN114638768A (zh) * | 2022-05-19 | 2022-06-17 | 武汉大学 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
Non-Patent Citations (4)
| Title |
|---|
| Infrared and visible light dual-camera super-resolution imaging with texture transfer network;Yubin Wu等;Signal Processing: Image Communication;1-12 * |
| MPIN:基于宏像素聚合的光场图像超分辨率网络(英文);王歆雅;马佳义;高文静;江俊君;Frontiers of Information Technology & Electronic Engineering(第010期);1299-1310 * |
| 光场成像技术及其在计算机视觉中的应用;张驰;刘菲;侯广琦;孙哲南;谭铁牛;;中国图象图形学报(第03期);263-181 * |
| 高分辨率可见光图像引导红外图像超分辨率的Transformer网络;邱德粉等;中国图象图形学报;196-206 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116523740A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116523740B (zh) | 一种基于光场的红外图像超分辨率方法 | |
| Wang et al. | Detail-preserving transformer for light field image super-resolution | |
| CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
| CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN111369522B (zh) | 基于生成对抗卷积神经网络的光场显著性目标检测方法 | |
| CN112767253B (zh) | 一种多尺度特征融合的双目图像超分辨率重建方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN113762358A (zh) | 一种基于相对深度训练的半监督学习三维重建方法 | |
| CN112785502A (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
| CN116935043A (zh) | 一种基于多任务生成对抗网络的典型地物遥感图像生成方法 | |
| CN112102388B (zh) | 基于巡检机器人单目图像获取深度图像的方法及装置 | |
| CN111914853B (zh) | 一种用于立体匹配的特征提取方法 | |
| CN116977168A (zh) | 融合空间和角度特征的光场图像超分辨率重建方法 | |
| CN116152060A (zh) | 一种双特征融合引导的深度图像超分辨率重建方法 | |
| Ma et al. | Fast and efficient neural network for light field disparity estimation | |
| CN114140317A (zh) | 一种基于级联生成对抗网络的图像动漫化方法 | |
| CN115294182A (zh) | 一种基于双交叉注意力机制的高精度立体匹配方法 | |
| CN115294371A (zh) | 基于深度学习的互补特征可靠描述与匹配方法 | |
| Alao et al. | Efficient multi-scalable network for single image super resolution | |
| CN112967184B (zh) | 一种基于双尺度卷积神经网络的超分辨放大方法 | |
| CN118470048B (zh) | 一种实时反馈的交互式树木图像抠图方法 | |
| CN117314757B (zh) | 一种空谱频多域融合的高光谱计算成像方法、系统及介质 | |
| Qin et al. | Multi-Residual Feature Fusion Network for lightweight Single Image Super-Resolution | |
| CN116862763A (zh) | 基于跨尺度视差先验的双目图像超分辨率重建方法和系统 | |
| CN115496910A (zh) | 基于全连接图编码及双重扩张残差的点云语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |