CN113628125A - 基于空间视差先验网络的多幅红外图像增强方法 - Google Patents

基于空间视差先验网络的多幅红外图像增强方法 Download PDF

Info

Publication number
CN113628125A
CN113628125A CN202110762079.1A CN202110762079A CN113628125A CN 113628125 A CN113628125 A CN 113628125A CN 202110762079 A CN202110762079 A CN 202110762079A CN 113628125 A CN113628125 A CN 113628125A
Authority
CN
China
Prior art keywords
spatial
parallax
convolution
module
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762079.1A
Other languages
English (en)
Other versions
CN113628125B (zh
Inventor
马佳义
高文静
马泳
黄珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110762079.1A priority Critical patent/CN113628125B/zh
Publication of CN113628125A publication Critical patent/CN113628125A/zh
Application granted granted Critical
Publication of CN113628125B publication Critical patent/CN113628125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于空间视差先验网络的多幅红外图像增强方法，其特征在于：低质量的多幅红外图像输入空间视差先验网络，其中多幅红外图像是从略微不同的视角获取，仅在水平方向具有亚像素的位移差，由空间视差先验网络进行红外图像的增强运算，输出单幅高质量红外图像；所述空间视差先验网络包括一个浅层特征提取模块、若干个空间视差先验模块，一个特征融合重建模块和一个加法器。本发明提出的多幅红外图像增强方法能够有效地去除模糊和噪声，增加细节，提高信噪比，且增强后的单幅红外图像清晰，视觉效果好。

Description

基于空间视差先验网络的多幅红外图像增强方法
技术领域
本发明涉及红外图像增强技术领域，具体地说，本发明涉及一种基于空间视差先验网络的多幅红外图像增强技术方案。
背景技术
热像仪可以通过感应物体发出的红外辐射被动成像，因此不受照明(如夜间微光)和恶劣天气的影响。然而，用于捕获高质量红外图像的热传感器非常昂贵，而低成本的商用热传感器由于散焦、不平衡、相机抖动、运动等原因，往往会产生严重的模糊，并且会受到复杂工作环境中的各种噪声干扰，导致采集的红外图像具有很低的信噪比，难以在实际中应用。因此，提高红外图像的质量具有非常重要的意义。
红外图像增强的基本目标是从输入的低质量红外图像中重建恢复出高质量红外图像。根据输入红外图像的数量，红外图像增强方法分为单幅红外图像增强和多幅红外图像的增强方法。对于多幅红外图像增强，现存方法解决这个问题主要分为两个步骤。即：配准对齐、融合增强。配准对齐过程可分为基于刚性变换矩阵的方法和基于运动估计或运动补偿的方法，融合增强过程可分为基于正则化的方法和基于学习的方法。然而这些方法的效果对配准过程非常敏感，如果无法实现精确配准，增强后的红外图像可能会产生明显的重建伪影。因此，如何避免显式对齐带来的伪影影响，一直以来是个难题。
发明内容
针对现有的技术缺陷，本发明提出了一种无需显式对齐的多幅红外图像增强技术方案。经本发明增强得到的红外图像，有效地去除了模糊和噪声，增加了细节，具有很高的信噪比。
为达到上述目的，本发明采用的技术方案提供一种基于空间视差先验网络的多幅红外图像增强方法，低质量的多幅红外图像(从略微不同的视角获取，仅在水平方向具有亚像素的位移差)输入空间视差先验网络，由空间视差先验网络进行红外图像的增强运算，输出单幅高质量红外图像；所述空间视差先验网络包括1个浅层特征提取模块、G个空间视差先验模块，1个特征融合重建模块和1个加法器。
输入空间视差先验网络的N个低质量红外图像
Figure BDA0003150308440000021
经浅层特征提取模块得到和浅层空间特征
Figure BDA0003150308440000022
和浅层视差特征PF0；
随后，将浅层空间特征
Figure BDA0003150308440000023
和浅层视差特征PF0输入第一个空间视差先验模块，其输出为
Figure BDA0003150308440000024
和PF1，并作为第二个空间视差先验模块的输入，以此类推，经过G个空间视差先验模块后分别提取得到高维空间特征
Figure BDA0003150308440000025
和高维视差特征PF1,...,PFG；
然后，将高维空间特征
Figure BDA0003150308440000026
和高维视差特征PFG输入融合重建模块，得到全局残差图像IRes；
最后，经过加法器将全局残差图像IRes和输入低质量红外图像
Figure BDA0003150308440000027
融合得到红外图像增强结果IH，其中N为输入的红外图像的个数，
Figure BDA0003150308440000028
表示向上取整操作。
具体地，所述浅层特征提取模块包括N个共享权重的5×5卷积层，N个共享权重的3×3卷积层、1个连接器和1个1×1的卷积层；
浅层特征提取模块的输入为N个低质量红外图像
Figure BDA0003150308440000029
分别输入到N个共享权重的5×5卷积层，得到低频特征
Figure BDA0003150308440000031
相应的数学定义如下，
Figure BDA0003150308440000032
其中H5×5(·)表示卷积核大小为5×5的卷积操作；
然后使用两个分支，一个分支通过N个共享权重的3×3卷积层，提取浅层空间特征
Figure BDA0003150308440000033
另一个分支首先使用连接器将低频特征
Figure BDA0003150308440000034
连接起来，随后输入到1×1卷积层得到浅层视差特征PF0，相应的数学定义如下，
Figure BDA0003150308440000035
Figure BDA0003150308440000036
其中，H3×3(·)表示卷积核大小为3×3的卷积操作，[·]表示连接器操作，H1×1(·)表示卷积核大小为1×1的卷积操作。
具体地，所述空间视差先验模块中包括N个共享权重的增强金字塔卷积模块、1个不共享权重的增强金字塔卷积模块、2个连接器、N个共享权重的3×3卷积层、1个1×1的卷积层和2个加法器；
第g个空间视差先验模块具有两个对称分支，其输入为
Figure BDA0003150308440000037
和PFg-1，g＝1,2,...,G；
Figure BDA0003150308440000038
输入到分支1的N个共享权重的增强金字塔卷积模块提取多尺度空间特征
Figure BDA0003150308440000039
同时PFg-1输入到分支2的增强金字塔卷积模块提取多尺度视差特征MPFg；相应的数学定义如下，
Figure BDA00031503084400000310
Figure BDA00031503084400000311
其中，
Figure BDA00031503084400000312
表示第g个空间视差先验模块中增强金字塔卷积模块的操作，g＝1,2,...,G；
然后，使用连接器将分支2得到的MPFg输入到分支1与
Figure BDA0003150308440000041
分别连接起来，随后输入到N个共享权重的3×3卷积层提取局部残差空间特征
Figure BDA0003150308440000042
同时，使用连接器将分支1得到的
Figure BDA0003150308440000043
输入到分支2与MPFg连接起来，随后输入到1×1的卷积层提取局部残差视差特征PFRes,g；相应的数学定义如下，
Figure BDA0003150308440000044
Figure BDA0003150308440000045
对于分支1，使用加法器将第g个空间视差先验模块的输入
Figure BDA0003150308440000046
和局部残差空间特征
Figure BDA0003150308440000047
融合，得到第g个空间视差先验模块的输出即高维空间特征
Figure BDA0003150308440000048
同时对于分支2，使用加法器将第g个空间视差先验模块的输入PFg-1和局部残差视差特征PFRes,g融合，得到第g个空间视差先验模块的输出即高维视差特征PFg，相应的数学定义如下，
Figure BDA0003150308440000049
PFg＝PFRes,g+PFg-1。
具体地，所述增强金字塔卷积模块中包括3个具有不同卷积核大小、不同分组数目的分组卷积层、3个注意力层、1个连接器、1个1×1的卷积层；
第g个空间视差先验模块中增强金字塔卷积模块的输入为
Figure BDA00031503084400000410
或
Figure BDA00031503084400000411
g＝1,2,...,G,n＝1,2,...,N；同时输入到分组数为1的3×3分组卷积层、分组数为4的5×5分组卷积层和分组数为8的7×7分组卷积层，然后进入到分组卷积层后紧跟的注意力层分别得到
Figure BDA0003150308440000051
和
Figure BDA0003150308440000052
或PFg,1、PFg,2和PFg,3，相应的数学公式如下，
Figure BDA0003150308440000053
Figure BDA0003150308440000054
Figure BDA0003150308440000055
or
Figure BDA0003150308440000056
Figure BDA0003150308440000057
Figure BDA0003150308440000058
其中，HA(·)表示注意力层的操作，
Figure BDA0003150308440000059
表示分组数为1，卷积核大小为3×3的分组卷积操作，
Figure BDA00031503084400000510
表示分组数为4，卷积核大小为5×5的分组卷积操作，
Figure BDA00031503084400000511
表示分组数为8，卷积核大小为7×7的分组卷积操作；
最后使用连接器将
Figure BDA00031503084400000512
和
Figure BDA00031503084400000513
或PFg,1、PFg,2和PFg,3连接起来输入到1×1的卷积层得到输出
Figure BDA00031503084400000514
或MPFg
相应的数学公式如下，
Figure BDA00031503084400000515
or
MPFg＝H1×1([PFg,1,PFg,2,PFg,3])。具体地，所述特征融合重建模块包括1个连接器、2个3×3的卷积层、1个通道注意力层；
特征融合重建模块的输入为
Figure BDA00031503084400000516
和PFG，同时输入到连接器、3×3的卷积层得到初步融合特征FF1，相应的数学公式如下，
Figure BDA0003150308440000061
然后进入到通道注意力层得到最终融合特征FF2，相应的数学公式如下，
FF2＝HCA(FF1),
其中，HCA(·)表示通道注意力层的操作；
最后输入到3×3的卷积层提取全局残差图像IRes。
IRes＝H3×3(FF2)。
本发明提出包括对多幅红外图像浅层空间特征和视差特征的提取；将金字塔卷积模块进行改进以生成增强金字塔模块并融入空间视差先验模块来提取包含不同尺度上下文信息的空间特征和视差特征，同时对特征进行交互引导并基于局部残差提取高维空间特征和视差特征；通过通道注意力层自适应地对融合特征进行重新缩放以驱动网络关注更有用的区域；基于全局残差融合得到单幅高质量红外图像的结果。本发明的多幅红外图像增强方法能够有效地去除模糊和噪声，增加细节，提高信噪比，且增强后的单幅红外图像清晰，视觉效果好。和现有方法相比，本发明具有以下优点：
1、本发明针对多幅红外图像增强问题提出了一种新型的空间视差先验网络模型。与其他图像增强方法相比，该方法在主、客观指标上均取得了较好的效果。
2、本发明提出了一种新型的空间视差先验模块，该模块可以有效地探索空间先验信息和视差先验信息，从而不需要显式的图像配准，这可以抑制由不准确配准引起的伪影，实现更好的增强效果。
附图说明
图1为本发明实施例的整体的网络架构图；
图2为本发明实施例浅层特征提取模块架构图；
图3为本发明实施例第g个空间视差先验模块架构图；
图4为本发明实施例增强金字塔卷积模块架构图；
图5为本发明实施例特征融合重建模块架构图。
具体实施方式
下面结合附图和实施例对本发明技术方案进一步详细说明。
本发明提出的方法：将低质量的N幅红外图像(从略微不同的视角获取，仅在水平方向具有亚像素的位移差)输入空间视差先验网络，该网络进行图像的增强运算，输出单幅高质量红外图像。具体实施时，N取值为4，采用软件方式实现自动运行。
参见图1，本发明实施例中空间视差先验网络包括1个浅层特征提取模块、G个空间视差先验模块，1个特征融合重建模块和1个加法器；具体实施时，G的建议取值范围为10～16，实施例中G取优选值12。
向网络中输入4幅低质量红外图像
Figure BDA0003150308440000071
经浅层特征提取模块得到浅层空间特征
Figure BDA0003150308440000072
和浅层视差特征PF0，相应的数学定义如下，
Figure BDA0003150308440000073
其中，
Figure BDA0003150308440000074
表示浅层特征提取模块的运算；
随后，将浅层空间特征
Figure BDA0003150308440000075
和浅层视差特征PF0输入第一个空间视差先验模块，其输出为
Figure BDA0003150308440000076
和PF1，并作为第二个空间视差先验模块的输入，以此类推，经过12个空间视差先验模块后分别提取得到高维空间特征
Figure BDA0003150308440000077
和高维视差特征PF1,…,PF12，令
Figure BDA0003150308440000078
表示空间视差先验模块，g为自然数。其相应的数学定义如下，
Figure BDA0003150308440000081
其中，实施例中g＝1,2,...,12；
然后，将高维空间特征
Figure BDA0003150308440000082
和高维视差特征PF12输入特征融合重建模块，得到全局残差图像IRes，相应的数学定义如下，
Figure BDA0003150308440000083
其中，
Figure BDA0003150308440000084
表示特征融合重建模块的运算；
最后，经过加法器将全局残差图像IRes和低质量红外图像
Figure BDA0003150308440000085
融合得到红外图像增强结果IH，相应的数学定义如下，
Figure BDA0003150308440000086
参见图2，所述浅层特征提取模块包括4个共享权重的5×5卷积层，4个共享权重的3×3卷积层、1个连接器和1个1×1的卷积层；
浅层特征提取模块的输入为4幅低质量红外图像
Figure BDA0003150308440000087
分别输入到4个共享权重的5×5卷积层，得到每幅红外图像的低频特征
Figure BDA0003150308440000088
相应的数学定义如下，
Figure BDA0003150308440000089
其中H5×5(·)表示卷积核大小为5×5的卷积操作；
随后使用两个分支，一个分支通过4个共享权重的3×3卷积层，提取每幅红外图像的浅层空间特征
Figure BDA00031503084400000810
另一个分支首先使用连接器将低频特征
Figure BDA00031503084400000811
连接起来，然后输入到1×1卷积层得到浅层视差特征PF0，相应的数学定义如下，
Figure BDA0003150308440000091
Figure BDA0003150308440000092
其中，H3×3(·)表示卷积核大小为3×3的卷积操作，[·]表示连接器操作，H1×1(·)表示卷积核大小为1×1的卷积操作；
参见图3，所述空间视差先验模块中包括4个共享权重的增强金字塔卷积模块、1个不共享权重的增强金字塔卷积模块、2个连接器、4个共享权重的3×3卷积层、1个1×1的卷积层和2个加法器；
以第g个空间视差先验模块为例，其输入为
Figure BDA0003150308440000093
和PFg-1，g＝1,2,...,12；
Figure BDA0003150308440000094
输入到分支1的4个共享权重的增强金字塔卷积模块提取多尺度空间特征
Figure BDA0003150308440000095
同时PFg-1输入到分支2的增强金字塔卷积模块提取多尺度视差特征MPFg，相应的数学定义如下，
Figure BDA0003150308440000096
Figure BDA0003150308440000097
其中，
Figure BDA0003150308440000098
表示第g个空间视差先验模块中增强金字塔卷积模块的操作，g＝1,2,...,12；
然后，使用连接器将分支2得到的MPFg输入到分支1与
Figure BDA0003150308440000099
连分别接起来，随后输入到4个共享权重的3×3卷积层提取局部残差空间特征
Figure BDA00031503084400000910
同时，使用连接器将分支1得到的
Figure BDA00031503084400000911
输入到分支2与MPFg连接起来，随后输入到1×1的卷积层提取局部残差视差特征PFRes,g，相应的数学定义如下，
Figure BDA0003150308440000101
Figure BDA0003150308440000102
对于分支1，将第g个空间视差先验模块的输入
Figure BDA0003150308440000103
和相对应的局部残差空间特征
Figure BDA0003150308440000104
分别融合，得到第g个空间视差先验模块的输出即高维空间特征
Figure BDA0003150308440000105
同时对于分支2，将第g个空间视差先验模块的输入PFg-1和局部残差视差特征PFRes,g融合，得到第g个空间视差先验模块的输出即高维视差特征，相应的数学定义如下，
Figure BDA0003150308440000106
PFg＝PFRes,g+PFg-1；
参见图4，所述增强金字塔卷积模块中包括3个具有不同卷积核大小、不同分组数目的分组卷积层、3个注意力层、1个连接器、1个1×1的卷积层；
第g个空间视差先验模块中增强金字塔卷积模块的输入为
Figure BDA0003150308440000107
或PFg-1，g＝1,2,...,12,n＝1,2,...,4；同时输入到分组数为1的3×3分组卷积层、分组数为4的5×5分组卷积层和分组数为8的7×7分组卷积层，然后进入到分组卷积层后紧跟的注意力层分别得到
Figure BDA0003150308440000108
和
Figure BDA0003150308440000109
或PFg,1、PFg,2和PFg,3，相应的数学公式如下，
Figure BDA00031503084400001010
Figure BDA00031503084400001011
Figure BDA00031503084400001012
or
Figure BDA00031503084400001013
Figure BDA0003150308440000111
Figure BDA0003150308440000112
其中，HA(·)表示注意力层的操作(具体实现可参见Li W,Tao X,Guo T,etal.MuCAN:Multi-correspondence Aggregation Network for Video Super-Res olution[C]//European Conference on Computer Vision.Springer,Cham,2020:335-351)，
Figure BDA0003150308440000113
表示分组数为1，卷积核大小为3×3的分组卷积操作，
Figure BDA0003150308440000114
表示分组数为4，卷积核大小为5×5的分组卷积操作，
Figure BDA0003150308440000115
表示分组数为8，卷积核大小为7×7的分组卷积操作；
最后使用连接器将
Figure BDA0003150308440000116
和
Figure BDA0003150308440000117
或PFg,1、PFg,2和PFg,3连接起来输入到1×1的卷积层得到输出
Figure BDA0003150308440000118
或MPFg，相应的数学公式如下，
Figure BDA0003150308440000119
or
MPFg＝H1×1([PFg,1,PFg,2,PFg,3])；
参见图5，所述特征融合重建模块包括1个连接器、2个3×3的卷积层、1个通道注意力层；
特征融合重建模块的输入为
Figure BDA00031503084400001110
和PFG，同时输入到连接器、3×3的卷积层得到初步融合特征FF1，相应的数学公式如下，
Figure BDA00031503084400001111
然后进入到通道注意力层的操作，得到最终融合特征FF2，相应的数学公式如下，
FF2＝HCA(FF1),
其中，HCA(·)表示通道注意力层的操作(具体实现可参见Lim B,Son S,Kim H,etal.Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops.2017:136-144)；
最后经过一个3×3的卷积层计算得到全局残差图像IRes，相应的数学公式如下，
IRes＝H3×3(FF2)；
具体实施时，可采用软件方式实现基于以上网络的多幅红外图像的增强运算。选取TherISuRNet、FastDVDNet、STDF、ESTRNN方法与本发明进行红外图像增强的对比，对比结果如下表，其中高斯模糊、圆盘模糊和运动模糊为三种不同的模糊类型，高斯白噪声、椒盐噪声和泊松噪声为三种不同的噪声类型；测试图像库为我们采集的10对红外图像；PSNR表示峰值信噪比，SSIM表示结构相似性。可以看到本方法PSNR、SSIM指标最高。
方法效果对比表
Figure BDA0003150308440000121
可见，本发明使用空间视差先验模块充分提取了多幅红外图像的空间先验信息和视差先验信息，并通过将通道注意力层融入融合重建模块，有效地融合了空间和视差特征，避免了显式的图像配准，实现了较好的红外图像增强效果，客观衡量指标高，视觉效果好。

Claims (7)

1.一种基于空间视差先验网络的多幅红外图像增强方法，其特征在于，包括如下步骤：
步骤1，获取低质量的多幅红外图像；
步骤2，构建空间视差先验网络；
所述空间视差先验网络包括1个浅层特征提取模块、G个空间视差先验模块，1个特征融合重建模块和1个加法器；
所述浅层特征提取模块用于提取红外图像的浅层空间特征和浅层视差特征；
所述空间视差先验模块用于提取红外图像的高维空间特征和高维视差特征；
所述特征融合重建模块用于将红外图像的高维空间特征和高维视差特征进行融合，得到全局残差图像；
所述加法器用于将全局残差图像和其中一幅低质量红外图像融合得到红外图像增强结果；
步骤3，将步骤1中获取的多幅红外图像输入到空间视差先验网络，由空间视差先验网络进行红外图像的增强运算，输出单幅高质量红外图像。
2.根据权利要求1所述的基于空间视差先验网络的多幅红外图像增强方法，其特征在于：所述空间视差先验网络的具体处理过程如下；
输入空间视差先验网络的N个低质量红外图像
Figure FDA0003150308430000011
经浅层特征提取模块得到和浅层空间特征
Figure FDA0003150308430000012
和浅层视差特征PF0；
随后，将浅层空间特征
Figure FDA0003150308430000013
和浅层视差特征PF0输入第一个空间视差先验模块，其输出为{SF1 1,...,SF1 N}和PF1，并作为第二个空间视差先验模块的输入，以此类推，经过G个空间视差先验模块后分别提取得到高维空间特征
Figure FDA0003150308430000021
和高维视差特征PF1,...,PFG；
然后，将高维空间特征
Figure FDA0003150308430000022
和高维视差特征PFG输入融合重建模块，得到全局残差图像IRes；
最后，经过加法器将全局残差图像IRes和输入低质量红外图像
Figure FDA0003150308430000023
融合得到红外图像增强结果IH，其中N为输入的红外图像的个数，
Figure FDA0003150308430000024
表示向上取整操作。
3.根据权利要求1所述的基于空间视差先验网络的多幅红外图像增强方法，其特征在于：所述浅层特征提取模块包括N个共享权重的5×5卷积层，N个共享权重的3×3卷积层、1个连接器和1个1×1的卷积层；
浅层特征提取模块的输入为N幅低质量红外图像
Figure FDA0003150308430000025
Figure FDA0003150308430000026
分别输入到N个共享权重的5×5卷积层，得到每幅红外图像的低频特征
Figure FDA0003150308430000027
相应的数学定义如下，
Figure FDA0003150308430000028
其中H5×5(·)表示卷积核大小为5×5的卷积操作；
随后使用两个分支，一个分支通过N个共享权重的3×3卷积层，提取每幅红外图像的浅层空间特征
Figure FDA0003150308430000029
另一个分支首先使用连接器将低频特征
Figure FDA00031503084300000210
连接起来，然后输入到1×1卷积层得到浅层视差特征PF0，相应的数学定义如下，
Figure FDA00031503084300000211
Figure FDA00031503084300000212
其中，H3×3(·)表示卷积核大小为3×3的卷积操作，[·]表示连接器操作，H1×1(·)表示卷积核大小为1×1的卷积操作。
4.根据权利要求3所述的基于空间视差先验网络的多幅红外图像增强方法，其特征在于：所述空间视差先验模块中包括N个共享权重的增强金字塔卷积模块、1个不共享权重的增强金字塔卷积模块、2个连接器、N个共享权重的3×3卷积层、1个1×1的卷积层和2个加法器；
第g个空间视差先验模块具有两个对称分支，其输入为
Figure FDA0003150308430000031
和PFg-1，g＝1,2,...,G；
Figure FDA0003150308430000032
输入到分支1的N个共享权重的增强金字塔卷积模块提取多尺度空间特征
Figure FDA0003150308430000033
同时PFg-1输入到分支2的增强金字塔卷积模块提取多尺度视差特征MPFg；相应的数学定义如下，
Figure FDA0003150308430000034
Figure FDA0003150308430000035
其中，
Figure FDA0003150308430000036
表示第g个空间视差先验模块中增强金字塔卷积模块的操作，g＝1,2,...,G；
然后，使用连接器将分支2得到的MPFg输入到分支1与
Figure FDA0003150308430000037
分别连接起来，随后输入到N个共享权重的3×3卷积层提取局部残差空间特征
Figure FDA0003150308430000038
同时，使用连接器将分支1得到的
Figure FDA0003150308430000039
输入到分支2与MPFg连接起来，随后输入到1×1的卷积层提取局部残差视差特征PFRes,g；相应的数学定义如下，
Figure FDA00031503084300000310
Figure FDA0003150308430000041
对于分支1，使用加法器将第g个空间视差先验模块的输入
Figure FDA0003150308430000042
和局部残差空间特征
Figure FDA0003150308430000043
融合，得到第g个空间视差先验模块的输出即高维空间特征
Figure FDA0003150308430000044
同时对于分支2，使用加法器将第g个空间视差先验模块的输入PFg-1和局部残差视差特征PFRes,g融合，得到第g个空间视差先验模块的输出即高维视差特征PFg；相应的数学定义如下，
Figure FDA0003150308430000045
PFg＝PFRes,g+PFg-1。
5.根据权利要求4所述的基于空间视差先验网络的多幅红外图像增强方法，其特征在于：所述增强金字塔卷积模块中包括3个具有不同卷积核大小、不同分组数目的分组卷积层、3个注意力层、1个连接器、1个1×1的卷积层；
第g个空间视差先验模块中增强金字塔卷积模块的输入为
Figure FDA0003150308430000046
或PFg-1，g＝1,2,...,G,n＝1,2,...,N；同时输入到分组数为1的3×3分组卷积层、分组数为4的5×5分组卷积层和分组数为8的7×7分组卷积层，然后进入到分组卷积层后紧跟的注意力层分别得到
Figure FDA0003150308430000047
和
Figure FDA0003150308430000048
或PFg,1、PFg,2和PFg,3，
相应的数学公式如下，
Figure FDA0003150308430000049
Figure FDA00031503084300000410
Figure FDA00031503084300000411
or
Figure FDA00031503084300000412
Figure FDA0003150308430000051
Figure FDA0003150308430000052
其中，HA(·)表示注意力层的操作，
Figure FDA0003150308430000053
表示分组数为1，卷积核大小为3×3的分组卷积操作，
Figure FDA0003150308430000054
表示分组数为4，卷积核大小为5×5的分组卷积操作，
Figure FDA0003150308430000055
表示分组数为8，卷积核大小为7×7的分组卷积操作；
最后使用连接器将
Figure FDA0003150308430000056
和
Figure FDA0003150308430000057
或PFg,1、PFg,2和PFg,3连接起来输入到1×1的卷积层得到输出
Figure FDA0003150308430000058
或MPFg；相应的数学公式如下，
Figure FDA0003150308430000059
or
MPFg＝H1×1([PFg,1,PFg,2,PFg,3])。
6.根据权利要求1所述的基于空间视差先验网络的多幅红外图像增强方法，其特征在于：所述特征融合重建模块包括1个连接器、2个3×3的卷积层、1个通道注意力层；
特征融合重建模块的输入为
Figure FDA00031503084300000510
和PFG，同时输入到连接器、3×3的卷积层得到初步融合特征FF1，相应的数学公式如下，
Figure FDA00031503084300000511
然后进入到通道注意力层得到最终融合特征FF2，相应的数学公式如下，
FF2＝HCA(FF1),
其中，HCA(·)表示通道注意力层的操作；
最后输入到3×3的卷积层提取全局残差图像IRes，相应的数学公式如下，
IRes＝H3×3(FF2)。
7.根据权利要求1所述的基于空间视差先验网络的多幅红外图像增强方法，其特征在于：G的取值范围为10～16。
CN202110762079.1A 2021-07-06 2021-07-06 基于空间视差先验网络的多幅红外图像增强方法 Active CN113628125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762079.1A CN113628125B (zh) 2021-07-06 2021-07-06 基于空间视差先验网络的多幅红外图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762079.1A CN113628125B (zh) 2021-07-06 2021-07-06 基于空间视差先验网络的多幅红外图像增强方法

Publications (2)

Publication Number Publication Date
CN113628125A true CN113628125A (zh) 2021-11-09
CN113628125B CN113628125B (zh) 2023-08-15

Family

ID=78379155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762079.1A Active CN113628125B (zh) 2021-07-06 2021-07-06 基于空间视差先验网络的多幅红外图像增强方法

Country Status (1)

Country Link
CN (1) CN113628125B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757862A (zh) * 2022-04-14 2022-07-15 武汉大学 用于红外光场设备的图像增强渐进式融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696148A (zh) * 2020-06-17 2020-09-22 中国科学技术大学 基于卷积神经网络的端到端立体匹配方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111914853A (zh) * 2020-07-17 2020-11-10 三峡大学 一种用于立体匹配的特征提取方法
CN111931787A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 一种基于特征聚合的rgbd显著性检测方法
CN112561838A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于残差自注意力和生成对抗网络的图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696148A (zh) * 2020-06-17 2020-09-22 中国科学技术大学 基于卷积神经网络的端到端立体匹配方法
CN111914853A (zh) * 2020-07-17 2020-11-10 三峡大学 一种用于立体匹配的特征提取方法
CN111931787A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 一种基于特征聚合的rgbd显著性检测方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112561838A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于残差自注意力和生成对抗网络的图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANGQING WANG 等: "Motion Parallax Estimation for Ultra Low Altitude Obstacle Avoidance", IEEE *
陆晓杰: "基于红外双目视觉的避障传感器技术研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 3 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757862A (zh) * 2022-04-14 2022-07-15 武汉大学 用于红外光场设备的图像增强渐进式融合方法
CN114757862B (zh) * 2022-04-14 2024-04-16 武汉大学 用于红外光场设备的图像增强渐进式融合方法

Also Published As

Publication number Publication date
CN113628125B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
Chen et al. Camera lens super-resolution
Zhang et al. Deep image deblurring: A survey
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
Chi et al. Single image reflection removal using deep encoder-decoder network
Tang et al. Single image dehazing via lightweight multi-scale networks
CN103841298B (zh) 一种基于颜色恒量和几何不变特征的视频稳像方法
CN111510691A (zh) 颜色插值方法及装置、设备、存储介质
CN114119424B (zh) 一种基于光流法和多视角场景的视频修复方法
Huang et al. Removing reflection from a single image with ghosting effect
CN112598604A (zh) 一种盲脸复原方法及系统
CN115424051A (zh) 一种全景拼接图像质量评价方法
Song et al. Real-scene reflection removal with raw-rgb image pairs
CN113628125B (zh) 基于空间视差先验网络的多幅红外图像增强方法
Chi et al. Hdr imaging with spatially varying signal-to-noise ratios
Sun et al. Mipi 2023 challenge on rgbw remosaic: Methods and results
Shen et al. Depth map enhancement method based on joint bilateral filter
Sun et al. Rolling shutter distortion removal based on curve interpolation
CN116402908A (zh) 一种基于异构式成像的密集光场图像重建方法
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
CN116012517A (zh) 一种正则化的图像渲染方法及装置
Sun et al. Mipi 2023 challenge on rgbw fusion: Methods and results

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant